此五溪蠻夷逐漸衰落，一方得以安寧無事。黃龍六年(234年)十一月，潘浚回到武昌。他長期與陸遜屯駐武昌，管理荊州事務。
    嘉禾四年(235年)，潘浚的表哥蔣琬升任蜀漢大將軍，有間諜謠傳潘浚派遣密使聯絡蔣琬，打算投奔蜀漢。
    武陵太守衛旌上表告訴孫權，孫權說，“承明（潘浚的字）不會做這種事。”
    并免除衛旌的官位(《資治通鑒》將此事放在蔣琬任諸葛亮長史時)。
    孫權寵信校事呂壹。
    呂壹為人刻薄，用法嚴酷，又操弄權勢，潘浚與陸遜對于他的作為感到憂慮，說到傷心處還以淚洗面，甚至感到不安與恐懼。
    公元236年(嘉禾五年)，呂壹彈劾丞相顧雍和左將軍朱據，二人下獄。
    黃門侍郎謝厷問呂壹，“顧公的事如何? ”
    呂壹回答，“情況不太可能好。”
    謝厷又問，“那么顧公被免職的話，誰會代替他? ”
    呂壹沒有回答，謝厷說，“會不會是潘太常? ”
    呂壹過了良久才說，“你說的很有可能。”
    謝厷說，“潘太常恨你切齒，只是路遠沒機會而已。今天他一但接替顧公，恐怕明天就打擊你。”
    呂壹大為害怕，于是顧雍的事便不了了之。
    之后潘浚請求朝見孫權，想要極力勸諫，到了之后聽說太子孫登早就說過很多次但都不被接受，便大規模宴請百官，打算在宴會中親手殺死呂壹，可惜計劃泄露，呂壹借口生病不去。
    潘浚只好趁著每次近見孫權的時候，大力陳述呂壹的奸險，因此呂壹受到的寵幸逐漸衰微，最后被誅殺。
    孫權引咎責怪自己，因而向大臣致歉。在詔書中責備諸葛瑾、步騭、朱然、呂岱等人之前推脫責任，并稱贊了陸遜和潘浚憂心為國。
    …… ……
    潘浚奉行法律而不畏他人議論，中郎將豫章人徐宗雖然是名士，但放縱部下，不奉節度，于是潘浚殺了他。
    潘浚亦觀人于微，降臣隱蕃以辯才而令豪杰向他交好，潘浚之子潘翥也跟他結交，潘浚知道后，寫信痛罵兒子一頓，當時的人都覺得潘浚莫名其妙，直到隱蕃圖謀叛變被殺，眾人才信服。
    潘浚這是于公，他和孫權的私交上，也是很篤厚的。
    孫權喜歡射雉，潘浚勸諫，孫權說，“上次與你相別后，就沒有像以前那么常射雉了。”
    潘浚說，“天下未定，有很多事務要處理，射雉又不是什么要緊事。弦和弓壞了都能造成傷害，請您為臣停止這種行為。”
    接著就親手將用雉雞羽毛做的車蓋弄壞，孫權就戒了射雉的喜好。
    …… ……
    這樣一個臣子，孫權能不篤信？古代人信奉“隨根兒”，有點兒“老子英雄兒好漢”的味道，所以，孫權特意選了潘浚的女兒，作為次子孫慮的媳婦。可惜，孫慮命壽不永，嘉禾元年(239年)，孫慮去世，時年二十歲。
    他和潘浚女兒也沒有子嗣，孫慮的封地無人繼承，所以封邑廢除。但，孫慮城已建立，當今還有遺址尚存。
    據說，孫慮的妻子在孫慮死后，回到了娘家，后事不詳。
    孫權得知次子的死訊，悲痛哭泣，為之減少膳食。