姚潛攜子，登門問罪，鑒于姚大郎只是被打腫了臉，連牙齒都沒磕斷一顆，這樣的斗毆行為在大周并不適合報官，通常只是私下解決，所以姚潛雖說鬧了個氣勢洶洶，但并沒有驚動官府，可就因為他鬧得太過氣勢洶洶，對方驚動了官府，而且驚動的人甚至還是京兆尹。
    宇文盛入職政事堂，主持變法，不再適合繼續擔任京兆尹，如今這位京兆尹，也可以視為后族，因為他乃徐國公崔政的門生，而京兆崔將與京兆柳聯姻已為眾所周知，京兆尹親自處理這等雞毛蒜皮的紈绔斗毆事件，必然被姚潛視為后族的有意打壓。
    京兆尹對于自己的小題大作，當然也有說法——
    紈绔于酒肆市坊爭執，雖動拳腳，但未械斗，也沒有造成人員傷亡的嚴重事故，官府可以不作理會，然而姚潛是登門尋釁，并且是聚眾斗毆，這便是觸犯律法的行為，涉事雙方一為公侯一為士族，為防惡斗激化，京兆尹出面勸解倒也合情合理，畢竟涉事者身份均不普通，若單靠縣令等屬官，份量哪里足夠罷止糾葛？
    可姚潛氣勢洶洶登門理論，又怎會因京兆尹的勸解忍氣吞聲？若他僅只是接受對方口頭上的道歉便打道回府，又何必如此興師動眾？非但事與愿違，甚至更會造成大勢已去威風不再的印象，眼睜睜看著半生經營的人勢土崩瓦解，而且就算隱忍，也并不能保有平安富貴，姚潛不愿坐以待斃，他當然要強橫到底，叫囂著要讓動手的紈绔出來，負荊跪地，受三百鞭打，他才答應一筆勾銷。
    三百鞭，若下重手，那紈绔必定重傷，甚至可能亡于鞭下。
    京兆尹當然不會認同，被姚潛的氣焰激發憤慨，話說道：“貴府大郎，常與人因口舌之爭便拳腳相毆，該當多少鞭責？”
    事件到了后來，演變成姚潛與京兆尹之間的爭執，雖說因為金吾衛及時到場，姚潛到底不敢鼓動家人壯仆械斗，最終也只能忍氣吞聲而歸，但勛國公囂張的氣焰卻在數日之間，便使市井皆聞。
    那些曾在姚大郎拳腳之下吃虧的紈绔之徒，眼見著有望報仇血恨，當然會不遺余力推波助瀾，巴不得姚氏父子就此遺臭萬年，成為千夫所指。
    于是市井之中，逐漸流傳開一首童謠。
    “勛國公，好威風，侍強敢斥京兆公，未知相繼失燕趙，節節敗退丟甘州，憑何無罪反居功？月耗洗浴十萬錢，馬草堆填大明宮，石崇王愷若有知，亦當羞愧掩面走。”
    有一段時間，市井酒肆津津樂道，盡是姚潛的成事不足，以及與成事不足毫不相稱的富貴顯赫，關于姚氏一門窮奢極侈的生活，被夸大十倍渲染，勛國公府一時成為千夫所指眾矢之的，但不甘寂寞的姚氏子弟，仍然日日出沒于酒肆青樓，當聞物議，屢生爭執，甚至針對質疑，吼出“非我姚家父子，燕趙豈復？營州豈復？潘逆豈平？”之語，這不僅坐實橫行霸道的指控，而且還授人話柄——
    燕趙得復、營州得復、潘逆受誅，這明明是當今圣上以及燕國公部軍士的功勞，與姚家何干？姚家竟敢貪天之功居為己有，如此寡廉鮮恥、卑鄙齷齪簡直聞所未聞。
    終于有御史言官具奏彈劾，列舉姚潛多項疏錯，主張朝廷重懲，以平臣民怨憤。
    謝饒平早聞碎語，知道太后與姚潛間的風流韻事，雖說深恨姚潛貪婪無恥，然做為太后的死忠，他當然也明白在此艱難時刻不能自相殘殺的道理，與韋元平力保姚潛，認為御史乃空口無憑，姚潛并沒有行為違律之惡，不應受懲，然而這時的政事堂，已經不再受謝、韋二人主導掌控，有更多人主張懲處姚潛，以正朝綱，幾番爭論不決，理當上呈天聽，報天子決斷。
    賀燁質問謝、韋二相：“爾等認為，我大周律條，唯仗勢欺民、貪贓枉法才該懲治？姚氏子弟，仗著出身公府，屢屢尋釁滋事毆斗傷人便不算觸律？姚潛非但不加責管，甚至聚眾鬧事，私闖他人宅邸，當眾辱斥京兆尹，這又豈只教子不嚴之過？甘州之役，姚潛身為主將，戰敗失守，導致國都危難半壁江山幾乎淪喪于敵，論罪該當處死！然太后已然赦免其罪，朕亦只是奪其兵權責其思過而已，難道還不算寬容大度？”
    又重重一擊御案：“然則，姚潛非但不曾悔過，竟仍窮奢極侈、橫行霸道，觸犯眾怒為世所不容，謝相、韋相卻仍為這么個忘恩負義肆行暴虐之徒開脫辯護？朕問你們，姚潛到底有多少功勞，多大才干，這么一個無才無德百無是處之人，有何資格再為人臣，居高職，享厚祿？”
    謝饒平、韋元平啞口無語，姚潛理所當然便被免官罷職，只是他到底還有勛國公的爵位，依大周律，未行十惡之罪，不得奪除。
    然而不居官職者，依照新法皆為納稅之戶，姚潛一旦被罷職，官府自然便要依律察核其田宅資產，錄定征收稅賦，這對于失去親誼供奉以及皇家恩賞，原本便覺日子過得捉襟見肘的姚潛而言，更如雪上加霜，他哪里甘心被定為上上等，“憑白無故”又再損失一大筆財帛？
    而且從賀燁顯然的針對態度，姚潛心知肚明，皇帝無論如何也不會容他繼續榮華富貴，損奪家財只是開端，到頭來一定會折騰得他身敗名裂家破人亡，緊迫的情勢已經不容他畏縮隱忍，等待韋太后慢吞吞地