严舆从严白虎那复职之后，不仅结纳党派，而且日常生活也大讲排场。饮食服饰陈设等比严白虎规格还高，令严白虎大为不满。196年四月，严白虎再次指责严舆结党妄行，图谋不轨，尤属无耻之甚。九月，下令将严舆再次拘押起来。十月，他打算投靠孙策。严白虎认为他作恶已极，断非能改，将他囚禁于地牢中。严舆再次革职，固然是其咎由自取，但对严白虎而言，是个惨痛的失败。他不得不承认吴郡这边只有他一个力将的话，弊病很多，要担心的事就很多了。196年，严白虎在一道军令中说自己三十年来实际最信任的也只有严舆而已。严舆，我从当山贼的时候就一直与他一起，哪怕是现在他总闯祸，可我仍然很信任他。占领吴郡以来，我自封东吴德王，尚保无事，若真把他革职掉我又于心不忍。毕竟他是我的弟弟，但他结党营私，哪能不出事呢？今群雄割据，上边我怕王朗，左边我又怕孙策，更不说占领中原的曹魏等人。难道那些人，哪个不是一心的向者自己的君主，如果我们一直这样，能保将来无事吗？所以，严白虎得出结论，其弟严舆打入大牢之事不能轻易下决定。毕竟要想想现在的处境，以及未来的打算再行事。为此他对严舆进行长期考察，严禁群臣再言严舆之事。
其实严舆第二次被革职查惩，严白虎对他已经完全失去了信心，但因为手下无真正的心腹以及严舆本人是其弟，所以仍不死心，觉得应该再想想清楚。就在严白虎宣布将严舆打入大牢的指令下发后，立即就有人上书，说前次惩他是有人暗中作祟，要假借君主您之手达到自己的目的，希望这次能谨慎决断，别为奸人所误。这实际是反对惩治严白虎，只是不敢明言而已。严舆本人也私下活动，不久就发生了许多令人不安的事件。严白虎196年7月，孙策在攻下王朗后开始准备灭掉严白虎，这种情况下兵力和兵粮更是吃紧。严白虎打算在众人中选一人让他去孙策那里服软。被监禁的严舆听说此事之后，他亲自用写密信一封，让为牢房的看守带给正在发愁此事的严白虎，希望他能以功低过，心想搞不好也可能被孙策赏个大将军什么的。后面的事大家就都知道了，真正到了孙策那边时却被孙策轻易地就杀死了，孙策还觉得其很是无能。而从现在的眼光来看，毕竟严白虎属于山贼之党，平凡的不能再平凡，岂能与枭雄曹操、小霸王孙策、飞将军吕布一干人等相提并论。