双方争持不下，恰好群龙无首，张楷、王琳虽有心统领言路，无奈人望、地位、以及影响力都不足以达到这等效果，只好作罢。
但两派分歧还在，谁也说服不了谁，眼看众人无心理事，弹劾杨峥一事停滞不签，而声援杨峥的官员越来越多，让张楷等人心急如焚，他做了言官多年，早些年遭皇帝辱骂成了士林的笑话，沉寂了多年，如今好不容易有这个机会，自不想放弃，况且他的文章已打了出去，这个时候放弃，非他所愿，所以在与王琳商议了一番后，两人决定请一个威望足够的人来继续弹劾杨峥的大业，两人不约而同的想到了李时勉。
自那次不愉快的和谈后，李大人气得吐了不少血，回到家中也就卧床不起，直到这两日才慢慢有了恢复，回忆起昔日的种种颇有些感慨，往日那种急先锋的性子顿时淡了许多，面对外面的闲言碎语他也难得理会，终日闭门不出，这可急坏了张楷等人，眼看局势再拖下去也越发与言官不利了，与王琳一合计，干脆轮流到李时勉的府上恳请对方出来主持公道，然而李时勉表示伤心过度，也无颜再复出面对朝廷大臣，所以不仅不答应他们的请求，还让他们不要在来找自己，不仅如此，就在第二日一早，李大人为了表示自己绝不复出的心境，当晚写了一份奏折送到了御前，言及昔日的种种，的确有顾虑不周全的地方，也不乏年少时书生意气在作怪，累计先帝名声罪不可赦，恳请皇帝批准自己的辞呈。
皇帝以李大人才学卓绝，性子耿直，虽偶有大不敬之言，但不失其忠君爱国之心，其归隐的辞呈不予答应。
但李大人的性子倔强，接下来的三日，他一共上了五份奏折，其退隐之心，不言而喻了，让天下百官好生敬佩，纷纷上书为李大人说话，皇帝本就没有怪罪李大人人的意思，自是乐得顺水推舟卖这个人情，非但没有怪罪反而将其官职提到国子监祭酒掌大学之法与教学考试。
与李大人升官加爵相比，张楷等人心急如焚了，要知道在这个言官提醒中，再有人的有李时勉这样的大名声，不说人家两骂皇帝，就是其才学，人品也是他人难以比拟的，他这一走本就意见不统一的言官意见更大，迫得最后张楷不得不亲自来做这个领头人，他先是不顾众人的劝说，学了杨大人的路子，写了一首诗，凤兮凤兮，何如德之衰也？来世不可待，往世不可追。
天下有道，圣人成焉。天下无道，圣人生焉。方今之时，仅免刑焉。福轻乎羽，莫之知载。祸重乎地，莫之知避。已乎已乎，临人以德。殆乎殆乎，画地而趋。迷阳迷阳，无伤吾行。却曲却曲，无伤吾足。山木自寇也，膏火自煎也。桂可食故伐之，漆可用故割之。人皆知有用之用，而不知无用之用也。诗大大意凤鸟啊，凤鸟啊（指大道）！怎么就到了如此德衰礼坏之地步呢？未来的繁荣不能期待会出现，过去的兴旺也没办法再追回。天下有道，兴隆繁荣是圣人（也指大道，后同）成就之功；天下无道，灾连祸结，也是圣人在那里艰难支撑时日。正如今日之天下，仅仅能勉强躲避大灾大难，福庆之事象羽毛那样轻，想去接受它却又飞了；灾祸之患比大地还要重，想去躲开它却怎么都躲不开。过去了、过去了！往后就靠仅有的这点德性了；完结了、完结了！在被划好的轨迹上奔趋！昏暗无光使我看不清，但不妨碍我的前行！曲曲弯弯使我行动不便，但也不会伤害我的双足！”这一番夹枪带棒的指责，本还说得过去，只是张楷文笔虽好，脑子也不好使，很快有人就从中挑出了毛病，天下有道，圣人成焉。天下无道，圣人生焉。方今之时，仅免刑焉。福轻乎羽，莫之知载。祸重乎地，莫之知避。已乎已乎，临人以德。这分明是连天下的官儿都骂了，这些算是彻底得罪了天下官儿，本有些观望的大小官儿，这下不干了，纷纷尚书指责张楷这种胡乱扣帽子的行为，皇帝本就对张楷一肚子坏印象，好不容易逮住了这个机会，自是乐意顺应群臣的意见了，下了道圣旨狠狠教训了张楷，并给出了发俸一年的处罚，可怜的张大人偷鸡不成蚀把米，其苦闷的心情可想而知了。
但其亡杨峥之心，犹如滔滔江水，连绵不绝，继续弹劾。
而杨大人干脆不予理会，只是不断的上奏折请求离去，从十月只十一月短短一个月的功夫，不算那首《偶然》小令难难得糊涂四字真言，杨大人的奏折竟有十二分之多，数字公布出来，纵是那些对他一肚子意见的御史们也不怀疑他此番归去的决心了，有了这么一个低姿态，又有皇帝，内阁的加入，只要不是傻子。，都知道该怎么做了，事实上能混迹大明官场的官儿，眼观八方，耳听六路是最基本的本领，更别说是见风使舵了，所以短短几日的功夫，杨大人这种难得糊涂，吃亏是福的态度，引起了天下官儿的同情与支持，就连先前参与弹劾的御史们也开始为他说话了，在都察院御史大人的统领下，都察院上下，除了御史张楷，王琳外，都纷纷上疏，敦请皇帝一定要挽留杨大人，切莫让国之大才，老死山林。
如此大的转变，让杨峥出乎意料之外，但多少也能猜出一些，所以除了上了两份感激以及自勉的奏折外，杨大人每日上班，批阅公务，浑然不影响。
这样的谦虚的态度，更能引起众官儿的好感，这不，就在今日一早，作为杨大人的顶头上司郭大人则公开赞扬了杨大人是勤于政务的好官，并恳请皇帝莫要听信小人的言语，错怪了良臣，对于这份热情洋溢的奏折，皇帝却表现的很冷淡，只是淡淡批了一个“知道了”了事，如其他官员长篇大论的批文相比，多少显得有些寒酸，这让郭大人内心深处有些忐忑。
但自家人知道自家事，他做了什么比谁都清楚，虽说这天下未必是什么事情都能公众于世，但天下没有不透风的墙的道理他还是明白了，所以对于皇帝的冷淡，他心头虽忐忑，却也不敢多问，就此不敢多言，只是说了些不痛不样的话儿，如希望朝廷尽快平息这场没完没了的争斗，让天下官儿的精力都放到实事上来等等……作为吏部尚书，这番话儿中规中矩，但来的不是时候，所以不少人还是很鄙视，尤其是翰林院那帮天之骄子打趣之余，还做了几首讽刺的诗词，虽说没指名道姓，但骂人不带脏字向来是这些天之骄子的本事，因此诗词传出来后，众人还是知道骂的是谁，内心深处早已乐开了话儿，但面上却人人一副不知情的模样，弄得郭大人好不狼狈，偏生这事儿还发作不得，人家没指名道姓，你若凑上去，岂不是此地无银三百两么，所以也只好装作不知情了。
在各方大佬纷纷出面后，弹劾杨大人的奏折不复再有，这场声势浩大的争斗，最终以杨大人四两拨千斤的太极功夫，引得了短暂的胜利，但事情并未那么完美，对于偷鸡不成蚀把米的张楷，王琳来说，这种结果无疑是给两人脸上抹黑，一旦让这结果落实了，那今后这京城之地再也没他二人的落脚之处，等待他们的不是各种笑话，就是南京养老了，而这两种结果是他们最不愿意看到的，所以两人决定放手一搏。
他们秘密商议了一番后，决定联络南京言官再行弹劾，但此时两人已到了众叛亲离的局面，南京那些言官虽莫不清楚局面，但为人也不少，朝廷的风向还是看得出来，所以附和的人并不多，让两人不免沮丧，思来想去两人决定亲自上奏，不死不休。
就在这个时候，老好人薛暄将两人拉到了府上。
对于这次薛暄的态度，两人自是有些鄙视，但两人也感激这个时候，薛暄还能让他们进府，要知道，从昨日起，他二人早已成了众人眼里的卑鄙小人，可谓是人人喊大，不要说那些不认识的官儿，就算是认识的，这会儿避之不及，似这般找两人入府的少之又少。
两人落了座，喝了茶汤，薛暄也不客气，直言两人的莽撞，最后劝说两人不要再生事。
两人自是不大乐意，尤其张楷，精心准备了一番，到头来竟为他人做了嫁衣，这种巨大的挫败感，让他多了一份狠劲儿，他知道在道义上，他说不出什么东西来，最终要弹劾还得落在西洋宝物上来，所以面对薛暄的劝慰，他不置可否，只问了句：“西洋宝物的事情就这么算了么，皇帝今日可以要十分之一，他日就不能要了全部么？你们再欣赏姓杨的，也不能放着这事儿不管吧？”这是他最后的屏障，所以说起来语气不免大了几分。