可是在这之后，一场由赵与莒发动的叛乱，随即就这位年轻皇帝带来了一次沉重的打击。
他虽然被沈墨救下来，并且在福建广东成立了小朝廷，可是这个时候的赵与芮却是悔恨交加。
他在两年间窝在东南一角毫无作为，实际上已经成了沈墨的一个盟友，只是负责在东南威胁大宋朝的后方而已。
不但是赵与芮本人，就连朝廷也因为那次的事件元气大伤。
可那个时候的赵与芮他手下的官员，全是由沈墨营救出来的。他也没有那么大的地盘和烦难复杂的事情来为难他，而且他还得到了沈墨无条件的支持。所以他虽然无所作为，但是这个皇帝却做得并不憋屈。
直到他再次回到临安后，重新执掌了这个千疮百孔的老大帝国，而这时的赵与芮才陷入了深深的痛苦中。
一方面他有意中兴大宋，可是另一方面他的手上却根本没有什么力量可以使用。而这时临安的朝中众臣，却由于沈墨的势力渐渐增强，对通州产生了强烈的戒备心理。
在这种情况下，支持沈墨的赵与芮就成了朝臣们竭力防备的对象。由此赵与芮的势力渐渐被架空，朝堂上的各个派系谁都不愿意再支持这位皇帝。以免让沈墨因为天子的照顾，再次壮大他的实力。
而那时的赵与芮也因为朝堂上臣子们的挟持，使得他无法以任何方式支持沈墨。不但如此，他还一度做出了对沈墨不利的决定。
那是沈墨在军事改制的时候，天子发出的圣旨明确说要剥夺沈墨改制天下军队的权利，而还要将沈墨传唤到临安来听候问罪……自从那次的事件之后，赵与芮就彻底成了一位孤家寡人。
在这几年中，这位天子消沉沮丧地看着天下乱象纷呈，整个朝廷和沈墨的势力针锋相对，他却连一件事都做不成。所以他心中的苦闷和无力也是日渐加重。
对于他这种情形，沈墨其实是再了解不过的。因为在历史上那位理宗皇帝赵与莒就是如此。
在历史上赵与莒刚刚掌权时，就在史弥远一党的压制下无所作为。好不容易等到史弥远死了，史党烟消云散之后，赵与莒也有一度想要中兴大宋。
结果呢？还是在朝臣的压制和架空之下，赵与莒还是变成了一个庸碌之辈。他所有的力气也只能朝着那位临安名妓唐安安的身上使……甚至他晚年还变得嗜酒好色，昏庸无比。