谣言甚嚣尘上，甚至有人开始传言，冯驾是因为与康王世子嫔有了苟且，被康王世子当场捉奸，二人矛盾日盛，元帝为保护康王世子的性命，将冯驾连夜召回京城的。
柳玥君俨然成为了时下最惹人疼惜的悲情人物，不论贵贱，男女老少皆会对柳玥君的悲惨遭遇掬一把辛酸泪。可怜的女人出身高贵，却一直甘愿做那冯驾背后的女人，给他支持，陪着他一路高升，从区区一名校尉，一路登高位极人臣。待到他做了一方节度使，荣国夫人也落得个色衰爱弛，换来了冯驾的另觅新欢。
且不说别的，冯驾玩弄柳玥君的感情长达十数年之久，一直不给人名分。到了凉州又看上康王世子的世子嫔，强抢人妇。逆臣欺主，还加上夺人-妻室，冯驾便以如此夺人眼球的方式，迅速由一代美将军沦落为寡廉鲜耻负心汉的代名词。
这些谣言让冯府的冯珲坐不住了，每天都有人背着他指指点点。这天夜里，他顺着墙根儿溜回家，拉住冯驾要他跟自己说个明白，可是冯驾无所谓，他问冯珲：
我是跟着哥哥你长大的，你觉得我会是这样的人吗？
冯珲白日里被不同的人轮番轰炸，头有些发晕，稀里糊涂地冲他摆头：不是。
冯驾淡淡地笑，那不就结了？他让冯珲堵住耳朵，莫要往心里去，他连罢官都不怕了，还怕几句谣言？
元帝也听见了这些谣言，但是他权当作没有听见。冯驾桀骜，从他连元帝的面子都不给，坚持不肯娶柳玥君便能看得出来。元帝虽不像女人那般怀恨在心，但暗自唾骂冯驾不知好歹也是避免不了的。既然现成铺好的路子你不走，那么相对应的恶果，冯驾便自己品一品吧，正好磨一磨冯驾的锐气也是好事。
冯驾不肯就范，元帝自然也不肯放他走，他并没有罢免冯驾的官职，因为冯驾善战，流放去边疆修城墙显然大材小用了。
柳玥君的婚事得不到妥善解决，太后不满意了，天天揪着元帝闹。元帝心里烦，虽不提冯驾官职的问题，却也没有再给他旨意告诉他究竟预备怎么处置他。元帝只把冯驾留在了京城，让他呆在冯府“待命”。
这一待便是小半年……
冯驾从前大多任武职，但也历过文职，在京中也算是有不浅的人脉。刚回京时，三五不时还会有人带着帖子来冯府见他，叙旧清谈，推杯换盏。
可随着冯驾与柳玥君婚事不成，直到引发辅臣与世子嫔绯闻艳事的惊爆，冯驾在京城慢慢变得颇有些千夫所指的味道。虽然他还挂着一方节度使的名头，但他孤身一人回的京，手上一无兵权，二无财权，妥妥的空架子一个。
闹到这般田地，柳玥君再没来冯府寻过冯驾，元帝也没再传召过他。从前与他一条线的文职武将们，也渐渐地对冯驾避而远之。都说形势比人强，就算有些不愿意见风使舵的僚属，也不得不慢慢屈从于能烁金的众口，不得已而离开冯驾以求自保。
冯驾耳聪目明，含笑任由身后云卷云舒，千帆过尽，他自岿然不动。
冯驾就这样孤零零地留在了冯府的一方小院，每天大门不出二门不迈，除了每日独自在后院打打拳，便是去自己的书房翻翻从前积累下来的书籍字画，把玩把玩从前得势时留在府里的古玩珍宝。
短短这小半年时间，冯驾也算看透了世态炎凉，人情淡漠。
冯驾在阳春三月离开的凉州，回到京城后待在冯府无所事事，眼看夏去冬来，又快一年春来到。
形势就在这一年的深冬发生了天翻地覆的变化——
除开冯驾任了凉州节度使统领边塞七州十屯，元帝尚设立了另外九大藩镇掌大唐东南西北各大边陲，无一不是手握重兵，集经、政、军大权于一身。
就在这一年的冬天，最富饶，实力也最为强劲的河北三镇节度使高淮昌叛变。
高淮昌以元帝朝中过多胡人将官，惑乱君心为名，高举叛军大旗，一举跃过黄河，一路向南，剑锋直指京城而来。
元帝慌了，忙调兵遣将指派临近的驻军抵抗，可高淮昌兵强马壮，准备充分，以破竹之势，一路过关斩将，眼看就快要冲进京畿地区。
元帝召集京畿地区直属藩镇八大防御使，立马组织力量抵挡高淮昌的兵马。可世事总是如此多舛，京畿北同州防御使就在阵前，临阵叛变，高举帅旗加入了高淮昌的叛军行列。
一夜之间京城大乱。
安心在冯府“休养”的冯驾再次进入了元帝的视线，元帝不能没有冯驾，他宁愿不要柳玥君也一定要留住冯驾。
哪怕冯驾才被京中诸人嘲笑、鄙视了个灰头土脸，但元帝依然连夜亲自赶到了冯府，送来符节、帅印、帅旗，将冯驾从头到脚威风八面地武装了起来。
左相抖着胡子站了出来，劝诫元帝，用人当用贤，冯驾品行有瑕……
不等左相说完，元帝便恶狠狠地打断了他的话：
朕的左相大人，你们嘲笑冯将军，鄙视冯将军时如狂风卷落叶般无情。试问，你们中又有谁能用你们那张妙语连珠、能说会道嘴，去替朕抵挡住攻进禁中的叛军呢？