一开始的时候，王世充因为裴仁基、裴行俨父子骁勇善战，所以很看重他们，篡隋登基后，以裴仁基为礼部尚书，以裴行俨为左辅大将军，还将自己的侄女嫁给了裴行俨，对他们父子可谓是重用有加。
裴仁基、裴行俨父子投降王世充本来只是迫于形势，但见王世充如此重用自己，也是感到颇为欣慰，产生了要向王世充完全效力的想法。
但是后来，王世充又因为裴仁基、裴行俨父子在李密旧部中的威望太高，所以对他们父子渐渐产生了猜忌之心，不仅向裴家的住宅派暗哨监视，还往裴家父子的职务中安插了打小报告的人物，让那些人每天都向他禀告裴家父子的一言一行。
裴仁基、裴行俨父子渐渐的察觉到了王世充对自己的所布置的那些手段，内心感到不安，怕王世充终有一天会对他们下毒手。
于是与尚书左丞宇文儒童、宇文儒童之弟尚食直长宇文温、散骑常侍崔德本谋划杀死王世充及其党羽，重新尊奉皇泰主杨侗为君主。
然而他们的计划，又怎瞒得过疑心病重的王世充？
宇文儒童、宇文温兄弟和崔德本三人，都是坚定的保皇党，一心想要恢复隋室，皇泰主被王世充废掉后，他们这三人多方联络走动，早已引起了王世充的注意，但王世充一直是对他们三人采取放长线，钓大鱼的策略，一直暗中观察，没有发动。
所以当裴仁基、裴行俨父子最近与宇文儒童、宇文温兄弟和崔德本三人联系稍有密切时，以阴谋起家的王世充，立马便猜到是这怎么回事了。
七月初十晚，王世充从前线返回洛阳，将要在皇宫中庆功宴，裴仁基、裴行俨父子，宇文儒童、宇文温兄弟和崔德本五人都在邀请之列。
就在裴仁基父子正准备离开厅堂去沐浴更衣，以为入皇宫做准备之时，忽然有管家持了个令牌走了进来，“老爷，大公子，有人拿了这个令牌前来求见。”
裴仁基接过令牌后扫了一眼，顿时脸色一变，“将来者带到我书房，不可让闲杂人等靠近他。”
管家立即神情严肃的离开了，裴行俨似乎也认出了那块令牌的来历，“爹，这真的是我那兄弟的令牌吗？”
裴仁基点了点头，略带惆怅的道：“这是当年张须陀老将军亲自为他打造的虎牌，上面的字迹，便是老将军的笔迹，这天下不会再有第二块的了。”
裴仁基说着，便向书房走去了，裴行俨也随之跟了过去。
裴仁基、裴行俨父子在书房静坐了一会后，一阵敲门声响起，“老爷，人带到了。”
“进来吧！”裴仁基淡然答了一声。门被推开，走进来一个头戴着破旧斗笠的汉子，那汉子将斗笠拿下后，露出了一张俊朗的脸。
“罗兄弟，真的是你！”裴行俨立即高兴的走了上前。原来来者，竟是李隐的手下大将罗士信。
“裴将军，裴大哥！”罗士信向裴家父子各自行了一礼。