李唐以前强大的时候，李渊倒也不太担心，但李唐王朝已经落到了这步田地，所以他十分担心这支军队在关键时刻发动兵变，尤其是隋朝现在已经和天下世家讲和了，关陇权贵极有可能集结这支军队杀官造反，和隋军里应外合，就像他们当初背叛隋朝，将并州、关中、巴蜀献给自己一样。
一念至此，李渊汗毛直竖，冷汗涔涔。
以前他能容忍这支军队，但李唐现在危机四起，这支不受控制的军队已经成了他心腹之患，再想到与他渐行渐远的关陇权贵，就更加坐不住了。这也让他下定决心拔除这个隐患，即使是引发朝野的短暂动荡也在所不惜。一旦成功的话，内忧解决干净，还得到不计其数的钱粮和土地。
如果手段稳妥，甚至还能获得一支精锐之师，到时候，他未必不是杨侗的对手。不过此事关系重大，他得事先问问最为倚重的两个儿子才行。