消息传至国公府，唐国公李渊与长子既念世民之德，更忧此事必为国公府带来大祸。
次月（大业九年六月），杨玄感反，杨广因忧内患，令收兵回内，且更亲令严查此事。同谋兵部侍郎斛思政闻讯，逃亡辽东，与其交好的高士廉被贬外放。后又因宇文化及进言，说高士廉甥女适与唐国公府，甥男长孙无忌亦与唐国公府二子，自家妹夫世民自**好，此事难免清白……
上亦日渐疑惧唐国公府。
世民闻知，大骂宇文化及谗言进上，日后必不得好死。并欲屡屡欲以死明志。适此时，长孙无忌查出宇文化及与其弟宇文智及，与突厥人私下来往商事，遂借其伯父长孙炽之口，奏与上听。
杨广见疏大怒，令将宇文兄弟擒之，囚数月，后归京师后，下令当斩。宇文化及知机，立于天牢之中传令亲仆，以其于周灭之时，搜得私藏之异宝玉龙子韘（就是扳指。不过这里的玉龙扳子，并非整个就是玉的。而是类似现在的戒指，以象牙或者是犀牛角之类贵重耐磨的东西做了指环，上面镶嵌了一条雕工精美的玉龙做装饰罢了。）、金凤明冠（一顶整个都是由金子打造的冠冕，上面活灵活现地雕了五色凤凰，并以宝石体现凤凰五色之美。凤凰的嘴里，又都各叨了一颗好大的明珠，可以说是当时的国宝了），赠与弟宇文士及与其妇南阳公主。公主进言与帝，保得其命。然活罪不可赦，遂革去一切名号，赐与其父宇文述为奴。
于是宇文化及与唐国公府之怨，日深。
后述公死，上感宇文化及旧日情份，赦其兄弟二人罪，更加赐化及右屯卫将军，智及将作少监，宠爱更盛。唐国公上下皆知此乃杨广疑惧唐国公府之故。日渐不满。
大业十一年（公元615年），杨广再巡北长城，受始毕可汗之围。时云定兴急召时任副将之唐国公次子世民设计解围。世民遂献计，请始毕可汗之妻，义成公主为上解此围。云定兴采纳此计，命世民前往，然世民经大业九年雁门关一战，已然名昭天下，不得成行。
唐国公府小娘子李秀宁得知，自请易容换装，与夫君柴绍一同，扮作商人，密与义成公主相会。后世民率军易装轻行入深北，骚扰突厥北境，义成公主借机惊动始毕可汗，杨广之围得解。
此功甚卓，然杨广益发为世民之才所忌。加之有宇文化及所献方士进言，道北周年间大方士天机子高徒袁玑曾断李世民为济世安民第一人，方才由元和改名世民之事。
杨广益憎世民，甚至于驳孝恭公主杨淑仪之请，不与世民任何恩赐。又道：“既然济世安民，自当抱了不畏牺牲之念，若是给了恩赐，岂非污了这济世安民之名？”
海内闻之，皆以世民屈。杨广闻此传言，益怒。
大业十二年（公元616年），杨广以晋阳无守之由，着唐国公李渊往晋阳，任留守一职。旨中特令世民随行，世民妻长孙无忧、妻舅长孙无忌暗患此为杨广陷谋，执意追随至晋阳。长子建成受父命，携唐国公府上下居于河东，密谋起事诸项。
大业十三年二月，马邑校尉刘武周占汾阳宫举兵造反，上怒令唐国公剿之，然私下却另派云定兴监视李渊，且暗下伏手，只待李渊灭了刘武周，便借其不听调遣之名，屠尽李氏一族。
云定兴虽受皇恩，但因多与世民交好，颇有犹豫，此时其身边心腹副将李常，李府五子李智云身边将校出身，素受李氏一门大恩。知此事后，一面安抚云定兴，一面十万火急将密令抄录一份，传与晋阳。
世民接报，阅得其中“李氏一族，尽可为屠，然唯其二媳长孙氏，不可伤之，需得毫发无伤送入宫中，以承天恩”一句时，怒目欲裂，血泪满面。
长孙无忌亦在一旁，阅之大怒，当下便书传长孙一族，言“昏君无道，竟直欲屠尽功臣，掳掠臣妻，天道不容，当诛之。”
时长孙炽病体已弱，然阅密报，依然奋而起之，言“此事必行，否则诸臣难逃昏君屠辱”。乃秘为唐国公府兴事准备。