在李家入关中，李元吉留守太原的这些时日里，整天就是知道溜鹰斗犬，并常以欺压普通百姓为乐，故而在太原郡早已是惹得天怒人怨。
而且李元吉自小喜好打猎，留守太原后，也没人能管他，更是无猎不欢。
去年冬天，猎物踪迹难寻，李元吉为此闷闷不乐了许久，有善于溜须拍马的人立即明白了他的心思，向李元吉建言道：“雁门郡灵丘县以北，多有南附突厥人的牛羊，不也可以当成猎物来打吗？”
李元吉听后，大为高兴，立即带了数百人直往雁门郡而去。
然而，当李元吉带人走到雁门关的时候，却发现关门紧闭，叫喊许久后，也没见人来开门，顿时勃然大怒，破口大骂。
此时镇守雁门关的守将是周安，李隐带兵随李渊进军关中时，将自己的地盘全都交给了周安打理，并留下张亮、苏定方之父苏邕等人协助他。
李元吉那时虽在名义上也能管雁门郡，但雁门郡是李隐的自留地，周安可不会听他李元吉的。
而且李隐离开雁门郡的时候，还特别嘱咐过周安：李元吉此人行事不带头脑，周大哥为我镇守雁门等地，定要好生防范李元吉这家伙才是。
所以当探子回报周安，说李元吉带人前往雁门而来的时候，周安立即便让人将雁门关给关闭了。李元吉要想去灵丘县以北打猎，必须经过雁门关，否则他就要经过刘武周的地盘才能到达。
李元吉自然是没有胆量去刘武周的地盘的，当他在雁门关外面喊得嗓子都快哑了的时候，周安才带着人慢悠悠的出现在城墙上，向李元吉道：“我得知情报，刘武周将要来攻打雁门关，故而紧闭城门，李留守这是要来相助我防御刘武周吗？”
李元吉听后，顿时大惊失色，连忙带着人逃回了晋阳城。但他很快又知道了刘武周并没有要攻打雁门关，立即暴跳如雷，扬言要带兵让周安给个说法，还是在其他官员的苦劝之下，才心怀不甘的打消了念头。
猎没打成，又碰了一鼻子的灰，李元吉那时的郁闷可想而知了。之前那个向李元吉建议去灵丘县打猎的人见此又向李元吉提议道：“离石郡的稽胡也多有牛羊，那里可没有雄关阻拦，殿下何不去那里打猎？”
李元吉大赞此计甚好，于是立即召集人马，往离石郡而去。这次他吸取了上次的教训了，整整带了两千多人同往。
李元吉到了离石郡后，叫人将稽胡人的羊圈、马圈打开，将牲畜放走后，便开始纵马射杀，弄得离石郡一阵天怒人怨。
离石郡的稽胡人可都是桀骜不驯的主，即便是在开皇盛世的时候，也是愤然造过反的，所以当李元吉随意射杀自己的牛羊的时候，不少稽胡人都拼死保护自己的财产，进而演变成了流血冲突。
当事情越演越烈之后，稽胡人终于忍无可忍，再次起兵，驱逐了李渊派遣的离石郡太守，并将祸害离石百姓的李元吉一直赶到了太原郡内的汾河边上，才收兵返回。