据司马懿和陈宫事后分析，吕布之所以同意离开。
一则，吕布就是想当面问一问老部下成廉，为什么当初选择突然要离开他，尤其是居然投靠金珏这个小子。
二则，吕布想离开并州透透气。
身边的女子始终没有能够给自己剩下儿子，宝贝女儿嫁人后，越来越向着金玮那个呆女婿，吕布又不是傻子，他自然看得出来，他的部下因为金玮，已经暗中分成了三派。
第一派，以三个老部下为首——陈宫、张辽，甚至于一直以来都对自己忠心耿耿的高顺都已经归心于金玮，并不是说，他们三个想造吕布的反，而是，他们三个对于吕布的人事任命越来越偏向于金玮，这让吕布觉得很不舒服。
后来，吕布招纳，实际上，几乎都是金珏推举的河东郡、河内郡，以及并州刺史部内的人才，就更是如此，基本上都想着金玮，这里面以司马兄弟和杨奉为首。
而杨奉的态度更是让吕布感到奇怪，当初，杨奉可是非常瞧不起金珏的，可是，自从曹操将汉献帝迁居到许县之后，杨奉对金氏兄弟的态度直接来了个一百八十度大转弯。
而第二派，以另外三个老部下为首，魏续、宋宪和侯成。
尤其是魏续，身为他的内弟，一直被吕布委以重任，吕布军最精锐的陷阵营是高顺一手训练出来的，可是，在平常没有战事的时候，吕布却把陷阵营交给魏续管理，由此，吕布对他的信重可见一斑。
而金珏明知道这种情况，却点评，若是吕布军紧急时，第一个背叛吕布的人，就是魏续，接下来，宋宪和侯成。
金珏当初的点评可是一点面子都没有给吕布。
事情在没有发生之前，金珏的话究竟会不会成真，根本无法印证，又如何能够说服吕布呢？哪怕金珏推举给吕布的人才个顶个都非常好用，哪怕金珏的建议，已经让吕布军成功报复了好几次曹操，可是，吕布心里面还是信任魏越，这是任何人都改变不了的。
第三派就是中间派，这类人绝大多数，都是吕布北返之后招募的人才，比如一直对吕布态度并不明朗的徐晃，卫觊等。
而最让吕布心烦的是，却是他的后院开始失火了。
家里面也分成了三派，严氏是正妻，而吕玲儿虽然不是她亲生的，但却是她从小养大的，自然偏向自己的女儿和女婿。
魏氏向着魏越三将，因为魏氏也为吕布生了一个女儿，只是年纪实在是太小，要想成婚家人，还得五六年，因此，魏氏背地里说金玮的坏话，效果并不佳。
至于貂蝉，只要吕布到她哪里去，从来只说他们二人之间的事情。只可惜，也许是受到了董卓诅咒的关系，貂蝉至今未能给吕布生下一男半女。
不对，貂蝉也曾说过两个人的坏话，一个就是曹操，一个就是金珏，曹操喜好人qi，垂涎貂蝉，这是一个公开的秘密，而金珏自黑，与曹操的这个喜好挂钩，自然也让貂蝉极为不喜。
貂蝉深知，若是吕布真得哪一天不幸败亡的话，以她的容貌，必定会沦为其他人的玩物，而其中，最有希望统一天下的人中，曹操就是这种人，袁绍也未必不会这么做。
吕布没有儿子，后院乱成这个样子，让他如何不心烦呢？
若是金玮是一个嚣张跋扈，时不时闯祸的无知小子也就罢了，可金玮偏偏就是循规蹈矩，有些迂腐的世家子，家教相当好，不但对吕布的女儿非常好，对严氏和吕布也非常孝顺。金氏兄弟家中已经没有了直系长辈，吕布和严氏自然就是他的父母了。
金玮虽然有些呆，但是，其为人性格温和宽厚，大度，可他喵的，这小子不但善于骑马，还非常善于养马，这一点对吕布军以后的发展尤为重要。
吕布军手下的大将一大半都喜欢金玮也就在情理之中了。
因此，司马懿一提出这个建议，吕布立即就同意了。
第二个原因，吕布已经被魏氏吵烦，出来就是想多透透气。
吕布走后，在严氏的支持下，陈宫便立即调整了吕布军的人事安排。
魏越就任雁门郡太守，宋宪就任代郡太守，
同时，趁着这段时间，袁绍军把几乎所有能够调动的兵力全都集中在幽州，以消灭公孙瓒势力的当口，侯成为主，高顺从旁协助，二将一起出兵，进攻定襄郡，准备彻底将南匈奴人驱赶出该郡。
中平四年十二月，休屠各胡人与南匈奴贵族们全都担心，汉朝因为内乱，征发匈奴军队的事不会停止，因此，谈便反叛单于，大军如今东汉边郡。
一时间，整个并州大乱。
并州刺史部中的定襄、云中、五原、朔方、上郡一时间几乎全都被这两股胡人说攻占。
中平五年正月，休屠各寇西河，攻杀西河郡守邢纪。同年三月，休屠各攻杀并州刺史张懿。遂与南匈奴左部胡合，号称有十万人，并杀其单于羌渠。
后来，还是吕布的一个义父丁原在中平五年就任并州刺史后，赏识吕布和张扬，在这些人的帮助之下，最终稳定了并州的局势。
只可惜，丁原被董卓杀死之后，并州刺史部、河东郡和河内郡又因为白波贼而又一次陷入到了内乱之中。
兴平元年，诸侯割据，再加上受席卷大汉朝长江以北蝗灾的影响。南匈奴人主动参与了诸侯的混战，他们率兵沿黄河而南下。
此后，高干借着袁绍的势力强势进入并州，就任并州刺史，可这个时候还，休屠各胡人和南匈奴却已经占据并州刺史部中很多郡县。
事实上，高干这个并州刺史，能够控制的郡只有太原郡、上党郡和部分雁门郡，至于并州其他郡，他可没有那个能力收回。
那个时候，吕布军兵力虽然很弱，但是，军中的将领全都是虎将，西河郡中的休屠各胡和南匈奴联军猝不及防的情况下，迅速被击败了。