北周太祖文皇帝姓宇文，名讳泰，字黑獭，是代郡武川（今内蒙古武川西）人。他的先祖出自炎帝神农氏，炎帝被黄帝打败后，其子孙逃到北方荒野地区居住。
有一位叫葛乌菟的人，英勇威武且足智多谋，鲜卑人很敬慕他，尊奉他为主。于是他统领了十二个部落，世代担任部落首领（大人）。后来有个叫普回的人，在打猎时得到三枚玉玺，上面刻有文字“皇帝玺”。普回心里觉得这很奇异，认为是上天授予的。他们的习俗中称天为“宇”，称君为“文”，于是就称自己的国家为宇文国，并且把宇文作为姓氏。
普回的儿子莫那，从阴山向南迁徙，开始居住在辽西，他被称为献侯，宇文部成为北魏（当时称魏）皇后母族所在的封国（魏舅生之国）。历经九代传到侯豆归，侯豆归时宇文部被慕容晃（慕容皝）所灭。侯豆归的儿子宇文陵在燕国做官，被授予驸马都尉，封玄菟公。北魏道武帝（公元386年- 409年在位）准备攻打中山时，宇文陵跟随慕容宝抵御魏军。慕容宝战败后，宇文陵率领五百名披甲骑兵归附北魏，被授予都牧主之职，赐爵安定侯。天兴初年（公元398年），北魏迁徙豪杰到代都，宇文陵按照规定迁到了武川。
宇文陵生了宇文系，宇文系生了宇文韬，二人都以军事谋略著称。宇文韬生了宇文肱。
宇文肱行侠仗义，有气魄和才干。正光末年（公元525年左右），沃野镇人破六汗拔陵发动叛乱，远近很多人响应他。其中叛军伪称王的卫可孤的徒众最为强盛。宇文肱于是聚集乡里之人斩杀了卫可孤，他的部众才散去。后来宇文肱为躲避战乱到中山，却陷入鲜于修礼的队伍中。鲜于修礼让宇文肱回去统领他原来的部众。后来宇文肱的队伍被定州的军队打败，他也在阵前战死。武成初年（北周武成元年，公元559年），追尊他为德皇帝。
太祖宇文泰，是德皇帝宇文肱的小儿子。他的母亲是王氏，怀孕五个月时，夜里梦见抱着儿子升天，还没到天上就停了下来。醒来后她把这个梦告诉德皇帝，德皇帝高兴地说：“虽然没到天上，但尊贵的程度也到极致了。”宇文泰出生时，有一团黑气像伞盖一样，笼罩在他身上。
等宇文泰长大后，身高八尺，额头方正宽阔。他长着漂亮的胡须，头发很长，能垂到地上，手臂垂下时超过膝盖。他的背上有黑痣，蜿蜒曲折如同龙盘绕的形状，脸上有紫色的光泽，人们看到他都会心生敬畏。
宇文泰年少时就胸怀大度，不从事家庭谋生的产业，轻视钱财，喜欢施舍，以此来结交贤能的士大夫。他年少时跟随德皇帝在鲜于修礼的军中。等到葛荣杀死鲜于修礼时，宇文泰当时十八岁，葛荣就任命他为将帅。宇文泰知道葛荣成不了大事，就和各位兄长谋划着要逃离。计划还没实施，恰好尔朱荣擒获了葛荣，平定了河北地区，宇文泰按照惯例迁到了晋阳。
尔朱荣因为宇文泰兄弟都是英雄豪杰，担心他们日后与自己作对，就以其他罪名，杀掉了宇文泰的三哥宇文洛生，又想加害宇文泰。宇文泰为自家申冤，言辞慷慨激昂。尔朱荣被他感动，赦免了他，并且对他更加敬重优待。
孝昌二年（公元526年），燕州发生动乱，太祖宇文泰开始以统军的身份跟随尔朱荣前去征讨。在这之前，北海王元颢逃奔到南梁，南梁人拥立他为北魏的君主，让他率领军队进入洛阳。北魏孝庄帝（公元528 - 530年在位）离开洛阳，前往河内躲避元颢。尔朱荣派遣贺拔岳讨伐元颢，同时去迎接孝庄帝。宇文泰与贺拔岳早就相识，于是就以别将的身份跟随贺拔岳行动。等到孝庄帝恢复皇位后，宇文泰因为功劳被封为宁都子，食邑三百户，还升任镇远将军、步兵校尉。
万俟丑奴在关右地区发动叛乱，孝庄帝派遣尔朱天光以及贺拔岳等人前去讨伐。宇文泰便跟着贺拔岳进入关中地区，作为先锋打败了叛军的伪行台尉迟菩萨等人。等到平定万俟丑奴，安定了陇右地区，宇文泰立下了很多功劳，升任征西将军、金紫光禄大夫，增加食邑三百户，加授直阁将军，代理原州事务。当时关陇地区战乱不断，百姓生活困苦、人口凋零，宇文泰用恩德和信义来安抚百姓，百姓都心悦诚服。大家都高兴地说：“要是能早点遇到宇文使君，我们怎么会跟随叛贼参与叛乱呢。”有一次，宇文泰曾带着几个骑兵在野外，突然听到了箫鼓的声音，他问随从的人，大家都说没听到。
普泰二年（公元532年），尔朱天光向东抵御北齐神武帝高欢，留下弟弟尔朱显寿镇守长安。秦州刺史侯莫陈悦被尔朱天光征召，准备率领军队东下。贺拔岳知道尔朱天光必定失败，想要留下侯莫陈悦一起对付尔朱显寿，但一时想不出好办法。宇文泰对贺拔岳说：“如今尔朱天光离得还近，侯莫陈悦目前也没有二心。要是把这件事直接告诉他，恐怕会让他惊慌害怕。不过侯莫陈悦虽然是主将，却不能很好地掌控部下。如果先去说服他的部众，肯定会有人愿意留下来。他进不能按时与尔朱天光会合，退又担心部下人心变动，趁这个时候去劝说侯莫陈悦，事情没有不成功的。”贺拔岳听后十分高兴，立即让宇文泰进入侯莫陈悦的军营去劝说。侯莫陈悦于是没有东下。他们便一起率军袭击长安，贺拔岳让宇文泰率领轻骑兵作为前锋。宇文泰估计尔朱显寿生性怯懦，听到各路军队即将到来，肯定会向东逃跑。他担心尔朱显寿逃得太远，就日夜兼程赶路。尔朱显寿果然已经向东逃窜。宇文泰追到华山，将他擒获。
太昌元年（公元532年），贺拔岳担任关西大行台，任命宇文泰为左丞，兼任贺拔岳幕府的司马，加授散骑常侍。府中无论大小事务，都交给他处理决断。
北齐神武帝高欢打败尔朱氏后，便独揽了北魏朝政。宇文泰请求前去观察情况。到了并州后，高欢询问贺拔岳军队的情况，宇文泰对答如流，言辞雄辩。高欢觉得他不是一般人，想要把他留下。宇文泰假意表达忠诚，才得以返回复命，之后便日夜赶路。高欢果然派人来追，等追到关口时，已经来不及了。宇文泰回来后对贺拔岳说：“高欢不甘心做臣子。他之所以还没有发动叛逆的阴谋，是忌惮您兄弟二人罢了。然而，凡是想要建立大功、匡扶社稷的人，没有不凭借有利地势，聚集英雄豪杰而能成功的。侯莫陈悦本就是平庸之辈，只是碰上了好时机，才得以担当重任。他既没有为国分忧的心思，也不被高欢所忌惮，只要对他有所防备，谋取他并不难。如今费也头部落能弯弓射箭的骑兵不少于一万，夏州刺史斛拔弥俄突拥有三千多能打仗的士兵，还有灵州刺史曹泥，都仗着自己地处偏远，常常心怀异心。河西流民纥豆陵伊利等人，人口众多且富足，却还没有接受朝廷的教化。如今如果把军队转移到靠近陇地的地方，控制住要害之处，向他们展示军威，用仁德去收服他们，就可以收编他们的兵马，充实我们的军队。向西可以安抚氐族、羌族，向北可以抚慰沙漠边塞的百姓，然后回师长安，辅佐北魏皇室，这可是像齐桓公、晋文公那样的霸业之举啊。”贺拔岳听后非常高兴，又派宇文泰到朝廷请示事情，并秘密陈述了这些情况。北魏孝武帝（公元532 - 534年在位）深表赞同，加授宇文泰为武卫将军，让他回去通报贺拔岳。贺拔岳于是率领军队向西驻扎在平凉，和众人商议说：“夏州邻近贼寇，需要加以安抚，到哪里去找一位好刺史来镇守呢？”众人都说：“宇文左丞就是合适的人选。”贺拔岳说：“左丞是我的左右手，怎么能离开呢！”他反复考虑了好几天，最终还是听从了众人的建议。于是上表推荐宇文泰为使持节、武卫将军、夏州刺史。宇文泰到了夏州，纥豆陵伊利望风归附，而曹泥却仍然与北齐神武帝高欢互通使者。
魏永熙三年（公元534年）春正月，贺拔岳打算讨伐曹泥，派遣都督赵贵到夏州与宇文泰商议此事。宇文泰说：“曹泥据守孤城，又路途遥远，不足以担忧。侯莫陈悦依仗着众多兵力，又离我们很近，他贪婪且不讲信用，日后必将成为祸患，希望能早点谋划对付他。”贺拔岳没有听从，于是和侯莫陈悦一起去讨伐曹泥。二月，军队抵达河曲，贺拔岳果然被侯莫陈悦杀害。他的士兵们四散回到平凉，只有大都督赵贵率领自己的私兵将贺拔岳的尸体收运回军营。此时，三军群龙无首，不知该归属谁。
众将认为都督寇洛年龄最大，于是共同推举寇洛，让他总领军事。寇洛向来没有雄才大略，下达的命令也没人执行，于是他对众将说：“我的智慧和才能本就欠缺，不适合统领军队。之前是迫于大家的提议，才勉强代理。现在我请求辞去这个职位，另选贤能之人。”
这时，赵贵对众人说：“元帅贺拔岳忠诚为国，尽忠职守，朝野皆知，他的功业还未完成，却突然惨遭杀害。这不仅是国家失去了优秀的大臣，我们大家也失去了依靠。如果一定要联合盟友，复仇雪耻，就必须选择贤能之人，来统领各军。要是选错了人，大事就难以成功，即便我们想要树立忠义，又怎么能做到呢！我看宇文夏州（指宇文泰），英姿盖世，雄才大略冠绝一时，远近之人都对他归心，士兵们也都愿意为他效命。再加上他法令严整，赏罚分明，真的值得依靠。现在如果把贺拔岳的死讯告诉他，他一定会赶来解救危难，我们顺势拥戴他，大事就能成功了。”众将都表示赞同。
于是，众人命赫连达快马赶到夏州，告诉宇文泰说：“侯莫陈悦不顾盟誓，忘恩负义，杀害忠良。大家都悲愤惋惜，却无处申诉。您过去在军队中任职，恩情和信义远近闻名。如今无论官职大小，大家都愿意推举您、侍奉您。大家思念您，度日如年，希望您不要耽搁，以慰藉众人的期望。”
宇文泰准备前往，夏州的官吏和百姓都哭着请求说：“听说侯莫陈悦如今在水洛，离平凉不远。如果他已经收编了贺拔公的军队，再想对付他就真的很难了。希望您暂且停留，观察事态的变化。”宇文泰说：“悦既然杀害了元帅，本应乘势直接占据平凉，可他却犹豫不决，把军队驻扎在水洛，我就知道他成不了大事。况且难得而易失的是时机，片刻都不能耽误的是机会，现在不早点赶去，恐怕众人的心就会离散。”
都督弥姐元进企图响应侯莫陈悦，暗中算计宇文泰。事情败露后，被宇文泰斩杀。宇文泰于是率领帐下的轻骑兵，迅速赶赴平凉。当时，北齐神武帝高欢派遣长史侯景来招抚贺拔岳的部众。宇文泰到安定的时候，遇到了侯景，对他说：“贺拔公虽然死了，宇文泰还在，你想干什么？”侯景大惊失色，回答道：“我就像一支箭，随人所射，怎么能自己做主呢！”侯景于是马上返回。
宇文泰到达平凉后，悲痛地哭祭贺拔岳。将士们既悲伤又高兴，说：“宇文公来了，我们就没什么可担忧的了。”
当时，北魏孝武帝打算对付北齐神武帝高欢，听说贺拔岳被害，派遣武卫将军元毗宣旨慰劳，并召贺拔岳的军队返回洛阳。元毗到达平凉时，众将已经推举宇文泰。侯莫陈悦也接到敕令被召回，然而侯莫陈悦已经归附高欢，不肯应召。
宇文泰对众将说：“侯莫陈悦冤杀忠良，又不接受诏命，这是国家的大贼，怎么能容忍他！”于是命令各军戒严，准备讨伐侯莫陈悦。等到元毗返回，宇文泰上表给北魏孝武帝说：“臣之前因为已故的关西大都督贺拔岳竭诚报国，却惨遭横祸，三军士气低落，朝野痛心惋惜。都督寇洛等人，含冤忍悲，立志报仇雪耻。因为臣过去与他们同在幕府，他们极力邀请臣。臣便在本月十四日，轻装赶来军中。出发的时候，已经另外上表奏明。既然是被众人的情义所逼迫，暂时掌管军事。陛下诏令贺拔岳的军队入京，这确实是为国着想的良策。但是高欢的军队已经到了河东，侯莫陈悦还在水洛。况且这些军士大多是关西人，都眷恋家乡，不愿意东下。现在如果以上级命令逼迫他们，让他们全部赶赴潼关，侯莫陈悦在后面追击，高欢在前面拦截，就会首尾受敌，形势十分危险。臣为国家之事献身，确实心甘情愿。但恐怕国家战败、百姓遭殃，损失会更大。恳请陛下稍微延缓一下，再考虑后续的计划，慢慢诱导，逐渐让军队东进。”
宇文泰一心想要讨伐侯莫陈悦，但还不清楚朝廷的旨意，而且兵力尚未集结，就以此为借口。于是他与元毗以及众将杀牲盟誓，共同辅佐王室。
当初，贺拔岳在河曲扎营，有个军吏独自出行，忽然遇见一位老翁，胡须眉毛都洁白如雪，老翁对他说：“贺拔岳虽然拥有这些部众，但最终不会有什么成就。会有一个姓宇文的人从东北而来，日后必定会大为兴盛。”说完就不见了。这个军吏常常把这件事告诉亲近的人，到这时预言果然应验了。
北魏孝武帝下诏给宇文泰说：“贺拔岳已经去世，他的部众没有归属，你可担任大都督，即刻统领他们。知道你打算逐渐率军东下，这实在太好了。如今也征召侯莫陈悦的兵马入京。如果他不来，朕将亲自对他进行惩罚。你应该领会朕的意思，不要拖延太久。”宇文泰又上表说：“侯莫陈悦违背天理，残酷杀害良臣，自己知道擅自杀人罪重，所以不恭敬地接受诏命，在水洛拥兵自重，在秦陇一带横行霸道。臣因为朝廷已经颁布大赦令，所以强忍着个人的仇恨，多次询问侯莫陈悦以及都督可朱浑元等人何时回朝，可侯莫陈悦却扣押使者，不让他们返回报告。看他的意图，必然心怀不轨。臣正是因为这个原因，不敢轻举妄动。同时也要顺应众人的情绪，恳请陛下再稍作停留、延缓一些时间。”
宇文泰于是写信给侯莫陈悦，斥责他说：
不久前正光末年，天下大乱，战火在河朔纷飞，迷雾笼罩着荆沔之地。所以将军贺拔公奋袂而起，立志安定天下。他挥师南下，拯救即将覆灭的皇室；率军西征，解救百姓于危难之中。西边能没有忧患，全依赖贺拔公。他功勋卓著，受赏丰厚，于是被征召到关右地区。这是路人皆知的事情，无需多言。
你实际上声名卑微、品行浅薄，本就没有远大的志向。已故将军贺拔公降低自己的志向，深明广纳贤才的道理，于是向朝廷启奏，推荐你担任陇右行台。朝廷商议时认为你功名不足，没有同意。贺拔公于是多次请求，反复上奏。天子难以违背上将的请求，才予以批准。这也是远近都知道的事情，不必再多费笔墨。即使是木石心肠的人，也应当知道感恩。何况你是有血有肉的人，怎么能没有愧疚之心呢！再加上王室多灾多难，高氏专权，主上虚心以待，把厚望寄托在贺拔公和你身上。你又与已故将军一同接受密旨，多次结盟立约，期望齐心协力，共同匡扶时难。然而你表面恭敬，内心狠毒，嫉妒胜过自己和贤能的人，盟誓的血还未干，就已经拔刀相向。你勾结国贼，共同危害本朝，辜负恩情和誓言，不知廉耻。难道你对上不畏惧上天，对下不愧对大地吗！
我才能薄弱，有幸担任藩镇之职，承蒙朝廷的提拔之恩，受到已故将军以国士相待的礼遇。听到贺拔公死讯的时候，我魂不守舍，心急如焚。于是向朝廷陈奏，立即赶来，被众人推举，担当起军事重任。近来接到敕旨，召我回朝，也有另外的诏书，命令你入朝。虽然你操行不为人知，但年龄已大。如今是进是退，就看你的表现了。你如果督率所部，从山陇向东进发，我也会统领军队，从北路回朝。我们共同追随廉颇、蔺相如的足迹，一同仰慕寇恂、贾复的风范。如果你首鼠两端，不及时奉诏，擅自杀人、违抗圣旨，国家自有常刑，我枕戈待旦，随时与你相见。希望你权衡利害，不要等到后悔莫及。
侯莫陈悦既害怕宇文泰算计自己，就伪造诏书给秦州刺史万俟普拨，让他与自己结为党援。万俟普拨对此表示怀疑，把诏书封存起来呈送给宇文泰。宇文泰上表说：“臣自从奉诏统领平凉的军队，责任重大，忧虑很深，无暇休息。训练士兵、喂好战马，只想着竭尽全力。之前因为士兵留恋本土，侯莫陈悦又在一旁窥探，伺机而动，权衡之下认为暂且应该留在这里。如今如果征召侯莫陈悦，授予他朝廷官职，臣即刻率军东行。朝廷如果认为侯莫陈悦可以担任边防重任，恳请把瓜州、凉州等地的藩镇交给他。不然的话，终究会导致猜疑，对国家大事没有益处。”
起初，原州刺史史归深受贺拔岳信任，河曲事变时，他却转而替侯莫陈悦据守原州。侯莫陈悦派他的党羽王伯和、成次安率领两千士兵协助史归镇守原州。宇文泰派遣都督侯莫陈崇率领一千轻骑兵袭击史归，将其擒获，还俘虏了成次安、王伯和等人，把他们押送到平凉。宇文泰上表推荐侯莫陈崇代理原州事务。万俟普拨又派他的将领叱干保洛率领两千骑兵前来归附。
公元534年三月，宇文泰进军抵达原州。各路军队全部集结，宇文泰向众人宣告讨伐侯莫陈悦的意图，士卒们无不义愤填膺。宇文泰于是上表说：“臣听说誓死报答恩情，舍身报效君主，是为人伦常理所急切需要的，人们会毫不犹豫地去做。自从大都督贺拔岳去世后，臣多次接到诏书让我回朝，我喂好战马，准备好行程，恨不得立刻出发。只是督将以下的人，都说贺拔公待我们如同子女，如今仇恨未报，我又有什么面目活在世间。如果能为他雪冤报仇，我万死不辞！况且侯莫陈悦对外依附强臣，对内违抗朝廷旨意。臣如今上有除恶的志向，下要满足义士的心愿，希望仰仗天子的威严，为国除害。虽然暂时违背了立即回朝的旨意，但此时正是关键。等平定侯莫陈悦之后，臣甘愿接受惩处。”
同年夏四月，宇文泰率兵登上陇地，留下兄长的儿子宇文导为都督，镇守原州。宇文泰军令十分严肃，军队对百姓秋毫无犯，百姓们非常高兴。有见识的人都知道他将会成就大业。军队从木峡关出发时，天降大雪，平地积雪达二尺厚。宇文泰深知侯莫陈悦怯懦又多疑，于是日夜兼程，出其不意地进军。侯莫陈悦果然怀疑身边的人有二心，身边的人也感到不安，于是众人开始离心离德。侯莫陈悦听说大军即将到来，便退保略阳，留下一万多人据守水洛。宇文泰到达水洛后，下令围城，水洛城投降。宇文泰随即率领数百轻骑兵奔赴略阳，兵临侯莫陈悦军前。侯莫陈悦非常恐惧，于是召集部将商议对策。部将们都说“敌军锋芒不可抵挡”，劝侯莫陈悦退保上邽躲避。当时南秦州刺史李弼也在侯莫陈悦军中，他暗中派人前来，表示愿做内应。当晚，侯莫陈悦出兵，军中却自行惊恐溃散，将士们有的相继前来投降。宇文泰发兵奋力攻击，大败侯莫陈悦。俘虏一万多人，缴获八千匹马。侯莫陈悦与他的子弟以及麾下数十骑兵逃走。宇文泰说：“侯莫陈悦原本与曹泥相互呼应，他很可能逃向灵州。”于是命令原州都督宇文导在前面拦截，都督贺拔颍等人在后面追击。宇文导追到牵屯山时追上侯莫陈悦，将其斩杀。宇文泰进入上邽，收缴侯莫陈悦的府库，财物堆积如山，他将这些财物全部赏赐给士卒，自己一毫也不拿。他的手下偷偷拿了一个银镂瓮回来，宇文泰知道后处罚了此人，还将银镂瓮割碎赏赐给将士，众人十分高兴。
当时凉州刺史李叔仁被百姓抓住，全州一片骚乱。宕昌羌人梁企定勾结吐谷浑侵犯金城。渭州及南秦州的氐、羌各族相互勾结，到处起兵反叛。从南岐州到瓜州、鄯州，占据州郡的人不计其数。宇文泰于是命令李弼镇守原州，夏州刺史拔也恶蚝镇守南秦州，渭州刺史可朱浑元回镇渭州，卫将军赵贵代理秦州事务。征收豳、泾、东秦、岐四州的粮食来供应军队。
北齐神武帝高欢听说秦陇被平定，就派使者到宇文泰那里，言语动听，礼物丰厚，极力想与宇文泰结交。宇文泰拒绝没有接纳。当时高欢已有谋反之心，所以北魏孝武帝十分倚重宇文泰。于是征调两千骑兵镇守东雍州，作为声援，还命令宇文泰逐渐率军东进。宇文泰于是派遣大都督梁御率领五千步骑兵镇守黄河、渭水交汇之处，谋划进取河东。宇文泰讨伐侯莫陈悦时，侯莫陈悦派使者向高欢求援，高欢派他的都督韩轨率领一万士兵占据蒲坂，而雍州刺史贾显送船给韩轨，邀请韩轨的军队入关。宇文泰趁着梁御东进，就逼迫贾显前来军中。梁御于是进入雍州。北魏孝武帝派著作郎姚幼瑜持符节慰劳军队，晋升宇文泰为侍中、骠骑大将军、开府仪同三司、关西大都督、略阳县公，可秉承皇帝旨意封官授爵，持节之权依旧。于是任命寇洛为泾州刺史，李弼为秦州刺史，前略阳郡守张献为南岐州刺史。卢待伯抗拒替代他的官员，宇文泰派轻骑兵袭击并擒获了他，卢待伯自杀。
当时北魏孝武帝正打算对付北齐神武帝高欢，又向宇文泰征兵。宇文泰于是任命前秦州刺史骆超为大都督，率领一千轻骑兵奔赴洛阳。朝廷晋升宇文泰兼任尚书仆射、关西大行台，其余官职和封爵照旧。宇文泰于是向各方镇发布檄文：
人们都知道，阴阳交替运行，兴盛与衰败相互沿袭，一旦遭遇厄运，无论是三统五运还是其他，都难以幸免。我大魏开创基业，培育教化百姓，使四海安宁，以仁德养育万物。然而国运到了孝昌年间，灾祸屡屡发生，陇、冀地区动荡不安，燕、河之地也人心惶惶。虽然国运有重新振兴、平定祸乱的时机，但那些趁机作乱的人，却纷纷崛起。
贼臣高欢，才能见识平庸低下，出身微贱，很少听闻礼义，只是凭借充当鹰犬，在军队中效力，厚着脸皮承蒙皇恩，才得以获得荣耀和宠幸。他不但不能竭诚尽忠，反而心怀奸诈，竟然怂恿尔朱荣发动篡逆之事。等到尔朱荣因专政被诛杀，尔朱世隆因叛逆逃到外地，高欢又极力劝说他们夺取京师。他还劝吐万儿再次弑君暴虐，暂时拥立建明帝，以号令天下。又假意推举普泰帝，妄图窃取威权。但这些人最终都被废黜，且都惨遭杀害。于是高欢在河北起兵，假称讨伐尔朱氏，频繁上表奏报，声称要铲除谗佞之贼。可他在废黜皇帝后，就打算篡位弑君。只是因为人心还未完全背离北魏，他害怕遭到严惩，才寻求宗室之人拥立，暂时顺应人心。上天既然要延续大魏，必定会有圣明的君主。辅佐拥戴圣明的皇帝，实在不是高欢的功劳。然而高欢拥兵自重，残忍不仁，还自以为有功。他在各州郡广泛安插亲信，把持朝政。朝堂之中，全是他的亲党。这些人都贪婪暴虐，残害百姓。而那些旧将名臣、正人君子，却无端遭受伤害，动辄被他罗织罪名。比如武卫将军伊琳，清正刚直，统领禁卫军。直阁将军鲜于康仁，忠诚勇敢，是国家的得力卫士。高欢却将他们收捕杀害，竟然不上奏朝廷。司空高乾，本是他的同党，常常与他相互呼应，图谋危害国家。只是因为奸计未能得逞，担心事情提前泄露，高欢就暗中报告朝廷，让朝廷杀掉高乾，事后又对着高乾的弟弟痛哭，声称是天子无故杀害高乾。孙腾、任祥，是高欢的心腹，高欢让他们进入朝廷中枢，窥伺国家的间隙。他们知道高欢的叛逆阴谋即将发动，相继逃归高欢处，高欢对他们更加优待，却也不上奏朝廷。
高欢进入洛阳之初，本就心怀奸谋。他让亲信蔡儶担任河、济地区的长官，对其厚加恩赏，让他作为自己在东道的内应。原关西大都督、清水公贺拔岳，功勋卓著，品德高尚，国家兴亡都寄托在他身上。高欢喜好祸乱，对贺拔岳十分忌恨，于是与侯莫陈悦暗中谋划陷害他。我军奉命出征，当即讨伐并诛杀了侯莫陈悦。高欢知道自己的叛逆行径已经暴露，便逐渐开始抗拒朝廷。他派蔡俊抗拒替代他的官员，让窦泰辅佐蔡俊。又派侯景等人声称要进攻白马，辅世珍等人直接奔赴石济，高隆之、疋娄昭等人屯兵占据壶关，韩轨等人率军驻守蒲坂。然后他上书天子，数落朝廷的得失，诋毁皇帝，威胁侮辱朝廷。凭借这点小小的功劳，妄图谋取皇位。人的贪欲像深谷一样难以填满，高欢的祸心更是难以揣测。有人说他要直接奔赴荆楚，对外开拓疆土；有人说他要分别进军伊洛，捉拿所谓的谗佞之人；还有人说他要来入关，与我军决战。如今圣明的君主统治天下，天下太平，百官恭顺，四方归附。人人都忠诚良善，谁会成为君主身边的奸佞呢？而高欢却作威作福，制造祸乱，造谣中伤，颠倒黑白，心怀叛逆，觊觎皇位。这样的行为如果可以容忍，还有什么不能容忍的！我军有能力抵御外敌，我亲自接受天子的出征命令，拥有百万精锐之师，千群精锐骑兵，士兵们备好干粮，披甲待命，只等敌人出现。只要是为了正义，即便牺牲生命也毫不吝惜。况且朝廷多次下诏，通告天下，指出高欢叛逆作乱，征兵进行讨伐。如今我就分别命令将帅，根据时机进军讨伐。有的奔赴高欢军队的要害之处，有的袭击他的巢穴，军队行动如闪电环绕、如长蛇出击，分布如云雾聚合、如繁星罗列。高欢违背天地道义，毒害人间和鬼神，趁着这次机会对他进行扫荡，就如同俯身拾取东西一样容易。如果高欢渡过黄河，逐渐逼近宗庙，就分别命令诸将，直接攻取并州，我亲自率军东进，迅速奔赴伊洛；如果他坚守巢穴，不敢发动进攻，也命令各路将帅，从多条道路同时进军，将这个贼臣车裂，以向天下谢罪。天下各州镇郡县的百姓，无论是州乡的名门望族，还是世代功勋之家，都应该舍弃叛逆，归顺朝廷，在军前效力。封赏的标准，已经另有规定。各位君子，能不努力吗？
宇文泰对众将说：“高欢这人智谋虽不够，但奸诈有余，如今他声称要向西进军，其实意图是攻入洛阳。我打算让寇洛率领一万多步兵和骑兵，从泾州向东进发。王罴率领一万披甲士兵，先占据华州。高欢如果向西而来，王罴足以抵抗。如果他要攻入洛阳，寇洛就趁机袭击汾州、晋州。我则迅速进军，直接奔赴京城洛阳。这样能让高欢前进时有后顾之忧，后退时又有被追击的危险。一举平定大局，这是上策。”众人都称赞这个计策好。
公元534年秋七月，宇文泰率领大军从高平出发，前军抵达弘农。此时，北齐神武帝高欢逐渐逼近京城洛阳。北魏孝武帝亲自统领六军，驻扎在河桥，命令左卫元斌之、领军斛斯椿镇守武牢关，并派使者告知宇文泰。宇文泰对身边的人说：“高欢几天之内行军八九百里，这是通晓兵法的人所忌讳的，我们正应该抓住机会攻击他。然而主上身为天子，却不能渡河与高欢决战，反而沿着黄河渡口据守。况且黄河长达万里，防御起来十分困难，只要有一处被突破，大局就完了。”于是任命大都督赵贵为别道行台，从蒲坂渡河，奔赴并州。又派遣大都督李贤率领一千精锐骑兵前往洛阳。恰逢元斌之与斛斯椿争权不和，元斌之就离开斛斯椿返回，欺骗孝武帝说：“高欢的军队到了。”
七月丁未日，孝武帝于是从洛阳率领轻骑兵入关。宇文泰备好仪仗卫队前去迎接，在东阳驿拜见孝武帝。宇文泰摘下帽子，流着泪请罪说：“臣没能阻止贼寇的暴虐，以至于让陛下被迫迁都。请将臣交付司法官，按照刑律治罪。”孝武帝说：“你的忠诚和节操，朝野皆知。是朕德行不足，任用非人导致贼寇进犯。今日与你相见，我深感惭愧。罪责在朕，你不必谢罪。”于是宇文泰侍奉孝武帝定都长安。在荒芜之地建立朝廷，国家军政大事，都由宇文泰决断。朝廷又加授宇文泰为大将军、雍州刺史，兼任尚书令，进封略阳郡公，另外设置两名尚书，根据情况处理事务，解除宇文泰尚书仆射之职，其余官职照旧。宇文泰坚决推辞，皇帝下诏敦促劝谕，他才接受。
起初，北魏孝武帝在洛阳时，答应将冯翊长公主许配给宇文泰，还没来得及联姻，孝武帝就西迁了。到这时，皇帝下诏让宇文泰迎娶冯翊长公主，授予他驸马都尉之职。
八月，北齐神武帝高欢袭击并攻陷潼关，进犯华阴。宇文泰率领各路军队驻扎在霸上严阵以待。高欢留下他的将领薛瑾镇守潼关后撤退。宇文泰于是进军讨伐薛瑾，俘虏了七千士兵，返回长安，晋升为丞相。冬十月，高欢推举北魏清河王元亶的儿子元善见为君主，迁都到邺城，这就是东魏。十一月，宇文泰派遣仪同李虎与李弼、赵贵等人到灵州讨伐曹泥，李虎引黄河水灌城。第二年，曹泥投降，宇文泰将曹泥手下的豪强首领迁到咸阳。闰十二月，北魏孝武帝驾崩。宇文泰与各位王公商议决定，拥立北魏南阳王元宝炬为帝，这就是西魏的文皇帝。