穆罕默德去世的时候，并没有指定继承人，这为后来伊SI兰内部的派系之争留下了永恒的话题。
麦加的贵族认为，穆罕默德是古莱西部落的后裔，而且哈里发只是宗教领袖，只要你才德兼备，谁都可以成为哈里发，这一派系后来形成当今最主流的伊SI兰教“逊尼派”，另外一大主流派系就是“什叶派”了。穆罕默德去世时，只有法蒂玛一个女儿，法蒂玛的丈夫阿里是穆罕默德的堂弟兼养子，所以“什叶派”认为只有阿里和法蒂玛的孩子和直系后裔才能成为先知的继承人--哈里发。简单概括就是逊尼派支持神权共和，能者居之；什叶派支持血脉世袭。
就在几个主要派系争斗不休的时候，阿拉伯半岛开始出现叛乱，于是大家停止了争吵，决定选举出德高望重的哈里发以稳固政权为主先，于是阿拉伯帝国进入四大哈里发统治时期。
第一任哈里发叫阿布·伯克尔，是麦加古莱西部落的台姆家族的一个大富商，是最早跟随穆罕默德的教徒之一。赫蒂彻死后，他将自己的女儿嫁给了穆罕默德，成为了穆罕默德的岳父。也正是因为他的这些威望，才能脱颖而出成为第一任哈里发。
阿布成为哈里发之后，一年时间就平息了叛乱。这个时候的外部政治环境十分有利于阿拉伯世界的扩张，因为拜占庭帝国和波斯萨珊帝国间因为常年的战争早已疲惫不堪。阿布首先击败了波斯帝国在波斯湾沿岸的势力，统一了整个阿拉伯半岛，接着走出阿拉伯半岛北进叙利亚占领了加沙地区。
阿布只是在位两年就因病去世了。接任阿布的是欧麦尔·伊本·哈塔卜，他同样是穆罕默德的另外一个岳父，属于哈希姆家族。欧塞尔继位后，他发动了阿拉伯历史上空前的大规模征服战争。
阿拉伯军队兵分两路，东路军4万大军由“真主之剑”哈利德率领，在亚穆克战役中击败了5万的拜占庭大军，成功占领叙利亚首都大马士革。接着，哈利德向东攻击波斯萨珊帝国，在卡迪西亚战役中重创波斯军队，成功占领了伊拉克地区。642年，哈利德在哈尼温战役中彻底消灭波斯的抵抗力量，成功地消灭了强盛一时的波斯萨珊王朝。
西路军则在阿慕尔将军的带领下，于640年进攻埃及，两年后占领开罗，埃及并入阿拉伯帝国版图。然而，就在阿拉伯帝国扩张事业如火如荼的时候，欧麦尔在640年11月13日被基督教的一个奴隶刺杀身亡。
欧塞尔死后，穆罕默德的其中一个女婿奥斯曼·伊本·阿凡继任第三任哈里发，奥斯曼出生于古莱西部落的倭马亚家族，他先后娶了穆罕默德的两个女儿。奥斯曼继位后继续扩大外部战争，先后征服了北非和中亚的大片领土，如利比亚、亚美尼亚、阿塞拜疆。穆罕默德还在小亚细亚组建了强大的海军力量，为日后阿拉伯力量横行地中海打下了坚实的基础。
奥斯曼在位期间有一个伟大的功绩，就是他组织了学者，将穆罕默德在传教时的一些言行和思想编订成册，制成了当今伊SI兰世界唯一的教义经典--《古兰经》。
但是，奥斯曼在位期间，任人唯亲，大量培养倭马亚的家族势力，并且利用职权在埃及和叙利亚大量占有田产，安排自己堂侄的穆阿维叶成为叙利亚总督等等，这引起了阿拉伯集团很多其他家族高层的不满。656年6月，奥斯曼被异教徒刺杀身亡。
接任奥斯曼的是当时的什叶派领袖阿里·伊本·艾比·塔利卜，阿里是穆罕默德女婿兼堂弟。阿里将首都从麦地那迁到伊拉克地区的库法，重新任命了一些地方总督和军政要员。就在阿里执政的第二年，时任叙利亚总督穆阿维叶公开反叛阿里，宣称是阿里派人刺杀了奥斯曼。
阿里于是率领大军前往叙利亚平叛，就在本方大本营快要被阿里攻占之际，穆阿维叶根据《古兰经》里面关于“真主裁决”的内容要求跟阿里进行谈判，“纯洁的哈里发”阿里答应了穆阿维叶的要求，大难不死的穆阿维叶逃过一劫。
也正是因为阿里的这个政治失误，他在穆斯林中的威信大幅下降，一部分原本拥护什叶派的教徒另立门户，成立哈利瓦及派。公元661年，哈利瓦及派刺杀了阿里。在库发的什叶派马上选举了阿里的长子哈桑为哈里发，而在叙利亚的穆阿维叶也自立为哈里发。
老奸巨猾的穆阿维叶收买了哈桑的近臣，对年轻的哈桑连哄带骗，不断灌输退位思想。相较于父亲阿里，哈桑稚嫩的政治觉悟那是更胜一筹，他不愿意看到穆斯林的内斗，最终主动让位，成全了穆阿维叶成为唯一的哈里发。
自此，穆阿维叶建立了阿拉伯帝国的倭马亚王朝，定都叙利亚大马士革，阿拉伯的历史正式进入帝国时代。因为倭马亚家族的旗帜崇尚白色，中国史籍称这一时期的阿拉伯帝国为“白衣大食”。