回族先民为元以前来华的穆斯林。唐永徽二年（651年），阿拉伯哈里发帝国正式遣使来华，史学界把此事件作为伊斯兰教传华的标志。此后,大批阿拉伯、波斯和中亚各族的使臣、商人通过丝绸之路和航海来华。他们信仰伊斯兰教，被称为“蕃客”、“胡商”，多居住于长安和广州、泉州、扬州等沿海城镇及海南岛，部分蕃客与华人通婚，定居繁衍。他们在广州居住地较集中，称“蕃坊”，推选蕃长负责民事纠纷及处理宗教事务，生活上保留穆斯林习惯，遵守其饮食、丧葬规定。五代时期，出现李珣、李弦、李舜兄妹，以文名闻世，显示“蕃客”中的“华化”倾向。辽金时期，中亚突厥人伊斯兰化，与辽金辖区人民交往甚多。两宋时期，由海道来华的阿拉伯、波斯使臣、商人为数更多，在广州、泉州等地除原有“蕃客”（称“土生蕃客”或“四世蕃客”、“五世蕃客”）外，又增添许多新来“蕃客”，包括来自东南亚或非洲的“南蕃回回”、“昆仑回回”或“黑回回”等。他们都保持穆斯林信仰及生活习俗，有的在当地定居繁衍，居住地域集中于沿海城镇。然而西北地区也早有大批穆斯林沿着丝绸之路逐渐移入，多居住于交通要道的城镇中。