Apa yang dilakukan oleh Rasulullah yang paling pertama ketika sampai di Madinah adalah membangun masjid. Rasulullah tidak mencari tanah untuk membangun istana. Tidak mencari pasar untuk berdagang. Bahkan ketika itu banyak sahabat yang meminta Rasulullah untuk tinggal di rumahnya, tapi beliau menolak dengan halus. “Biarlah unta yang saya naiki ini yang akan menuntun di mana saya tinggal”, Kata Rasulullah ketika itu. Akhirnya unta itu memberhentikan Rasulullah di dekat tempat penjemuran kurma milik Sahl dan Suhail bin ‘Amr. Kemudian tempat itu dibelinya guna dipakai tempat membangun masjid. Sementara tempat itu dibangun, ia tinggal pada keluarga Abu Ayyub Khalid b. Zaid AlAnshari