Ini adalah tempat ibadah yang terkenal pada masa Nabi Ibrahim dan putranya Nabi Ishaq serta cucunya yaitu Nabi Yaqub.
Ketika putra Nabi Yaqub, Nabi Yusuf, memperoleh kedudukan berkuasa di Mesir, beliau meminta keluarganya untuk bergabung dengannya dan keluar dari kemiskinan yang melanda Palestina.
Pada titik ini, karena tidak ada seorang pun yang tersisa di antara keturunan Nabi Yaqub yang menjaga Al Masjid Al Aqsa, maka pemeliharaan tempat yang diberkahi ini dipercayakan kepada Nabi Muhammad SAW yang merupakan penduduk asli tanah tersebut.
Bangsa Israel yang secara sukarela beremigrasi ke Mesir untuk mencari kehidupan materi yang lebih baik, tinggal di sana selama kurang lebih empat abad dan menjadi budak orang Mesir.
Perbudakan ini baru berakhir ketika Allah memerintahkan Nabi Musa untuk membebaskan mereka dari Raja Firaun.
Namun, bangsa Israel menolak untuk kembali ke Palestina dan mengembara di gurun Sinai selama 40 tahun.
Hal ini berakhir ketika generasi baru lahir, didalamnya terdapat Nabi Daud, yang memimpin umat berimannya ke Palestina.
Nabi Daud mendirikan kerajaannya di sebagian Palestina dan menguasai Yerusalem.
Putranya, Nabi Sulaiman membangun kembali Al Masjid Al Aqsa dengan bantuan penduduk asli setempat dan di sebelahnya ia membangun istana.
Setelah wafatnya Nabi Sulaiman, kedua putranya membagi kerajaannya dan masing-masing mempunyai ibu kotanya sendiri.
Kerajaan-kerajaan ini hanya bertahan dalam jangka waktu yang sangat singkat, kira-kira dua ratus tahun, dengan raja terakhir Yerusalem dalam dinasti ini dicopot dari tahtanya pada tahun 586/587 SM.
Ia mencoba melawan bangsa Babilonia yang dipimpin oleh Raja Nebukadnezar, namun gagal karena pasukan Babilonia melakukan pengepungan terhadap kota itu.
Tak lama setelah Babilonia menguasai Yerusalem, Masjid Al Aqsa kembali dihancurkan.
Bangsa Persia menggulingkan bangsa Babilonia (pada masa itu upaya untuk membangun kembali Al Masjid Al Aqsa sebagai tempat ibadah diperbarui).
Namun pada periode setelahnya, kepemilikan berpindah tangan berkali-kali dan Masjid Al Aqsa dihancurkan, dibangun kembali dan kemudian dihancurkan lagi di dalamnya.
Pada tahun 315-325 M, ketika Kaisar Romawi Konstantin masuk Kristen, masyarakat Romawi dan penduduk yang tinggal di negerinya (termasuk Yahudi) tidak lagi menghargai Masjid Al Aqsa dan tidak lagi memperlakukannya sebagai tempat kesucian dan ibadah.