Jerozolima znaczy: „miasto pokoju”. pierwsze wzmianki na jej temat sięgają III tysiąclecia p. Chr. Najprawdopodobniej w ostatnich latach XI wieku p. Chr. miasto zamieszkane przez Jebusytów zostało zdobyte przez króla Dawida, który przeniósł do niego z Hebronu stolicę państwa Izrael. Dawid obwarował i rozbudował całe miasto. Sprowadził do Jerozolimy Arkę Przymierza. Jego syn, król Salomon zbudował tam świątynię w X wieku p. Chr. (tzw. Pierwsza Świątynia). Miasto stało się centrum religijnym, kulturowym, politycznym, gospodarczym i militarnym państwa Izrael.
Po rozpadzie Izraela na dwie części – Izrael i Judę – Jerozolima pozostawała stolicą Judy. W VI wieku p. Chr. zdobyli ją Babilończycy i zburzyli świątynię Izraelitów. Mieszkańcy miasta zostali wysiedleni do Babilonu (niewola babilońska). W latach 30. VI wieku p. Chr. Babilon został podbity przez Persów, którzy pozwolili Izraelitom powrócić do Judy. Żydzi odbudowali swoją świątynię. Po upadku Persji, miasto weszło w skład hellenistycznego imperium Ptolemeuszy. Państwo króla Ptolemeusza obejmowało Egipt, Judeę, Fenicję i Cypr. Grecy nazwali Judę mianem Judei.
W 200 p. Chr. Judea weszła w skład królestwa Seleucydów, wciąż zachowywała jednak znaczną autonomię. Przywództwo w Jerozolimie spoczywało w rękach żydowskiego arcykapłana, która to godność była dziedziczona. W latach 175–164 p. Chr. w królestwie Seleucydów sprawował rządy Antioch IV. Był on zwolennikiem hellenizacji Judei i sprofanował żydowską świątynię w Jerozolimie. Z Jerozolimy uczynił greckie miasto pod nazwą Antiochia Judejska. Żydzi podjęli walkę o niepodległość i po zwycięstwie Jerozolima (164 p. Chr.) stała się stolicą żydowskiego państwa Machabeuszy, rozpoczęły się rządy dynastii Hasmoneuszy. W 67 p. Chr. Judeę podbili Rzymianie. Po długich walkach, w 63 p. Chr. opanowali również Jerozolimę. Rzymianie pozostawili Żydom swobodę w sprawach wewnętrznych. Władzę nad Judeą i Jerozolimą dzielili oni z królami z dynastii Herodów. W maju 66 rzymski prokurator Cezarei (Judei) Gesjusz Florus bezlitośnie złupił całą prowincję. W odpowiedzi wybuchło żydowskie powstanie przeciwko Rzymianom. XII legion rzymski dowodzony przez Wespazjana, a następnie jego syna Tytusa przystąpił do jego tłumienia, czego najważniejszym momentem było oblężenie Jerozolimy w 70. Miasto padło 11 września 70. Tacyt podaje, że w walkach zginęło 600 tys. ludzi. Całe miasto zostało zamienione w ruinę. Zniszczeniu uległa Świątynia Jerozolimska (tzw. Druga Świątynia). Wszyscy Żydzi zostali wygnani z terenu miasta.
W roku 132 rzymski cesarz Hadrian postanowił odbudować Jerozolimę jako miasto hellenistyczne ze świątynią Jowisza i nazwą Colonia Aelia Capitolina. Wywołało to wybuch kolejnego powstania żydowskiego pod wodzą Bar-Kochby (lata 132–135). Żydzi odzyskali przejściowo Jerozolimę, jednak w 135 ich opór został złamany. Jerozolima została doszczętnie zniszczona, a na jej miejscu założono rzymskie miasto o nazwie Aelia Capitolina. Plac, na którym stała świątynia oraz jej otoczenie, został zaorany. Rzymianie zmienili nazwę kraju z Judei na Syria Palestina (Syria palestyńska, czyli filistyńska). Zakazano Żydom wstępu do miasta. W 327 chrześcijanie odnaleźli grób Jezusa, co uczyniło Jerozolimę celem pielgrzymek. W 362 cesarz rzymski Julian zezwolił Żydom na osiedlanie się w mieście Aelia Capitolina (Jerozolima).
Po podziale cesarstwa rzymskiego (395) miasto znalazło się w Bizancjum. W 613 Żydzi poparli Persów atakujących Palestynę. W 614 Persowie zdobyli Jerozolimę, którą doszczętnie złupili. W nagrodę za udzieloną pomoc, Żydzi mogli w latach 614–617 sprawować władzę w mieście. W 629 armia bizantyńska cesarza Herakliusza odbiła Jerozolimę. Równocześnie Żydzi zostali wypędzeni z miasta. W latach 636–640 Palestyna została podbita przez będących od niedawna muzułmanami Arabów. W 637 została zdobyta Jerozolima. Z miasta wypędzono Żydów. Cała Palestyna weszła w skład arabskiego kalifatu Ummajjadów. Dynastia Umajjadów, sprawująca z Damaszku władzę nad Palestyną, z powodów politycznych chciała posłużyć się Jerozolimą, aby pomniejszyć znaczenie Arabii. Kalif Omar ogłosił Jerozolimę trzecim co do ważności (po Mekce i Medynie) świętym miastem muzułmanów. W latach 688–691 zbudowali na pozostałościach żydowskiej świątyni pierwszą muzułmańską budowlę, Kopułę na Skale. W 715 Umajjadzi wznieśli w Jerozolimie, na Wzgórzu Świątynnym, meczet, nazwany „Najdalszym z Meczetów”, w skrócie: „Al-Aksa”.
Rok 750 to początek rządów Abbasydów w Jerozolimie. Wraz z upadkiem Umajjadów, Jerozolima popadła niemal zupełnie w zapomnienie. Miasto straciło rozgłos na 350 lat, a wzniesiona Kopuła na Skale zawaliła się w 1099. Jerozolima została doprowadzona do ruiny. W 1009 fatymidzki kalif al-Hakim zburzył Bazylikę Grobu Świętego, co było jednym z nielicznych przypadków prześladowań religijnych chrześcijan. W 1072 miasto zdobyli Turcy seldżuccy i zabronili chrześcijańskim pielgrzymom przybywać do miasta. W 1095 papież Urban II wezwał do krucjaty, mającej na celu wyzwolenie Ziemi Świętej. Armia krzyżowców zdobyła miasto 15 lipca 1099 i uczyniła je stolicą Królestwa Jerozolimy. Zdobywcy wymordowali większość mieszkańców zdobytego miasta. Około 1150 przywódcy muzułmańscy zaczęli ponownie podkreślać znaczenie Jerozolimy dla islamu. W 1187 Saladyn, kurdyjski sułtan Egiptu i Syrii, pokonał krzyżowców i zdobył Jerozolimę. Po odbiciu Jerozolimy zainteresowanie miastem zmalało do tego stopnia, iż w 1229 jeden z wnuków Saladyna scedował okresowo rządy nad nim na rzecz cesarza Fryderyka II w zamian za obietnicę militarnego wsparcia przeciwko swemu bratu w walce o tron. Jerozolima została ponownie zdobyta przez krzyżowców w 1229 i ostatecznie utracona w 1244.
Rok 1260 to początek panowania egipskich Mameluków w Jerozolimie. W 1517 Jerozolimę zdobyli Turcy. Pod panowaniem tureckiego imperium osmańskiego (1517–1917) Jerozolimę zdegradowano do roli majątku dzierżawionego powoływanym na okres roku poborcom podatkowym. Czerpano dochody, łupiąc chrześcijańskich pielgrzymów, przy czym nic nie robiono dla promowania rozwoju gospodarczego miasta. Jedynym towarem eksportowym, który figurował w ówczesnych rejestrach podatkowych, było mydło. Wyjątek stanowią tu mury obronne Jerozolimy wzniesione w 1538 przez tureckiego sułtana Sulejmana, które do dzisiaj otaczają Stare Miasto.
Panowanie osmańskie zakończyło się w grudniu 1917, gdy do miasta wmaszerowały wojska brytyjskie. Na mocy międzynarodowych porozumień powojennych Palestyna weszła w skład brytyjskiego mandatu na Bliskim Wschodzie. Brytyjskie rządy nad miastem (1917–1948) jeszcze spotęgowały muzułmańską namiętność dla Jerozolimy. Mufti Jerozolimy, Hajj Amin al-Husayni, uczynił Wzgórze Świątynne głównym punktem swojej politycznej działalności, np. zbierając na całym świecie fundusze na odbudowę Kopuły Skały. Podczas wywołanych przez Arabów zamieszek w 1920, Brytyjczycy usunęli siłą z części Starego Miasta Jerozolimy Żydów, ze względu na „ich własne bezpieczeństwo”. Wtedy to dzielnicę mieszaną zaczęto nazywać dzielnicą muzułmańską. W latach 30. i 40. XX wieku miasto było świadkiem coraz częstszych starć arabsko-żydowskich.
W 1947, w ONZ-owskich planach utworzenia państwa żydowskiego w Palestynie, zlecono ustanowienie w i wokół Jerozolimy strefy neutralnej pod międzynarodową kontrolą. Jednak gdy w 1948 powstało niepodległe państwo Izrael, jego arabscy sąsiedzi dokonali agresji. Wojska jordańskie wkroczyły do Starego Miasta Jerozolimy, zajmując je wraz z jego świątyniami. W listopadzie tegoż roku koptyjski biskup koronował jordańskiego króla Abdallaha „Królem Jerozolimy”. W 1951 arabski mieszkaniec Jerozolimy zastrzelił w mieście własnego króla Abdallaha.
W 1967 wojska izraelskie zajęły Jerozolimę. Aby zapewnić ochronę wszystkim miejscom kultu religijnego, izraelski parlament Kneset przyjął 27 czerwca 1967 specjalną ustawę gwarantującą każdemu nieskrępowany dostęp do takich miejsc. Święte miejsca znajdują się pod administracją odpowiednich wspólnot religijnych. Odpowiedzialność za Kopułę Skały i meczet Al-Aksa, a także wszystkie meczety, muzułmańskie cmentarze i instytucje w mieście ponosi administracja muzułmańskiej straży świątynnej, tzw. Waqf. Równocześnie przystąpiono do odbudowy miasta.
30 czerwca 1980 izraelski parlament uchwalił ustawę Podstawowe Prawo Jerozolimskie, która stwierdza, że zjednoczona Jerozolima jest stolicą Izraela (co oznacza, że jest ona siedzibą Prezydenta, Parlamentu, Rządu i Sądu Najwyższego państwa), że święte miejsca wszystkich religii są tu nietykalne, a Izrael zobowiązuje się zapewnić swobodny dostęp do nich, oraz że rząd Izraela będzie usilnie dążył do rozwoju i dobrobytu Jerozolimy i jej mieszkańców. Obecność w Jerozolimie tych wszystkich państwowych urzędów nadaje miastu rolę jedynej i wiecznej stolicy Izraela. Społeczność międzynarodowa nie uznaje jednak tej stolicy. Ambasady większości państw mieszczą się w Tel Awiwie.
