Starý židovský hřbitov leží v srdci někdejšího pražského ghetta, v dnešní čtvrti Praha 1-Josefov. Předcházel mu jiný hřbitov, tzv. Zahrada židovská, který se nacházel poblíž Vyšehradské cesty na Novém Městě pražském. Ten byl v provozu až do roku 1478, kdy ho na naléhavé žádosti měšťanů nechal zrušit český král Vladislav II. Přesné datum vzniku Starého židovského hřbitova, který nahradil zaniklé pohřebiště, není dosud jednoznačně doloženo.

Nejstarší dochovaný náhrobní kámen patří pražskému rabínovi a básníkovi Avigdoru Karovi a pochází z roku 1439. Právě on sepsal elegii Všechna ta neštěstí o tragédii z roku 1389, kdy při pogromu v pražském ghettu rabující lůza pustošila tehdy existující hřbitov, rozbíjela náhrobky a vyhrabávala mrtvé — událost, kterou zpracoval i Alois Jirásek ve druhém díle trilogie Mezi proudy. Předpokládá se, že Starý židovský hřbitov v době tohoto pogromu ještě nestál. Kontinuální řada hrobů pak pokračuje od první poloviny 15. století až do roku 1787, kdy byl vyhlouben poslední hrob pro Mojžíše Lipmana Becka. Pohřbívání tehdy zastavilo osvícenské nařízení Josefa II., vydané z hygienických důvodů tři roky předtím.

Hřbitov byl situován na nejvyšším pahorku židovského města ve výšce 192 metrů. První písemná zmínka o něm pochází z roku 1440, kdy byl přikoupen pozemek od pivovarníka Hanuše. K největšímu rozšiřování docházelo v 16. století, zčásti zásluhou Mordechaje Maisela. Od první poloviny téhož století existovala v ghettu dvě oddělená pohřebiště, která splynula teprve koncem 17. století. Poslední plocha určená skutečnému pohřbívání byla získána roku 1630, poslední rozšíření hřbitovních pozemků se pak datuje k 10. listopadu 1768.

Mimořádnou podobu hřbitova ovlivnila židovská pohřební tradice — halacha zakazuje rušit hroby i odstraňovat náhrobky. Kvůli nedostatku místa se proto na starší hroby navážely vrstvy hlíny a pohřbívalo se do nich znovu; podle některých badatelů vzniklo takto až deset pohřebních vrstev nad sebou. Náhrobky byly při zvyšování terénu někdy vyjmuty a zasazeny zpět na nově vzniklý povrch, což vysvětluje jejich charakteristické nahromadění těsně vedle sebe.

Na hřbitově jsou pohřbeny přední osobnosti pražské židovské komunity: Jehuda Liva ben Becalel zvaný Rabi Löw (zemřel 1609), Mordechaj Maisel (1601), David Gans (1613) a David Oppenheimer (1736).

V době vlády Františka I. existovaly návrhy na částečné zrušení hřbitova, které však byly odraženy zejména kategorickým odporem pražského arcibiskupa Václava Leopolda Chlumčanského. K jisté redukci hřbitovních ploch přesto nakonec došlo v průběhu asanace Starého Města a Josefova po roce 1903. Po uzavření hřbitova v roce 1787 přešla pražská židovská komunita na původně morový hřbitov na Žižkově, provozovaný v letech 1680–1890, jehož zbytky dnes částečně leží pod žižkovskou televizní věží. Od roku 1890 slouží nový hřbitov v areálu Olšanských hřbitovů.

Dnes je Starý židovský hřbitov spravován Židovským muzeem v Praze. Pro návštěvníka, který sem přijde, je hřbitov tichou připomínkou staletí trvající přítomnosti židovské komunity v Praze i mimořádného způsobu, jakým se tato komunita vyrovnávala s omezeným prostorem a závazkem vůči svým mrtvým.