Hřbitov nemá pravidelný tvar, jako tomu jsme zvyklí u našich hřbitovů. Leží na poměrně velké ploše, která je obehnána zdí. Do současné doby se dochovalo téměř 12 000 náhrobků. Ovšem pochovaných je zde mnohem více. Mnohé náhrobky zapadly do spodních vrstev a další zejména dřevěné byly časem zničeny.
Na Starém židovském hřbitově v Praze bude nejstarším náhrobkem zřejmě pomník Avigdora Kara z dubna roku 1439, básníka, který napsal velmi smutný, bohužel ale pravdivý žalozpěv nad vražděním a loupením v pražském ghettu roku 1389.
„Hroby byly vyhrabány a kosti dávno zetlelých předků z míst věčného odpočinku vyrvány, náhrobní kameny zničeny a hrobky srovnány se zemí…“
Ve starých knihách je psáno, že v 11. století žil ve Francii moudrý rabi Raši.
O něco dál odpočívá paní Hendela, jež prý štědře podporovala učence a zvala žebráky ke svému stolu, rozdávala prádlo, oděv i obuv a dbala o sirotky.
Jsou tu jména hebrejská, německá, a také bezpočet jmen českých z 16. století: Čech, Krása , Černá, &Sárka, Ludmila, Sláva, Dobruška, Slávka, Křesomysl, Jitka i Božena.
Hodně cestoval, až ho osud zavál po mnoha bludných cestách do Prahy. Pověst vypráví, že to byl muž moudrý a vzdělaný, avšak právě pro svou moudrost měl mnoho nepřátel, kteří chtěli rabínovi život vzít.
A tak i na jeho osud platí slova prorokova:
„Lidé přicházejí jako polní tráva, a klesají a opadávají jako lístky květů, když nastane čas…“

Vyprávění o rabim je ale mnohem tajemnější. Říká, že nenávist přece jenom nakonec přinesla své černé plody: jednoho večera, když rabi seděl ve své jizbě nad starými knihami, vnikl k němu najatý vrah a probodl mu srdce dýkou. Rabiho manželka však nakapala svému muži na ránu několik krůpějí ze zázračného balzámu, rána se zavřela a Rašimu se znovu vrátil život. Aby se vyhnul dalšímu pronásledování, dal rabi pohřbít pod náhrobek se svým jménem prázdnou rakev a sám v tajnosti odešel do Řezna, teprve když po letech rabi zemřel opravdu, bylo jeho tělo pochováno do hrobu, jenž mu byl předurčen.

 
Příběh o rabi Rašim však není jediný. Nejeden příběh vypráví také o náhrobku rabína Löwa.
Ten zase sedí ve své hrobce a dál si čte ve starých knihách. Teprve po staletích přijde k jeho hrobu poslední pravnuk, položí rabínovi na otevřenou knihu čerstvou růži a řekne: ,,Velký rabi, otázka je rozřešena!“
Rabín Löw si povzdychne, požádá Stvořitele, aby ho konečně k sobě povolal, a rozpadne se v prach.
Na náhrobku nedaleko hrobu rabína Löwa je šlechtický erb, pod nímž leží Hendel.
Její manžel byl prvním pražským židem povýšeným do stavu šlechtického. Měl právo razit mince a také se o něm ví, že sloužil Albrechtu z Valdštejna. Na samém konci života musel uprchnout z Prahy a jeho manželka Hendel zůstala i v hrobě navždycky sama.
Avšak pravda starého příběhu je jiná, neboť se vypráví,  že pod honosným náhrobkem s nápisem Hendel &Smilesová leží polská královna. Král ji od sebe zapudil a zavržená královna ze strachu o svůj život uprchla z Polska. Dostala se až do Prahy a uchýlila se do Židovského Města, protože předpokládala, že ji tam nikdo nebude hledat.
Snad tu kdysi měli svůj vlastní hřbitov také zástupci zvířecí říše. V zastrčeném koutě u zdi je malý náhrobek, zarostlý břečťanem a z poloviny zapadlý do země. Nápis je už téměř nečitelný, avšak staří židé vyprávějí, že v jeho prvních slovech byla zmínka o psu. Jednou prý kdosi hodil přes zeď hřbitova mrtvého psa, aby posvátné místo zneuctil; moudrý rabín Löw tehdy rozhodl, cokoliv se na hřbitov dostane, má tam zůstat.