Penitenciarul este situat în raza administrativ teritorială a comunei Jilava, la 10 km. Sud de Bucureşti şi la 3 km. nord-est de comuna Jilava. Penitenciarul Jilava a fost înfiinţat în 1907, în fortul nr.13 Jilava, unul din cele 18 forturi care făceau parte dintr-un sistem de apărare circulară construite în perioada 1860-1870 în jurul oraşului Bucureşti, cu scopul apărării Capitalei de atacurile armatelor turceşti. Jilava, unul dintre cele mai mari, a fost transformat în 1907 în închisoare militară fiind subordonată statului major al armatei, până în 1948, când a trecut în subordinea Ministerului Afacerilor Interne.
      În anul 1907, în penitenciarul Jilava au fost depuşi sute de ţărani din judeţul Ilfov, arestaţi pentru că au participat la răscoalele ţărăneşti ce au avut loc în primăvara anului 1907.
În perioada primului război mondial, fortul Jilava a fost populat cu deţinuţi proveniţi din rândurile militarilor care refuzau să se prezinte la încorporare sau pentru alte infracţiuni cu caracter militar, mulţi din ei fiind condamnaţi la moarte şi executaţi în “valea piersicilor”.
      După ocuparea oraşului Bucureşti de către trupele germane, în închisoare au fost aduşi prizonieri de război. Încă din timpul războiului şi în special după aceea, până la 23 august 1944, Penitenciarul Jilava, deşi era închisoare militară, a devenit locul de detenţie, atât preventivă cât şi după condamnare, pentru deţinuţii politici, care după legile în vigoare în acea perioadă, nu trebuiau să stea într-o închisoare militară.
      În timpul celui de-al doilea război mondial în Penitenciarul Jilava sunt aduşi să-şi execute pedeapsa militari, soldaţi, ofiţeri şi subofiţeri ai armatei române.
      În afară de deţinuţii de drept comun şi de deţinuţii politici, în Jilava au fost închişi de legionari, în 1940, şi o serie de politicieni şi alţi salariaţi din aparatul de stat pe care poliţia legionară i-a suprimat în celulele închisorii în noaptea de 26/27.11.1940.
Începând din anul 1966 în penitenciarul Jilava s-a înfiinţat o secţie unde erau deţinute elementele cele mai înrăite şi recalcitrante.
      La 1 august 1967 în penitenciarul Jilava au fost deţinute persoane care au săvârşit infracţiuni contra securităţii statului, deţinuţi de drept comun re-cidivişti, cu condamnări peste 10 ani sau care nu puteau fi folosiţi la muncă, deţinuţi de drept comun, înrăiţi şi recalcitranţi, indiferent de starea de recidivă, infracţiunea comisă şi condamnare, cărora li se aplică un regim sever, deţinuţi de drept comun, foşti evadaţi din unităţile Direcţiei Generale a Penitenciarelor, indiferent de starea de recidivă, infracţiunea săvârşită şi de condamnare, care nu sunt folosiţi la munci.
      În anul 1973 s-a dat în folosinţă blocul nou în care au fost cazaţi deţinuţi minori, bloc care era format din Centrul de primire, observare şi repartizare minori şi Penitenciarul pentru minori.
      În anul 1977 în locul Penitenciarului pentru minori a luat fiinţă Penitenciarul de tineri Bucureşti ce a funcţionat până în anul 1988 când, prin demolarea Penitenciarului Rahova, populaţia de acolo a fost transferată aici începându-se extinderea spaţiilor de deţinere cu încă un corp de clădire finalizat în anul 1990.
      Unul din cele mai importante momente din istoria penitenciarului (actualmente Penitenciarul Bucureşti) îl constituie revolta deţinuţilor imediat după Revoluţia din decembrie 1989 care au reuşit să iasă din camere prin forţarea uşilor, să se urce pe clădiri iar în unele locuri au forţat dispozitivele de pază, cerând punerea în libertate deşi nu beneficiau de acest act de clemenţă, revolta a durat 44 zile (17.12.1989-31.01.1990).
      La data de 29 iunie 1994, în interiorul locului de deţinere a fost construită o capelă. Aici sunt oficiate slujbe religioase (liturghii) atât duminica cât şi în sărbătorile religioase ortodoxe importante, la ele putând participa toţi deţinuţii care doresc.