Schweitzer József Veszprémben született 1922-ben. Édesapja jogász volt, édesanyja tanítónő, akit korán elvesztett. Nagyapja, Hoffer Ármin veszprémi főrabbi fővárosba kerülésével Budapesten tanulhatott. A világháború idején munkaszolgálatra hívták be, majd Budapesten bujkált.
1946-ban szerzett bölcsészdoktori diplomát az akkori Pázmány Péter, a mai Eötvös Loránd Tudományegyetem Bölcsészettudományi Karán, ahol sémi nyelvészetből, ókori keleti történelemből és szociológiából doktorált. 1947-ben avatták rabbivá.
1948 és 1981 között Pécsett volt főrabbi. 1981-ben hívták meg a Budapesti Izraelita Hitközség főrabbijává. 1985-ben nevezték ki az Országos Rabbiképző Intézet igazgatójának, amely tisztséget 1997-ig töltötte be. 1994-ben - lelkészi, tudományos és nevelői munkájának elismeréseként - országos főrabbivá választották, e tisztséget 2000-ig töltötte be. 1991 óta volt a Keresztény-Zsidó Társaság társelnöke. 1990-ben beválasztották az izraeli Egyetemes Héber Civilizációoktatási Társaság vezetőségébe, 1991-ben társelnöke lett a Keresztény-Zsidó Társaságnak, 2002 májusában megválasztották a Magyar Hebraisztikai Társaság (MHT) elnökévé.
