Święcenia kapłańskie otrzymał w 1956 r. Był osobistym sekretarzem prymasa kardynała Stefana Wyszyńskiego. W 1979 r. Józefa Glempa wybrano na biskupa diecezji warmińskiej. W 1981 został arcybiskupem metropolitą gnieźnieńskim i warszawskim, wkrótce także prymasem Polski. Funkcję pełnił przez 28 lat.

W 2004 r. Glemp złożył dymisję ze stanowiska prymasa Polski z racji osiągnięcia wieku emerytalnego, jednak Jan Paweł II przedłużył mu możliwość sprawowania funkcji metropolity do 2006 r. Rok później został mianowany przez papieża Benedykta XVI administratorem apostolskim archidiecezji warszawskiej.