1931년 12월 서울 수표동의 독실한 가톨릭 집안에서 태어났다. 1954년 가톨릭대학 신학부에 입학, 1961년 사제품을 받았다. 이탈리아 로마 우르바노 대학에서 교회법으로 석사 학위를 받았으며, 1970년 최연소 주교로 서품되었다.
이후 28년 동안 청주교구장을 지냈고, 한국 천주교 주교회의 의장 등을 역임했다. 1998년부터 2012년까지 서울대교구장과 평양교구장 서리를 겸했다. 2006년 3월에는 베네딕토 16세 교황으로부터 추기경으로 서임되었고, 2007년부터 임기 5년의 교황청 성좌조직재무심의 추기경 위원회 위원을 지냈다. 교회법 권위자로서 15권에 달하는 교회법 해설서를 집필했고, 이 밖에도 수많은 저서와 번역서가 있다.

저서
《장미꽃다발》, 《라디오의 소리》, 《라디오의 메아리》, 《목동의 노래》, 《교계제도사》, 《교회법원사》, 《말씀이 우리와 함께》, 《말씀의 식탁에서》, 《간추린 교회법 해설》, 《한국 천주교 사목 지침서》(공동 편찬), 《한국 천주교 사목 지침서 해설》, 《전국 공용 교구 사제 특별 권한 해설》, 《교회법 해설》, 《우주를 알면 하느님이 보인다》, 《구세주 예수의 선구자 세례자 요한》, 《모세(상)-민족 해방의 영도자》, 《모세(중)-율법의 제정자》, 《모세(하)-민족 공동체의 창설자》, 《희망을 안고 산 신앙인 아브라함》, 《믿음으로 위기를 극복한 성왕 다윗》, 《햇빛 쏟아지는 언덕에서》, 《하느님의 길, 인간의 길》, 《안전한 금고가 있을까》, 《가라지가 있는 밀밭》, 《닫힌 마음을 활짝 여는 예수님의 대화》, 《정진석 추기경의 행복 수업》, 《그분의 상처로 우리는 나았습니다》, 《질그릇의 노래》, 《나를 이끄시는 빛》, 《성숙한 신앙생활》, 《위대한 사명》

역서
《성녀 마리아 고레티》, 《종군 신부 카폰》, 《가톨릭 교리 입문》, 《내가 하느님을 믿는 이유》, 《인정받은 사람》, 《질그릇》, 《영혼의 평화》, 《강론집》I~VI(〈사목〉 별책 부록), 《칠층산》, 《교회법전》(공동 번역), 《너는 주추 놓고 나는 세우고》, 《이 빈 들에 당신의 영광이》, 《참신앙의 진리》