1935년 공직자였던 아버지의 임지인 황해도 서흥에서 출생. 전남 담양군 창평국민학교에 입학하고 광주시 서석국민학교와 청주중학교를 다니다 부산 피난 시절 경기중학교를 거쳐 경기고등학교를 졸업했다. 서울대학교 법과대학 재학 중인 1957년 제8회 고등고시 사법과에 합격해 서울지방법원 판사, 부장판사, 서울고등법원 부장판사, 서울지방법원 영등포지원장, 대법원 판사, 대법관을 지내면서 원칙에 입각한 소신 있는 판결로 ‘대쪽판사’로 불리었다.
중앙선거관리 위원장, 감사원장, 국무총리를 거쳐 신한국당·한나라당 대표, 총재로 선출되어 제15대, 16대, 18대 국회의원을 역임했다. 당 총재로 있는 동안 탁월한 야당 운영 능력을 보이며 당 개혁에 거듭 성공, ‘공정한 보수주의’, ‘따뜻한 원칙주의자’로 불리며 제15대 대통령 후보, 제16대 대통령 후보로 출마했다. 제17대 대통령 선거에서는 무소속 후보로 출마, 낙선 후 자유선진당을 창당하여 총재로 선출됐다.
청조근정훈장과 국민훈장 무궁화장과 미국 캘리포니아대 버클리교 특별명예상을 수상했으며 저서로 『아름다운 원칙』, 『주석 형법각칙(Ⅰ)』 등이 있다.