1920년 대한민국 평안남도 강서군에서 태어나 평양사범학교를 졸업하고 만주의 봉천군관학교에 진학하여 간도특석대에 배치, 만주군 중위로 광복을 맞았다. 해방 이후 조만식의 비서로 일하다 김일성의 공산주의를 반대해 월남한다. 1946년 육군 장교로 임관하여 국군의 전신인 국방경비대 제5연대장을 맡았다. 대한민국정부수립 이후 육본 정보국장을 거쳐 1950년 4월 국군 1보병사단 사단장(당시 계급 대령)으로 부임하여 한국전쟁을 맞는다.
한국전쟁 당시 낙동강 전선 다부동 전투에서 8천명의 병력으로 2만의 북한군에 맞서 한 달 이상 버티는 전과를 올렸으며, 이후 1사단은 가장 먼저 평양에 입성하는 부대가 된다. 1군단장, 2군단장을 거쳐 1952년 7월 육군 참모총장에 부임했으며 휴전 이후에는 연합참모부장 의장을 역임하다 1960년 퇴역한다. 퇴역 이후에는 중국, 프랑스, 캐나다 대사를 거쳐 교통부 장관을 역임했으며, 2009년 3월 대한민국 최초로 명예 육군 원수로 추대되었다. 저서로는 한국전쟁을 다룬 자서전 『군과 나』『내가 물러서면 나를 쏴라』가 있다.