1920년 평남 안주군 신안주면 운학리에서 태어나 고향의 청강보통학교와 진남포 공립상공학교를 졸업하고 평양, 만주, 풍천 등지에서 회사원으로 근무하였다. 해방 이후 월남하여 동국대학교 전문부 국문과를 졸업했다. 한국전쟁 중에는 부산으로 피난을 갔다가 거제도로 옮겨가서 거제고등학교 교사로 3년간 근무했다. 전쟁이 끝난 후 서울로 돌아와서 대광고등학교 교사로 부임했으며, 1955년에 『현대문학』에 단편 「암표」와 「일요일」이 김동리의 추천을 받아 등단하였다. 1957년에 「학마을 사람들」을 발표하여 서정성 짙은 작품 세계를 선보였으며, 1959년에는 대표작으로 평가받는 「오발탄」을 발표하여 문학계의 주목을 받았다. 「오발탄」은 전쟁으로 모든 것이 파괴된 암울한 현실 속에서 존재 의의를 잃어버린 채 방황하는 주인공의 자의식을 사실주의적 필치로 그려낸 작품으로 유현목 감독에 의해 영화로도 제작되었다.

1960년대 이후에는 한국외국어대학의 교수로 부임하여 후진 양성에 힘썼고, 수많은 단편과 15편에 달하는 장편을 연재하는 등 정력적인 창작활동을 펼쳤다. 만년에는 한국문학에 기여한 공로를 인정받아 1981년에 예술원 회원이 되었고 대한민국 예술상을 수상하였다. 이듬해 1982년 2월 28일에 뇌일혈로 졸도하여 경희의료원에 입원한 뒤 3월 13일에 사망하였으며, 이후 경기도 용인시 모현면 용인공원묘지에 안장되었다.