1916년 개성에서 태어나 개성 송도고등보통학교를 졸업하였다. 1943년 개성 부립박물관에 입사하여 2년후 서울국립박물관으로 전근하였다. 이후 국립박물관 학예관, 미술과장, 학예연구실장 등을 역임하였다. 1950년대부터 서울대, 고려대, 홍익대, 이화여대 등에서 미술사 강의를 하였으며, 1967년 이후 문화재위원회위원, 한국미술평론가협회 대표, 한국미술사학회 대표 등으로 활동하였다. 1974년부터 1984년까지 제4대 국립중앙박물관의 관장으로 활동하면서, 국립중앙박물관의 발전, 확장에 공을 세웠다. 1981년 2월 23일 홍익대학원에서 명예문학박사 학위를 취득한 그는 1984년 12월 16일 성북동 자택에서 별세했다.

한 평생 문화재와 한국 전통미술에 대한 애착으로 살아온 그는 심미안의 소유자로 일찍이 우리나라 고미술의 빼어난 아름다움을 알아보았다. 한국의 도자기, 전통 목공예, 회화사 부분에서 많은 학문적 업적을 남겼으며, 그의 대표작 『무량수전 배흘림기둥에 기대서서』는 이러한 애정을 바탕으로 하여 회화, 도자, 조각, 건축 등 한국 미술의 전 영역에 걸친 작품 120여점에 대한 글들을 담고 있다. 그는 이 책에서 달항아리를 '너무나 욕심이 없고 순정적이어서 마치 인간이 지닌 가식 없는 어진 마음의 본바탕을 보는 듯 하다', '그 어리숭하게 둥근 맛을 어느 나라의 항아리에서도 찾아볼 수 없다는 데서 대견함을 느낀다', '잘생긴 며느리 같다'고 표현하는 등 예술과 전통을 대중들이 친숙하게 느낄 수 있도록 하였다.

황수영, 진홍섭과 더불어 개성의 3걸로 불린 그는 박물관에서 일한 경험에 근거하되 강한 직관을 바탕으로 한국의 미를 찾고자 노력하였다. 그는 한국미에 대해 "우리 강산 어디서나 볼 수 있는 것이 특징이며, 거기에는 우리민족의 성정이나 생활이 녹아 있어 그들이 표현한 미술품에 나타난 아름다움도 다른 나라와 비교할 수 없는 익살, 은근, 고요, 순리, 백색, 담조(淡調), 추상 등 독자적인 미의 특질을 지녀 세계적인 미술품으로 당당히 자리잡은 것"이라는 한국미론을 구축하였다.

논문으로는 「단원 김홍도 재세연대고(檀園金弘道在世年代攷)」, 「겸재 정선론(謙齋鄭?論)」, 「한국의 불화(佛畵)」, 「혜원 신윤복론(蕙園申潤福論)」, 「이조의 화가들」 등이 있으며, 저서로는 『한국미술사』, 『무량수전 배흘림 기둥에 기대서서』가 있다.

그가 살았던 '최순우 옛집'은 서울 성북구 성북2동에 위치하고 있으며, (재)내셔널트러스트의 시민문화유산1호로 지정되어 잘 보존되고 있다. 개발논리에 의해 사라질 뻔한 것을 시민들이 지켜냄으로써 최순우 선생의 정신을 기림과 동시에 근대문화유산 보존에 대한 의미도 함께 살리고 있다. 이곳에서는 문화강좌, 연극활동 등 다양한 문화행사가 개최되어 있어 문화유산에 대한 보존과 공전이라는 현대적 의미를 재창조 하고 있다.