자가 덕수, 호는 대산(臺山)으로 불렸으며, 안동 김씨 가문에서 김창흡(金昌翕)의 4대손으로 태어났다. 경학과 문장의 조화를 추구했던 선조의 고문학(古文學) 전통을 이어받아 19세기 전반기를 대표하는 문장가로 이름을 날렸다. 그러나 인생에서 가장 활발하게 활동할 30대 초반에 정치권으로부터 소외되어 양주(楊州) 미음(渼陰)에 은거하여 지냈다. 그에겐 불운한 일이었지만, 20년에 가까운 재야생활이 그로 하여금 학문과 문학에 전념케 하여, 이 기간 동안 훌륭한 저술과 작품들을 남겼다. 그의 대표적인 학술서인 《주자대전차의문목표보(朱子大全箚疑問目標補)》(24권)와 당시 우리 풍속에 대한 각별한 관심을 가져 민간의 풍습을 절기별로 정리한 《열양세시기(洌陽歲時記)》 등 그를 대표하는 문학작품들이 이 기간에 탄생했다.

이후 50대부터 복권되어 차츰 관직에 나갔으나, 외직으로만 돌았을 뿐 내정에는 일체 관여하지 않았으며, 10여 년에 걸친 지방관의 행정 경험을 《대산공이점록(臺山公移占錄)》(2권)이라는 문헌으로 정리했다. 말년에 물러나 평생의 공부 내공으로 《궐여산필(闕餘散筆)》(6권)을 남기고 65세로 생을 마쳤다.