1923년 베를린의 유대인 집안에서 태어났다. 1936년 히틀러의 독일 치하를 벗어나 가족과 함께 미국으로 이주하여 1941년부터 수학 공부를 시작했으나 전쟁으로 인해 중단하고 입대했다. 이후 1950년경에 아날로그 컴퓨터를 처음 접한 것을 시작으로 웨인대학에서 디지털 컴퓨터를 만드는 데 일조했으며, 1955년에는 제너럴 일렉트릭에서 최초의 은행업무용 컴퓨터로 작업했고, 1963년에는 MIT의 컴퓨터공학 교수로 자리 잡았다.

1966년 그는 심리상담사가 고객 질문에 응답하는 과정을 본떠 만든 ‘엘리자(ELIZA)’라는 자연언어 해석 프로그램으로 인공지능 연구 부문의 선구자가 되었다. 하지만 바이첸바움은 많은 사람이 이 프로그램을 지나칠 만큼 진지하게 받아들이는 것을 보고 큰 충격을 받았다. 점차 인공지능의 구현에 대해 철학적 사유를 하기 시작했고, 이후 인공지능의 주요 비판자로 나서게 되었다. 특히 그는 1976년 발표한 대표작 《컴퓨터의 힘과 인간 이성Computer Power and Human Reason》에서 컴퓨터 기술의 양면성을 자신이 경험한 사례를 통해 상세히 기술했다. 그는 인공지능이 가능하다 하더라도 컴퓨터로 하여금 중요한 결정을 하도록 허용해서는 안 된다고 주장했는데, 왜냐하면 컴퓨터에게는 동정심이나 지혜 같은 인간성이 없기 때문이라는 것이었다. 최근까지 베를린에서 광범위한 강연과 저술 활동을 해오던 그는 2008년 3월 5일 85세를 일기로 세상을 떠났다.