민주적이고 부드러운 카리스마로 새로운 지휘자 상을 확립한 가장 존경받는 20세기 지휘자 가운데 한 사람으로, 푸르트벵글러, 토스카니니, 클렘퍼러, 클라이버와 함께 ‘빅5’로 불렸다. 1876년 9월 15일 베를린의 중산층 유대인 부모 밑에서 태어났다. 피아노를 전공한 어머니의 영향을 받아 8세에 슈테른 음악원에서 공부하고 어린 나이에 피아니스트로 데뷔한 뒤 1893년 9월 1일부터 쾰른에서 지휘자 생활을 시작해 17세에 처음 오페라 공연을 지휘했다. 이후 함부르크(이곳에서 구스타프 말러를 처음 만난다), 브레슬라우, 프레스부르크, 리가, 베를린 왕립 오페라에서 활동했다. 1901년에 말러의 부름을 받고 빈 궁정 오페라에서 함께 작업하며 평생 자이자 친구로 우정을 쌓았다. 말러의 〈대지의 노래〉(1911), 9번 교향곡(1912) 등 초연을 담당했고, 1912∼1922년까지 뮌헨 왕립오페라에서 총 음악감독으로 재직한 뒤 베를린 시립 오페라, 베를린 필하모니, 라이프치히 게반트하우스 오케스트라에서 지휘했다. 1936년부터 오스트리아가 나치 독일에 병합될 때까지 빈 국립오페라 음악감독을 지냈다. 이후 미국으로 망명하여 뉴욕 필하모닉과 메트로폴리탄 오페라에서 지휘했으며 종전 후 열렬히 환영받으며 유럽 무대에도 복귀했다. 만년에는 캘리포니아에서 거주하며 컬럼비아 심포니를 이끌고 명반들을 남겼다. 1962년 2월 17일 베벌리힐스에서 타계했다.