스코틀랜드에서 태어나 13세 때인 1848년 부모님을 따라 미국 펜실베이니아 앨러게니로 이주하였다. 이주한 뒤 면직 공장에서 실패를 감는 일로 사회생활을 시작하였다. 1850년에는 피츠버그 전신국의 전보배달원으로 직업을 바꾸었고, 거기서 그의 사업 기초를 만드는 계기를 마련해 준 인물인 토머스 A. 스코트를 만나게 된다. 남북전쟁 이후 그는 펜실베이니아 철도회사를 떠나 키스톤 브릿지 웍스라는 철골 구조물 회사를 차려 큰돈을 벌어들인다. 이후 계속 철강업에 매진해 1880년대 후반에는 카네기 스틸을 선철 분야의 최대 회사로 만들었고, 1892년에는 여러 군소 철강업체를 흡수한 카네기 스틸 컴퍼니를 출범시켜 철강 분야의 카네기 왕국을 건설하게 된다. 1901년 66세의 카네기는 은퇴를 결심하였고, 마침 여러 철강업체를 합쳐 효율을 극대화하기 원했던 J. P. 모건에 의해 유에스 스틸 코퍼레이션으로 통합되게 된다. 이를 계기로 카네기는 사업에서 은퇴해 공익사업에 매진한다.
카네기 도서관, 카네기 홀, 카네기 멜론 대학교, 피텐크리프 공원 등 교육과 공익에 그가 기여한 바가 크다. 그는 사업가 외에도 저술가이자 반제국주의자이며 박애주의자였다. 지은 책으로는 『부의 복음』, 『사업의 왕국』, 『자서전』, 『사업의 정석』, 『오늘날의 문제들』 등이 있다.