오사카에서 저널리스트이자 정치평론가로 필명을 날리고 있던 마루야마 간지(丸山幹治)의 둘째아들로 태어났다. 그 시대 수재들의 선망이었던 제1고등학교를 거쳐, 1937년 도쿄 대학 법학부 정치학과를 졸업했다. 1940년에 동 대학의 조교수가, 1950년에 교수가 되었다.
20대 후반의 젊은 나이로 일본정치사상사 연구에 신기원을 수립했으며, 특히 1946년 『세계』 5월호에 발표한 「초국가주의의 논리와 심리」는 일본 사회와 지식인들에게 큰 충격을 안겨주었다. 제2차 세계대전 이후 깊은 좌절감에 빠져 있던 일본사상계에 그는 혜성과 같이 등장해, 일본의 사상계가 나아가야 할 길과 방향 그리고 비전을 과감하게 제시했기 때문이다. 이후 그는 일본의 학계와 지성계의 흐름을 주도해왔으며, 그로 인해 ‘학계의 덴노(천황)’ ‘마루야마 덴노’로 불렸다.

1971년에 은퇴할 때까지 도쿄 대학에 재직하면서, 그사이 하버드 대학과 옥스퍼드 대학 성 앤서니 칼리지의 객원교수를 지냈다. 1973년에는 프린스턴 대학과 하버드 대학에서 명예박사학위를 수여받았다. 그후 도쿄 대학 명예교수, 일본학술원 회원, 영국학술원 외국인 회원이 되었으며, 프린스턴 대학 고등연구소 연구원을 지내기도 했다.

주요 저서로 『일본정치사상사연구』 『일본의 사상』 『전중과 전후 사이』 『후위의 위치에서』 『현대정치의 사상과 행동』 등이 있으며, 옮긴 책으로 세이빈의 『서양정치사상사 1』이 있다. 1995년에서 1997년에 걸쳐 전집 『마루야마 마사오집』이 간행되었다.