1478년 이탈리아 귀족 가문에서 태어났다. 그는 철저한 인문학 교육을 받았으며 세련된 예술 감상법을 몸에 익혔다. 당시 이탈리아에서 가장 훌륭한 궁정으로 손꼽혔던 우르비노 궁정에서 그는 1504년부터 1516년까지 12년 동안 궁정 신하로 일하며 통치자 두 명을 섬겼다. 처음 모신 군주는 구이도발도 공작이었다. 구이도발도 공작은 그를 전폭적으로 신임하여 중요한 임무를 많이 맡겼다. 카스틸리오네는 궁정에서 지내며 여가시간에 문학작품을 집필하거나 다양한 지적 활동에 참여했다. 그는 1508년에 구이도발도 공작이 사망하자 작위를 이어받은 프란체스코 마리아 델라 로베레를 계속 섬기며 1513년에 로마 주재 대사로 파견됐다. 그러나 1515년에 프란체스코 마리아 공작이 우르비노에서 추방당하자 카스틸리오네도 대사직에서 파면되어 1516년부터 4년 동안 만토바 근처에 있는 자신의 사유지에서 조용히 생활했다. 이어 그는 1519년에 만토바 대사 자격으로 로마로 복귀해 다양한 활동을 펼쳤으며, 1524년부터 로마 교황청에서 재직했다. 이후 1529년에 생을 마감할 때까지 스페인에서 로마 교황 사절단으로 일했다.