자동차는 어떻게 보고, 이해하고, 판단하고, 움직일까요?

이 책은 차선만 겨우 보던 자동차가 주변을 인식하고, 공간을 이해하고, 스스로 경로를 따라가고, 마지막에는 자연어 명령을 이해하며 운전하게 되는 과정을 직접 구현하며 따라갑니다.

시작은 OpenCV의 Canny Edge, 끝은 VLM·VLA의 구조를 익히고 LLM·VLM을 결합해 말을 알아듣는 AI Driving Agent입니다.

이 책은 Claude Code(AI)를 활용하여 작성되었습니다. 저자가 실습 코드를 실제 환경에서 실행·검증하며 집필하고, 각 페이지 상단에 검증 상태를 표시합니다.

[검증]은 표기된 버전에서 직접 실행해 확인한 내용, [참고]는 공식 문서·논문 기준으로 정리한 내용입니다. 배지 뒤의 '· 검수 완료'는 저자가 아닌 검수자가 책만 보고 따라 실행하거나 통독해 확인한 페이지라는 뜻입니다(01~06장, 07-1, 07-4). 나머지 페이지의 수치는 저자 실측 결과입니다.

1. 기술 발전사를 직접 재현합니다

Classical Vision → 딥러닝 → Sensor Fusion → BEV/Occupancy → Planning/Control → End-to-End → VLM·VLA까지, 자율주행 기술이 왜 지금의 구조로 발전했는지 순서대로 구현하고 실험합니다.

2. 실패시켜 보며 배웁니다

각 단계에서 이전 방식이 어디서 무너지는지 직접 실험하고, 그 한계를 넘는 다음 기술로 넘어갑니다.

3. 실제 자동차 없이 배웁니다

공개 주행 영상·데이터셋과 CARLA 시뮬레이터만으로 전 과정을 따라 할 수 있습니다.

4. 5단계로 똑똑해지는 자동차

차선을 보는 자동차(Level 1)에서 학습해서 운전하는 자동차(Level 5)까지, 한 대의 자동차를 계속 발전시킵니다. 이 Level은 책의 진행 단계이며 SAE 자율주행 자동화 레벨과는 다릅니다.

5. 만들고, 측정하고, 개선합니다

평가 지표와 시뮬레이션 기반 테스트로 Driving Agent를 숫자로 검증하는 방법을 독립된 장으로 다룹니다.

6. 재현 가능한 예제 코드

모든 실습 코드는 공개 저장소에 장별로 제공합니다.

- Python과 딥러닝 기초를 갖추고, 자율주행을 처음 체계적으로 공부하려는 개발자·학생
- 객체 검출·세그멘테이션은 해 봤지만, 그 결과가 어떻게 판단·경로계획·제어로 이어지는지 알고 싶은 Vision 엔지니어
- End-to-End 자율주행, VLM·VLA, World Model 같은 최신 흐름을 직접 실행하며 이해하고 싶은 AI 연구자·실무자
- 고가 장비 없이 시뮬레이터로 자율주행 실습을 하려는 교육자, Physical AI로 확장하려는 개발자

책의 실습 결과 영상을 YouTube 재생목록으로 모아 두었습니다.

https://youtube.com/playlist?list=PLSQjPZd3_gNo

https://github.com/ady95/self-driving-tutorial

예제 코드는 Apache License 2.0으로 배포합니다. 예제가 사용하는 데이터·패키지·모델은 각각의 라이선스를 따릅니다. 자세한 내용은 저장소 README를 참고하세요.

1. Vision 알고리즘 따라하기

AI는 어떻게 보는가를 다루는 책입니다. 이 책의 02~05장에서 사용하는 영상 처리와 컴퓨터 비전 알고리즘을 더 넓고 깊게 따라 할 수 있습니다.

https://wikidocs.net/book/21494

2. 로봇 없이 시작하는 Physical AI 따라하기

AI가 물리 세계와 어떻게 상호작용하는가를 다루는 책입니다. 이 책의 09장(VLA, World Model)에서 자동차로 살펴본 구조를 로봇 팔과 이동 로봇으로 확장하여, 실제 로봇 없이 시뮬레이터로 따라 할 수 있습니다.

https://wikidocs.net/book/21363

- OpenCV: https://opencv.org
- PyTorch: https://pytorch.org
- CARLA Simulator: https://carla.org