MuJoCo 시뮬레이션에서 SO-ARM101 실제 로봇까지, 피지컬 AI를 처음부터 끝까지 경험하는 VLA 입문서!

이 책은 로보틱스 지식이 없어도 파이썬 코드를 읽고 실행할 수 있다면 피지컬 AI와 VLA(Vision-Language-Action)를 차근차근 경험해 볼 수 있도록 구성되어 있습니다.

먼저 인공지능이 무엇을 보고 어떤 행동을 출력하는지 구조부터 이해한 다음, MuJoCo 시뮬레이터로 로봇 제어의 기초를 다집니다. 이어서 허깅페이스의 르-로봇(LeRobot)과 SmolVLA로 데이터를 모아 모델을 학습시키고, 결과를 확인하며 고쳐 나가는 과정을 시뮬레이션에서 차례로 실습합니다. 마지막으로 같은 흐름을 SO-ARM101 실제 로봇 팔로 다시 실행하며 시뮬레이션과 현실의 차이를 살펴봅니다.

SO-ARM101 로봇과 비싼 GPU가 있으면 도움이 되지만, 대부분의 실습은 개인 PC와 무료 코랩만으로도 가능합니다. 블록 하나를 집어 옮기는 작업을 끝까지 해 보면서 무엇을 재고 어디를 고치면 로봇이 나아지는지 배울 수 있습니다. 책을 마칠 즈음에는 데이터 수집부터 모델 학습, 로봇 제어까지 전 과정을 직접 완주해 보는 경험을 합니다.

★ 이 책에서 다루는 내용 ★

· 피지컬 AI의 등장 배경과 LLM·VLM·로봇 하드웨어의 관계
· VLA 모델의 구조와 최신 발전 흐름(RT-2, OpenVLA, SmolVLA 등)
· MuJoCo 시뮬레이터와 MJCF로 로봇 모델 다루기
· 관절·모터 제어, 정기구학과 역기구학
· 허깅페이스 르-로봇(LeRobot)의 실행 파이프라인과 데이터셋 구조
· 텔레오퍼레이션을 활용한 시연 데이터 수집과 허깅페이스 허브 업로드
· SmolVLA 아키텍처 이해와 파인튜닝
· 성공률 평가 설계와 평가-개선 루프
· 오프라인 데이터 증강과 시뮬레이션의 한계
· 르랩(LeLab)을 활용한 SO-ARM101 학습 추론 루프 구현