Physical AI를 알아보자 - VLA 기반 로봇 지능의 현재와 미래
📺 원본 영상: EP 84. Physical AI를 알아보자 (sudoremove 박종현 대표)
🎙️ 채널: 노정석
📅 정리 일자: 2026-02-08
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(Speech-to-Text)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
2026년 1월 31일, 수도리무브 채널의 박종현 대표와 노정석이 만나 Physical AI, 특히 VLA(Vision-Language-Action Model)를 중심으로 한 로봇 지능의 최신 동향을 깊이 있게 논의했다. 이 대담은 LLM(Large Language Model)이 촉발한 인지 지능의 혁명 이후, 물리적 세계와 상호작용하는 지능이 어떻게 진화하고 있는지를 탐구한다. 약 1년 전부터 VLA를 추적해 온 박종현 대표는 2025년 한 해 동안 폭발적으로 발전한 로봇 파운데이션 모델들의 구조적 수렴, 데이터 스케일링의 난제, 그리고 이 분야가 GPT-3 모멘트를 맞이하고 있다는 판단을 공유한다.
Physical AI의 정의와 등장 배경
Physical AI란 무엇인가
Physical AI라는 용어는 약 2년 전 NVIDIA가 처음 사용하기 시작했으며, 로보틱스에서도 ChatGPT와 같은 모멘트가 곧 올 것이라는 기대와 함께 확산되었다. NVIDIA는 이 용어를 넓게 사용하여 음식점 배달 로봇, 시뮬레이터 내 로봇 팔 등 물리적 행동을 하는 모든 AI 시스템을 포함시킨다. 하지만 이번 대담에서는 Physical AI를 보다 좁게 정의한다. 옛날의 룰 베이스(rule-based) 로직으로 작성되었던 수많은 코드들이 End-to-End 학습을 통해 사라지고, 비정형적인 상황들을 모두 커버할 수 있는 진짜 물리적 지능이 탑재된 시스템을 의미한다.
박종현 대표에 따르면 Figure 사의 Helix 모델이 발표한 바와 같이, 기존에 수만 줄의 C 코드로 작성되었던 Low-level 컨트롤이 모두 End-to-End 모델로 대체되는 흐름이 바로 Physical AI의 핵심이다. 이는 Tesla의 FSD(Full Self-Driving)가 자율주행에서 룰 베이스 로직을 모두 제거하고 End-to-End 모델로 전환한 것과 정확히 같은 궤적이다. 로봇 분야에서도 특정 작업만 수행하는 Specialist 모델에서 모든 작업을 수행할 수 있는 Generalist 모델, 즉 로봇 파운데이션 모델(Robot Foundation Model)로의 전환이 일어나고 있다.
왜 지금 Physical AI인가
LLM이 등장하기 전에도 지능이라 부를 만한 시스템들은 존재했다. 하지만 LLM 등장 이후 완전히 달라진 것은 “안 되던 것이 되기 시작했다”는 점이다. 로보틱스도 마찬가지다. 보행(locomotion)은 예전부터 어느 정도 가능했지만, 평평하지 않은 계단이나 장애물, 숲 속 같은 비정형 환경에 대응하는 것은 매우 어려웠다. 빨래 개기 같은 작업도 과거에는 불가능했다. 빨래는 Deformable Object(변형 가능한 물체)로서 시뮬레이션조차 어렵고, 모양이 동작에 따라 무수히 변하기 때문에 모든 경우의 수를 커버하려면 진짜 지능이 필요했다.
Physical Intelligence 사의 Pi-0 모델이 보여준 것처럼, 이제 로봇을 완전히 새로운 집에 가져다 놓고도 설거지를 시킬 수 있다. 사람처럼 수세미가 어디 있는지 눈으로 찾아서 새로운 환경에서도 작업을 수행한다. 이런 Generalist 수준의 능력이 달성되기 시작한 것이다. 이러한 변화의 근본 원인은 LLM과 동일하게 Pre-training Scale의 확대에 있다. 인터넷 규모의 텍스트 데이터를 학습한 LLM이 상식(world knowledge)을 갖추게 된 것처럼, VLA도 LLM을 기반으로 만들어져 상식을 가지고 있으며, 크로스 인바디먼트(cross-embodiment) 데이터를 최대한 모아 학습시키면 제너럴한 능력이 나타날 것이라는 가정 하에 연구가 진행되고 있다.
2025년 CES와 최신 데모들
Boston Dynamics Atlas의 새로운 몸체
2025년 CES에서 가장 화제가 된 데모는 Boston Dynamics의 Atlas 휴머노이드였다. 새로운 몸체를 선보이며 사람과 같은 웨이브 동작, 유려한 움직임을 과시했고, 모회사인 현대의 주가도 크게 상승했다. 하지만 박종현 대표는 이 데모에서 공개된 것은 “별다른 지능이 없다”고 평가한다. 일어나고, 걷고, 똑같은 동작을 반복하는 것은 옛날에도 가능했던 수준이며, 넘어질 것 같으면 중심 잡거나 날아오는 물체를 잡는 등의 반응형 지능과는 다르다. CES 데모는 하드웨어의 우수성을 보여준 것이지, 지능적 작업 수행을 보여준 것은 아니었다.
그러나 Atlas는 작년에 Toyota Research Institute와 함께 LBM(Large Behavior Model)이라는 모델을 탑재해 실제 노동을 수행하는 연구를 발표했다. 하키 스틱으로 괴롭히는 등 동적인 상황에서도 물체를 알아서 잡고 작업을 수행하는 모습을 보여줬다. 이는 VLA와 비슷한 접근으로, 어떤 물체가 어떻게 있어도 알아서 동작하는 지능이 필요한 작업이었다.
Salpa의 Craftnet - 촉각까지 다루는 VTLA
CES 2025에서 박종현 대표가 가장 인상 깊게 본 것은 Salpa라는 회사의 Craftnet이었다. 이 모델은 트럼프 카드를 딜링하는 데모를 선보였는데, 이는 촉각(tactile) 센서를 활용한 첫 번째 사례였다. Craftnet은 VTLA(Vision-Tactile-Language-Action)라 불리며, 바람개비 종이접기 같은 촉각 없이는 수행하기 어려운 작업을 성공시켰다. 눈, 언어, 촉각 모두를 입력으로 받아 행동을 생성하는 모델이 처음으로 등장한 것이다.
Figure의 Helix - 주방에서 일하는 휴머노이드
Figure 사는 지난주(2025년 1월 말) Helix라는 모델을 공개했다. 주방에서 걸어 다니며 물건을 집고 정리하는 약 4분 길이의 데모였다. 특히 인상적인 장면은 골반으로 문을 밀어서 여는 동작이었다. 이는 사람처럼 학습이 잘 되었음을 보여준다. 데모에는 “Autonomous”라고 표기되어 있었지만, 박종현 대표는 4분 정도의 데모는 고급 텔레오퍼레이션(원격 조종)과 크게 다를 바 없다고 평가한다. 즉, 수백 번 텔레오퍼레이션으로 데이터를 수집해 그대로 학습시키면 재현 가능한 수준이다. 그럼에도 불구하고 Figure가 자랑하고 싶었던 것은 4분이라는 긴 연속 동작, 인간처럼 골반이나 발을 사용하는 동작, 그리고 수만 줄의 C 코드가 모두 End-to-End 모델로 대체되었다는 점이다.
VLA(Vision-Language-Action Model)의 구조와 원리
VLA란 무엇인가
VLA는 말 그대로 Vision(시각), Language(언어), Action(행동)을 결합한 모델이다. LLM에 비전 인코더를 붙여서 VLM(Vision-Language Model)을 만들고, 거기에 Action을 출력하는 부분을 추가한 것이 VLA다. Hugging Face의 Small VLA 프로젝트가 좋은 예시인데, Small LLM → Small VLM → Small VLA로 확장하는 레시피가 모두 공개되어 있다. 이는 재현 가능한 VLA이지만 Frontier 모델 수준은 아니며, 커뮤니티가 따라 해볼 수 있는 교육용 모델이다.
Action이란 로봇의 각 관절 각도나 손의 좌표를 의미한다. 게임 캐릭터에 화살표를 눌러 앞으로 가라, 옆으로 가라 명령하는 것과 비슷하다. 로봇은 모터가 돌아가는 시스템이므로 팔꿈치가 몇 도로 펴져 있느냐 같은 값들이 Action value로 표현된다. VLA는 게임 AI에도 활용되고 있으며, 게임 회사들도 큰 관심을 보이고 있다.
로봇 파운데이션 모델과 VLA의 관계
로봇 파운데이션 모델(Robot Foundation Model)은 범용적인 로봇을 컨트롤하는 모델을 의미하며, 이를 구현하는 수단이 VLA 또는 LBM(Large Behavior Model)이다. 현재는 VLA라는 이름으로 통합되어 가는 추세다. 로봇 파운데이션 모델은 VLA가 아니어도 구현 가능하지만, 현재 대부분의 연구는 VLA 방식으로 수렴하고 있다.
왜 이 방식이 성공할 것으로 보이는가? LLM이 잘 되는 것을 우리가 이미 목격했기 때문이다. LLM이 똑똑한 가장 큰 이유는 Pre-training Scaling, 즉 인터넷의 모든 글을 봐서 지식이 많기 때문이다. 그렇다면 Action도 Scaling 하면 되지 않을까? 많은 연구자들이 이렇게 생각하고 있다.
데이터 스케일링의 난제
Action 데이터는 인터넷에 없다
LLM의 경우 텍스트 데이터가 인터넷에 널려 있어서 가져와 배우면 최소한 GPT-3, GPT-3.5 수준까지 올릴 수 있었다. 비전도 이미지 데이터가 풍부하다. 하지만 Action이라는 데이터는 인터넷에 존재하지 않는다. Action 데이터는 각 카메라가 로봇의 눈으로 본 화면과 함께, 각 관절의 각도가 시간에 따라 기록된 형태로 존재한다. 이런 Raw한 Action 데이터는 인터넷에 없기 때문에 학습할 소스가 없고, 따라서 Scaling이 매우 어렵다.
텔레오퍼레이션 - 가장 단순한 해결책의 한계
가장 간단한 방법은 텔레오퍼레이션(Teleoperation)이다. 사람이 원격으로 로봇을 조종하며 동작을 로깅하는 방식이다. 놀랍게도 1957년, 지금으로부터 약 70년 전에도 텔레오퍼레이션은 잘 작동했다. Tesla도 VR을 활용한 텔레오퍼레이션 시스템으로 훈련 데이터를 수집했다고 밝힌 바 있다. 2년 전 Tesla는 시급 50달러에 텔레오퍼레이션 작업자를 고용했는데, 지원 조건이 로봇과 키가 비슷해야 하고 하루 7시간 이상 10kg를 메고 걸을 수 있어야 한다는 것이었다.
박종현 대표는 직접 Vision Pro를 끼고 시뮬레이터에서 텔레오퍼레이션을 해봤는데, 2시간 하면 얼굴이 아프고 4시간 하면 멀미가 난다고 한다. 장기간 일을 하는 것이 너무 어렵고, 무엇보다 데이터가 Scalable하지 않다. 한 사람당 로봇 하나, 즉 1:1 대응이기 때문에 인터넷 스케일의 텍스트 데이터처럼 모든 인간이 기여한 누적 데이터와는 차원이 다르다.
조금 더 Scalable하게 만들기 위한 연구로 Aloha의 Umi 같은 시스템이 있다. 사람이 훨씬 편하게 데이터를 로깅할 수 있도록 특수 장비를 만든 것이다. 이런 액션 데이터를 모아 학습시킨 모델들이 현재 많이 나와 있다.
NVIDIA의 접근 - 시뮬레이션과 데이터 증강
NVIDIA가 미는 방법 중 하나는 시뮬레이터에서 텔레오퍼레이션을 수행하고, 그 데이터를 뻥튀기(augmentation)시키는 것이다. 시뮬레이션 상에서 로봇을 랜덤하게 움직이도록 만들고, 성공적인 데이터만 선별해서 학습시킨다. 이렇게 하면 행동 궤적(trajectory)이 다변화된다. 여기에 더해 똑같은 움직임이라도 재질, 배경, 조명 등을 바꿔서 상황을 다양하게 만든다. NVIDIA의 Cosmos라는 월드 모델을 사용해 데이터를 대량으로 만들어내는 방식이다. 이는 강화학습과 전통적인 데이터 증강(Data Augmentation)을 결합한 형태다.
1X의 Neo와 Flywheel 전략
박종현 대표가 가장 기대하는 것은 Flywheel 효과다. 1X라는 회사의 Neo라는 휴머노이드가 대표적이다. 이 회사는 공격적으로 마케팅을 하며 YouTube 유명 스트리머 채널에도 등장했고, 현재 예약 구매를 받고 있다. Neo의 비즈니스 모델은 매우 영리하다. VLA가 아직 완벽하지 않아 가사일을 다 하기 어려우므로, 안 되는 부분은 텔레오퍼레이션으로 대신 해주겠다는 것이다. 고객은 문제가 해결되는 경험을 하고, 회사는 실제 가정 환경에서 데이터를 얻는다. 양쪽 모두 Win-Win이다.
이 로봇이 2025년 중 배포되어 가정에서 일을 시작하면 데이터가 Scalable하게 쌓이는 창구가 될 것으로 기대된다. 더욱이 인건비가 낮은 나라에서 텔레오퍼레이션을 수행하고, 인건비가 높은 나라에 로봇을 배포하면 전 세계적으로 물리적 노동의 가격이 평준화되는 계기가 될 수도 있다.
시뮬레이션의 완성이 돌파구가 될 수 있다
박종현 대표는 시뮬레이션이 완벽해지면 액션 스케일링 문제가 풀릴 것으로 본다. NVIDIA의 Isaac Sim 같은 물리 시뮬레이터와 월드 모델을 결합하면 가상으로 데이터를 대량 생성할 수 있다. 현재는 시뮬레이션과 현실 간 갭(Sim-to-Real Gap)이 있어서 NVIDIA도 텔레오퍼레이션 데이터와 시뮬레이션 데이터를 섞어 사용한다. 하지만 시뮬레이션이 정교해지면 갑자기 문제가 풀릴 가능성이 있다.
스케일링 법칙과 창발적 현상
VLA에도 Scaling Law가 있는가
Generalist라는 회사는 Umi 스타일로 텔레오퍼레이션 데이터를 대량으로 수집해 실험한 결과, 데이터가 많아질수록 성능이 훨씬 좋아진다는 것을 숫자적으로 증명했다. NVIDIA Groot, Physical Intelligence 등 거의 모든 VLA 개발사가 비슷한 이야기를 한다. “데이터가 많아지면 잘 되는 것은 확실하다. 어디까지 갈지는 모르겠다.” LLM과 똑같은 논리다. 현재는 매우 초기 단계지만, Scaling Law와 유사한 패턴이 관찰되고 있다.
창발적 현상은 관찰되었는가
딱히 엄청나게 특별한 Emergent Behavior는 아직 보고되지 않았다. 현재로서는 학습시킨 케이스(In-Distribution)는 거의 확실히 되고, 새로운 환경(Out-of-Distribution)에서도 일부 잘 된다는 수준까지 나왔다. 박종현 대표는 스케일이 더 커지면 창발적 현상이 나타날 것으로 낙관한다. 왜냐하면 LLM이 되었고, 인간도 되니까 로봇도 되겠다는 논리다. 현재 VLA는 대략 GPT-2 정도의 단계, 즉 처음으로 Generalist 능력을 보이기 시작한 단계로 볼 수 있다.
2025년의 수렴 진화 - 모델 구조의 통일
System 1/2 구조의 등장
2025년 들어 나온 주요 VLA 모델들을 살펴보면 놀라운 수렴 현상이 관찰된다. NVIDIA Groot, Figure Helix, Google Gemini Robotics, Hugging Face Small VLA, Boston Dynamics LBM 등 거의 모든 모델이 System 1/2 구조를 채택하고 있다. 이는 Daniel Kahneman의 “Thinking, Fast and Slow”에서 영감을 받은 개념으로, 인간의 지능이 느리고 깊은 사고와 빠른 반사 행동으로 나뉘듯 로봇 지능도 그렇게 구현한다.
구체적으로 보면 System 2는 VLM(Vision-Language Model)으로 구성되며, 상황 인지, 명령 이해, 추론(reasoning)을 담당한다. 이 부분은 느리게 작동해도 되므로 보통 10Hz 이하로 동작한다. 반면 System 1은 Action을 생성하는 부분으로, Diffusion Transformer나 Flow Matching 같은 연속적(continuous) 생성 모델을 사용하며, 빠른 반응이 필요하기 때문에 100~200Hz로 동작한다.
예를 들어 NVIDIA Groot N1.6 버전을 보면 VLM이 상황을 이해한 결과를 벡터로 출력하고, 그 벡터와 로봇의 현재 상태(robot state)를 입력으로 받은 Diffusion Transformer가 액션 토큰을 빠르게 생성한다. Figure Helix도 동일한 구조다. 다만 Helix는 System 2에서도 로봇 상태를 입력으로 받는 등 디테일에 차이가 있을 뿐, 큰 틀은 같다.
Google Gemini Robotics의 클라우드/로컬 분리
Google의 Gemini Robotics는 한 걸음 더 나아갔다. 상황 인지를 담당하는 큰 모델은 클라우드에서 돌리고, 액션을 생성하는 작은 모델은 로컬(로봇 내부)에서 동작시킨다. 클라우드에서는 Gemini가 비전으로 상황을 보고 말도 하고 명령도 받고 코드도 쓰고 리즈닝도 한다. 해석된 결과를 로컬의 작은 모델에 보내면 그 모델이 빠르게 액션을 생성한다. 이는 서버급 GPU를 사용할 수 있어 더 똑똑한 추론이 가능하며, 동시에 클라우드 서비스를 사업 모델로 판매할 수 있는 구조다.
System 0/1/2 - 촉각의 추가
2025년 초 나온 Salpa의 Craftnet과 Figure Helix 최신 버전은 System 0/1/2라는 3단계 구조를 도입했다. 촉각(tactile) 센서 입력을 추가하면서 더 원초적이고 빠른 반응이 필요한 레이어를 System 0으로 분리한 것이다. Craftnet의 경우 촉각 정보는 System 0에만 들어가며, 이는 정말 빠른 반사(reflex)에만 필요하다는 철학이다. Figure Helix도 System 0에 “Human-like Subtle Motor Tracking”이라는 기능을 배치했다. 과거 LBM 같은 모델은 이 자리에 룰 베이스 로직을 넣어 액션 토큰을 보정했지만, 이제는 그마저도 모델로 대체하는 추세다.
모델 크기를 보면 System 2가 7B(70억 파라미터), System 1이 80M(8000만), System 0이 10M(1000만) 수준이다. 느린 사고일수록 크고, 빠른 반사일수록 작다.
Continuous Action 생성 - Diffusion의 역할
RT-1, RT-2, OpenVLA 같은 초기 모델들은 Action Value가 Discrete(이산적)했다. LLM이 출력하는 토큰이 이산적이기 때문에 액션도 토큰화했다. 하지만 실제 로봇의 동작은 Continuous(연속적)이다. “안녕”과 “헬로우” 사이에는 중간이 없지만, 팔꿈치 각도 30도와 40도 사이에는 35도가 존재한다. 이산 토큰 기반 모델들은 동작이 뚝뚝 끊기는 문제가 있었고, 연속적 반응이 잘 안 되었다.
이를 해결하기 위해 Diffusion Policy 같은 연구가 등장했다. 이미지 생성에서 Diffusion이 연속적 데이터를 잘 다루는 것처럼, Action 생성에도 Diffusion을 도입한 것이다. 이후 VLA들은 Diffusion Transformer나 Flow Matching 같은 연속 생성 모델을 Action Expert로 사용하기 시작했다. Pi-0는 Flow Matching을, NVIDIA Groot와 Small VLA도 비슷한 방식을 채택했다.
Diffusion은 여러 스텝의 미래 액션들을 한 번에 생성하지만, 실제 행동을 하는 중간에 관찰값이 바뀌면 다시 액션을 생성한다. 사람이 균형을 잡거나 물건을 잡을 때 계속 피드백을 받으며 조정하는 것과 같다. 빠르게 할수록 당연히 더 좋다.
안 되던 것이 되기 시작했다
Deformable Object Manipulation
빨래 개기 데모를 보면, 로봇이 널려 있는 빨래를 알아서 펴고 접는다. 이는 과거에는 불가능했던 일이다. 보행은 예전에도 어느 정도 되었지만, 사실 보행은 움직여야 할 관절이 많지 않고 밸런스만 잡으면 되는 비교적 단순한 작업이다. 반면 빨래 같은 Deformable Object는 흐물흐물하기 때문에 어떤 동작을 했느냐에 따라 모양이 무수히 달라진다. 시뮬레이션도 잘 안 되고 컴퓨팅도 많이 필요하다. 이런 엄청나게 다양한 경우의 모양을 모두 커버하려면 진짜 지능이 필요하다.
Figure Helix 1세대는 비닐 박스를 다루는 물류 노동 데모를 보여줬다. 비닐 박스도 Deformable하고 안에 뭐가 들어있을지 모르기 때문에 모양이 제멋대로 바뀐다. 하지만 사람은 안에 뭐가 들어있든 상관없이 잘 다룬다. 이런 데모들이 나오기 시작한 것이 “이제 진짜 여기도 지능이 하나씩 추가되는구나”를 느끼게 했다. Helix 1세대는 한 시간 동안 작업하는 데모를 보여줬는데, 짧은 데모는 체리피킹(cherry-picking)으로 보여줄 수 있지만 한 시간은 증명력이 있다. 박종현 대표가 실제로 한 시간 가까이 다 봤는데, 사실 모두 성공하지는 않았고 중간에 떨어뜨리는 경우도 있었다. 하지만 이때는 상반신만 Fully Autonomous였다.
Common Sense와 World Knowledge
LLM 기반으로 만들어진 VLA들은 상식(common sense)을 가지고 있다. 예를 들어 “빨간 컵을 집어라”라고 명령하면, 완전히 새로운 모양의 창의적인 컵이라도 컵처럼 생겼으면 컵이라고 인식한다. 과거 비전 기반 로봇은 학습한 특정 모양의 컵만 인식했다. 컵이 무엇인지, 집는다는 것이 무엇인지에 대한 상식이 있기 때문에 어떤 모양의 컵이 와도 다 집을 수 있다. 이 상식은 LLM이 인터넷 스케일 데이터를 학습하면서 얻은 World Knowledge에서 나온다.
여러 회사들의 접근법이 다양하지만, 공통점은 LLM의 상식을 활용한다는 것이다. 이것이 옛날과 결정적으로 다른 지점이다.
Physical Intelligence는 Cognitive Intelligence와 다르다
핀 집기 실험 - 1초 안의 다섯 번의 의사결정
MIT 김상배 교수의 강연에서 영감을 받아 박종현 대표는 직접 실험을 했다. 눈으로 보지 않고 주머니에서 핀을 하나 집는 실험이다. 슬로우 모션으로 촬영한 영상을 보면, 1초도 안 되는 시간 동안 벌어진 일이지만 사람이라면 99.9% 성공한다. 하지만 이 안에는 엄청나게 많은 일이 벌어진다.
강연자가 어떤 핀을 집을지 예상할 수 없다. 룰 베이스로 비전으로 물체 위치를 따서 집게로 집는 전통적인 로봇이라면 보통 가장 가까운 것을 집는 것이 최적이라고 생각한다. 하지만 사람은 그렇게 동작하지 않는다. 영상을 보면 첫 번째 시도에서 실패하고, 촉각이 손에서 끊임없이 입력되며, 그 촉각을 바탕으로 무의식적으로 판단해서 집히는 대로 하나를 집는다. 촉각 센서의 차원은 엄청나게 크다. 손의 모든 접촉점이 무수히 많기 때문이다. 1초 안에 엄청나게 많은 데이터 처리와 빠른 의사결정이 있었다. 슬로우 모션으로 보면 약간 과장해서 다섯 번의 의사결정이 있었다고 볼 수 있다.
혀의 역설 - 기억되지 않는 지능
또 다른 예시는 혀다. 식사 중에 혀는 엄청나게 많은 일을 담당하지만, 어제 저녁을 뭐 먹었는지는 기억해도 그때 혀가 뭘 했는지는 전혀 기억나지 않는다. 알아서 한다. 이는 Cognitive Intelligence와는 다른 종류의 지능이다. Reasoning Token이 나오면서 생각하고 추론하는 것과는 완전히 다른 차원이다.
Moravec’s Paradox - 역설의 핵심
이것이 Moravec’s Paradox(모라벡의 역설)다. 체스나 바둑 같은 것은 되게 머리가 필요하고 지능이 필요하다고 생각하지만, 주머니에서 열쇠를 꺼내는 것은 너무 쉽게 잘한다. 우리는 이런 것을 지능이라고 보통 부르지 않는다. 하지만 막상 구현하려고 보니 이게 너무 어렵다는 것이다.
진화적 관점 - 10억 년 vs 수천 년
진화적 관점에서 설명하는 사람들이 있다. 물리적 지능은 10억 년 동안 진화해서 만들어진, 인간뿐 아니라 많은 동물이 가진 능력이다. 반면 체스, 바둑, 추상적 수학은 진화적으로 그렇게 오래 걸려 만들어진 능력이 아니다. 따라서 어쩌면 당연하다고 생각하지만 더 어려운 것일 수 있다. 다람쥐가 날아다닐 때 뉴턴 역학을 계산하지 않는다. 하지만 과거의 MPC(Model Predictive Control) 같은 알고리즘들은 역학을 계산해서 어디에 힘을 어떻게 주면 어떻게 움직이겠다를 완벽하게 계산했다. 우리 뇌에서 동작하는 Physical Intelligence와는 다르다.
차원과 속도의 문제
사람의 촉각이나 비전 같은 물리적 정보는 차원이 엄청 크다. 반면 텍스트(Language)의 세상은 토큰으로 이루어져 있고, 현재 Tokenizer가 보통 200k(20만) 정도의 토큰을 사용한다. 20만 가지 중 하나를 선택하는 것들의 연속이므로 매우 Abstract하고 차원이 작다. 비전이나 촉각에 비하면 처리해야 할 데이터가 훨씬 적다.
텍스트의 세상은 이미 너무 효율적이다. 어려운 사고, 학습에 오히려 효율적이며 쓸데없는 정보가 하나도 없다. 그래서 RLHF(Reinforcement Learning from Human Feedback) 같은 것을 하면서 “언어가 지능을 만드는 데 필요하겠다, 효율적인 방법이다”라고 생각하지만, 언어는 거의 인간만 완벽하게 사용하기 때문에 물리적인 것들과는 다르다.
Reporting Bias - 언어 데이터의 누락
Google DeepMind의 Gemini Nano 팀이 언급한 Reporting Bias(보고 편향)라는 개념이 있다. 예를 들어 어제 다른 회사에 미팅 갔다 와서 글로 쓸 때, 건물이 멋있었고 바다가 보였다는 인상 깊은 것들을 이야기한다. 하지만 벽이 흰색이었는지 상아색이었는지, 의자가 어떻게 생겼는지는 이야기하지 않는다. 당연하기 때문에 리포팅하지 않는다. 만약 의자가 엄청 특이한 모양이었다면 언급하겠지만, 특별한 것들만 텍스트 세상에 남는다.
LLM에서도 비슷한 문제가 있다. “코끼리를 냉장고에 어떻게 넣어?”라고 물으면 “문 열고 넣으면 됩니다”라고 답한다. 코끼리는 엄청 크니까 냉장고에 절대 안 들어간다는 것이 인간에게 너무 당연해서 텍스트로 써져 있지 않기 때문이다. 텍스트 세상에는 기본적인 정보가 많이 누락되어 있고, Physical Intelligence는 그런 누락된 정보들을 다루는 문제다.
그럼에도 Physical AI는 될 것이다
인간과 다른 학습 방법도 괜찮다
사람은 경험을 통해, 특히 물리적인 것은 글로 배우기보다는 대부분 경험을 통해 배운다. 이런 것들이 구현이 잘 안 되기 때문에 어려울 수 있다. 하지만 박종현 대표는 될 것이라고 낙관한다. 해결할 방법이 너무 많고, LLM도 마찬가지로 꼭 사람이 배우는 방식과 똑같이 배울 필요가 없다. 사람이 잘하는데 AI가 못하는 게 있겠지만, 그래도 우리 세상을 바꿀 만큼 Physical Intelligence를 충분히 달성 가능하다.
인간을 넘어서는 센서 - 손바닥의 눈
대표적인 예시가 촉각 구현이 어려워서 대부분 손바닥이나 손등에 카메라를 달아 비전 정보로 행동을 해낸다는 것이다. 사람은 눈이 얼굴에만 있지만 로봇은 손바닥에 눈을 달 수 있다. 자동차 자율주행도 마찬가지로 LiDAR를 달아서 사람은 잘 못하는 거리감 데이터를 받아 해결한다. 어떤 방식으로든 충분히 달성 가능할 것이다. 스케일링만 할 수 있다면 말이다.
Physical AI의 타임라인과 기회
GPT-3 모멘트는 언제 오는가
현재 Physical AI는 대략 GPT-2 정도의 단계, 즉 처음으로 Generalist 능력을 보이기 시작한 단계다. 시장의 인센티브가 LLM 쪽은 대형 회사들이 이미 끝냈다는 인식이 지배하고 있고 투자 비용도 매우 크기 때문에, 똑똑한 사람들이 Physical AI 쪽으로 어마어마하게 몰려들고 있다. 자본과 탈렌트가 만났으니 시간 문제이며 점점 가속하고 있다.
박종현 대표는 올해 여름 정도면 다들 박수 치는 분위기가 될 것 같다고 느낀다. GPT-3 모멘트를 “유저들이 실제로 쓸 수 있을 정도”로 정의한다면 올해, 늦어도 내년일 것으로 예측한다. 진짜로 로봇이 배포되어서 특정한, 그리고 꽤 제너럴한 작업들을 시장에서 가져오기 시작하는 순간 말이다.
Last Mile의 기회들
LLM과 달리 Physical AI는 각각의 도메인, 또는 Last Mile 문제들이 기회로 남아 있다. LLM 열차에 탑승하지 못한 인재들에게 꽤 오래 핫한 영역이 될 것이다. 박종현 대표는 크게 두 가지 방향을 생각하고 있다.
첫 번째는 Hugging Face 전략이다. 커뮤니티가 이길 수도 있다는 믿음이다. 로봇은 LLM과 달리 몸체가 비싸다. 이 몸체를 싸게 만들어 배포하고 대중화하는 일이다. 몸체만 싸게 만드는 것이 아니라 사람들이 일상적으로 쓸 만한 작업을 VLA로 제공하고, 그 데이터를 커뮤니티가 모아서 모든 사람이 기여하는 방식으로 지능을 올린다. 한국의 Robotis 같은 회사에서 오픈소스 로봇을 50만 원 정도에 구매할 수 있고, 텔레오퍼레이션 시스템까지 갖춰져 있어 VLA를 직접 파인튜닝해볼 수 있다. 박종현 대표가 처음 했을 때 이틀 정도 걸렸다. 로봇 사서 조립하고 데이터 따고 학습시켜 실제 작업 시키기까지 누구나 50만 원으로 시작할 수 있다.
두 번째는 게임이다. 게임은 물리 시뮬레이션과 비슷한 부분이 많다. 요즘 월드 모델로 표현되는 가상 세상에서의 액션, 이것이 돌파구가 될 수 있다. 가상 세상과 현실 세상을 잇는 작업으로 데이터 문제도 해결하고, 무엇보다 Evaluation(평가) 문제가 해결된다. 실생활에서 로봇을 평가하는 것은 너무 비싼 일이기 때문이다.
Physical AI가 바꿀 미래의 모습
로봇은 어떤 형태로 들어올까
로봇이 어떤 형태로든 우리 삶에 들어올 것은 확실하다. 문제는 가격과 양산이다. 시장 가치가 너무 커서 노동 시장부터 시작해 가정용으로도 충분히 들어올 것이다. 하지만 그 형태가 꼭 휴머노이드일 것이냐에 대해서는 박종현 대표도 확신하지 않는다. 책상에 로봇 팔 하나씩, 로봇 인형, 싱크대에 달린 팔 등 여러 가지 형태가 가능하다.
환경이 로봇에 맞춰 바뀐다
더 중요한 것은 지금 상상하지 못하는 완전히 새로운 형태의 환경 변화가 올 것이라는 점이다. 현재 모든 가구, 집의 모양, 사무실 형태, 문의 폭은 인간 폼팩터에 맞춰져 있다. 하지만 로봇이 많은 일을 하게 된다면, 공장처럼 로봇의 폼팩터에 맞는 물건, 도구, 공간이 만들어질 것이다. 예를 들어 카페나 음식점에 인간 통로 대신 로봇 전용 레일이 깔릴 수도 있다. 병원에서도 마찬가지다. 로봇이 레일을 타고 돌아다니며 서빙, 설거지를 할 수 있다.
인간의 원초적 욕구 해결
인간의 많은 원초적 욕구들을 해결해 주는 방식으로 들어올 것이다. 노동 해방, 요리, 성적인 욕구 등 많은 형태로 점점 더 아랫 레벨로 내려갈 것이다. LLM에서 일어났던 분화와 무한 발전이 Physical AI에서도 당연히 일어난다.
Sudo Remove - 모든 것을 지우고 새로 시작하다
수도리무브(sudo remove)라는 채널명은 개발자들에게는 “다 지운다”는 의미로 익숙하다. 새로운 것이 나왔으니 환경도, 집도, 가구도 다 지우고 새로운 세상에 맞는 것을 만들어야 한다는 뜻이다. 우리 뇌 속의 지식도, 사고 방식도 마찬가지다.
학습 경로와 시작 가이드
연구자가 되려면
리서처가 되고 싶다면 좋은 하드웨어가 필요하므로 큰 회사나 연구실에 합류하는 것이 맞다. 하지만 그런 환경이 없어도 충분히 팔로우할 수 있다. 오픈소스 하드웨어들이 많기 때문이다.
실습을 위한 첫걸음
Hugging Face의 LeRobot이 가장 좋은 시작점이다. 한국에는 Robotis에서 오픈소스 로봇을 제공하며, 3D 프린터로 출력해 조립할 수 있다. 약 50만 원이면 구매 가능하고 텔레오퍼레이션 시스템까지 갖춰져 있다. VLA를 직접 파인튜닝해볼 수 있는 환경이다. 박종현 대표가 처음 했을 때 로봇 구입부터 조립, 텔레오퍼레이션 데이터 수집, 모델 학습, 실제 작업 수행까지 이틀 정도 걸렸다.
시뮬레이터 환경
시뮬레이터에서도 충분히 연구할 수 있다. NVIDIA의 Isaac Sim 문서를 참고하면 된다.
페이퍼 읽기
Physical Intelligence 회사 웹사이트에 가서 페이퍼들을 쭉 보면 대충 흐름이 보인다. 선두주자이고 공개도 꽤 많이 하기 때문에 추천한다.
오픈소스 모델
- NVIDIA Groot: 완전 오픈소스이며 3B~7B 정도 크기. 누구나 가져다 쓸 수 있다.
- Pi 시리즈: 일부 클로즈이지만 오픈 버전도 있어 가져다 쓸 수 있을 정도로는 공개되어 있다.
- Small VLA: Hugging Face의 교육용 모델로 전체 레시피가 공개되어 있다.
핵심 정리
Physical AI, 특히 VLA 기반 로봇 지능은 2025년을 거치며 급격한 수렴 진화를 보였다. System 1/2(또는 0/1/2) 구조, Continuous Action 생성을 위한 Diffusion 계열 모델 채택, LLM 기반 상식 활용이라는 세 가지 축으로 모델 아키텍처가 통일되고 있다. 데이터 스케일링은 여전히 가장 큰 난제이지만, 텔레오퍼레이션, 시뮬레이션, Flywheel 전략 등 다양한 해결책이 시도되고 있다.
Physical Intelligence는 Cognitive Intelligence와 근본적으로 다르다. 10억 년 진화한 물리적 반사, 엄청난 차원의 촉각/시각 데이터, Reporting Bias로 인한 언어 데이터의 한계 등이 그 차이를 만든다. 하지만 LLM이 인간과 다른 방식으로 학습해도 성공했듯, Physical AI도 손바닥에 달린 카메라, LiDAR 같은 인간을 넘어서는 센서로 충분히 달성 가능하다.
타임라인 측면에서 현재는 GPT-2 단계이며, GPT-3 모멘트는 올해 또는 늦어도 내년에 올 것으로 예상된다. LLM 대기업들이 선점한 영역과 달리, Physical AI는 수많은 Last Mile 문제들이 기회로 열려 있다. Hugging Face 스타일의 커뮤니티 전략, 게임 기반 시뮬레이션 전략 등 스타트업들이 접근할 수 있는 길이 많다.
미래에는 로봇이 다양한 폼팩터로 우리 삶에 들어올 것이며, 더 중요하게는 인간 중심 환경이 로봇 중심 환경으로 재편될 것이다. 노동 해방부터 일상의 편의, 원초적 욕구 충족까지 Physical AI는 인간 삶의 모든 레이어를 바꿀 잠재력을 가지고 있다. “Sudo Remove” - 모든 것을 지우고 새로운 세상에 맞게 다시 시작할 준비를 해야 할 시점이다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | EP 84. Physical AI를 알아보자 (sudoremove 박종현 대표) |
| 채널 | 노정석 |
| 리포트 작성 | 2026-02-08 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.