딥러닝의 오래된 건강검진
머신러닝 엔지니어들 사이에 통용되는 오래된 건강검진이 있습니다. 제대로 설계된 모델이라면 최소한 작은 데이터셋에서는 완전히 수렴해야 한다는 것입니다. 새 모델을 만들면 가장 먼저 작은 배치 하나를 통째로 외우게 해 봅니다. 그것조차 못 하면 아키텍처나 학습 목표 어딘가가 잘못된 것입니다.
그런데 로봇 조작을 시연 모방만으로 학습하면 좁게 정의된 과제에 시연 데이터를 충분히 주어도 성공률이 100%에 닿지 못하는 경우가 흔합니다. diffusion policy 계열이든 VLA(Vision-Language-Action) 계열이든 마찬가지입니다. 저희가 검토해 온 정밀 조작 과제들에서 보고되는 수치는 이렇습니다.
손실은 분명히 내려가는데 성공률은 어느 선에서 멈춥니다. 이 간극의 정체는 학습 목표에 있습니다. 시연을 흉내 내는 것과 과제를 성공시키는 것은 다른 목표입니다. 사람의 시연은 갈래가 많고, 모방 모델은 그 갈래들을 평균 내다가 어느 갈래도 아닌 동작을 만듭니다. 한 스텝의 작은 오차가 다음 스텝의 더 큰 오차로 눈덩이처럼 쌓입니다. 모델이 게을러서가 아니라 애초에 성공을 최적화하고 있지 않기 때문입니다.
반례가 증명하는 것: 문제는 로봇이 아니었습니다
흥미로운 반례가 있습니다. UC 버클리의 HIL-SERL은 같은 실물 로봇으로 정밀 조립과 동적 조작, 양팔 협응 같은 과제를 학습시킵니다. 타이밍 벨트를 걸고 부품을 삽입하는 수준의 작업입니다. 다만 시연 모방이 아니라 강화학습에 사람의 실시간 교정을 결합합니다.
로봇 하드웨어의 한계가 아니었습니다.
과제의 성공을 직접 최적화하고 실패를 그 자리에서 교정해 주면 로봇은 몇 시간 만에 100%에 도달합니다. 다만 주목할 점이 있습니다. HIL-SERL도 과제별로 정책을 학습합니다. 범용을 얻은 것이 아니라 숙달을 얻은 것입니다.
순서의 문제
여기서 산업 로봇 지능의 두 갈래가 갈립니다.
넓게 시작해 정밀도를 뒤에서 끌어올립니다
하나의 거대 모델이 폭넓은 과제를 수행하도록 만듭니다. 공정하게 말하면 프론티어 랩들도 순수한 모방 하나로 승부하지 않습니다. 강화학습 파인튜닝과 검증기, 사람의 교정 데이터를 겹쳐 성공률을 올립니다.
한 과제를 100%로 끝내고 과제를 늘립니다
정의된 과제에서 먼저 100%를 만들고 하나씩 추가하며 넓힙니다. 화려하지 않지만 현장이 받아 주는 유일한 길입니다. 현장의 채점표는 벤치마크 평균이 아니라 수율이니까요.
그런데 일반성 먼저가 향하는 곳이 흥미롭습니다. 성공률을 산업 수준까지 올리는 마지막 구간은 결국 과제별 특화 작업이 됩니다. 일반성으로 출발해도 수율은 과제 단위의 숙달에서 나옵니다.
리옵스는 숙달 먼저를 갑니다. 저희의 공간지능 모델(LSM)은 인식을 일반화합니다. 처음 보는 현장도 소수의 샘플로 적응하며, 자율주행 지게차 적재 과제에서 라벨 열 장으로 성공률 100%를 실증했습니다. 그리고 실행은 완고하게 결정론적으로 만듭니다. 인식이 준 좌표를 로봇이 수행하는 전체 사슬의 누적 오차를 1mm 이내로 통제합니다.
인식은 유연하게, 실행은 완고하게.
저희 용접의 채점표에는 대체로 잘함이 없습니다.
VLA를 부정하는 것이 아닙니다
일반 로봇 지능은 올 것이고 저희는 그것을 기다리는 쪽입니다. VLA가 성숙해 무엇을 해야 하는지를 더 잘 이해하게 되면, 그 위에서도 여전히 필요한 것이 있습니다. 이 현장의 실제 상태를 데이터로 만드는 층과 작업을 100%로 완결하는 층입니다. 리옵스가 만드는 두 층입니다.
일반성의 시대가 와도 수율의 층은 사라지지 않습니다. 오히려 그 위에서 더 많은 로봇이 일하게 될 뿐입니다.
인용: HIL-SERL — Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning (Luo, Xu, Wu, Levine · UC Berkeley, 2024, arXiv:2410.21845). diffusion policy와 VLA의 성공률 범위는 과제와 조건에 따라 편차가 있는 업계 보고치입니다. 지게차 few-shot 100%와 용접 1mm는 당사 실증 결과입니다.