언어 모델이 빠르게 좋아진 이유를 하나만 꼽으라면 데이터다. 인터넷에 쌓인 텍스트를 긁어모으는 것만으로 조 단위 토큰을 확보할 수 있었다. 로봇은 사정이 정반대다. “컵을 집어 옮기는 동작”은 인터넷 어디에도 관절값 형태로 저장돼 있지 않다.
로봇 데이터는 만들어야만 생긴다
텍스트는 이미 누군가 써 놓은 것을 모으면 되지만, 로봇 데이터는 실제 로봇을 움직여야 생긴다. 사람이 조종기를 잡고 한 번 시연하면 한 건, 다시 시연하면 두 건이다.
여기에 로봇마다 팔 길이와 관절 수, 그리퍼 모양이 다르다는 문제가 겹친다. A 로봇에서 모은 데이터를 B 로봇이 그대로 쓸 수 없다. 언어 모델 세계에 비유하면, 데이터를 모으는 비용이 비싼 데다 모아 놓은 데이터가 다른 모델에서는 읽히지 않는 상황에 가깝다.
여러 연구실이 데이터를 합치기 시작했다
이 문제를 정면으로 푸는 대신 우회한 것이 공동 데이터셋이다. 대표적인 것이 Open X-Embodiment로, 전 세계 여러 로봇 연구실이 각자 모은 데이터셋을 하나의 형식으로 묶었다.
프로젝트 공개 자료에 따르면 이 데이터셋은 수십 개 기관의 기존 데이터셋을 모아 100만 건이 넘는 실제 로봇 궤적과 20여 종의 로봇 형태를 담았다. 한 연구실이 몇 년을 모아도 닿기 어려운 규모를, 이미 흩어져 있던 데이터를 합치는 방식으로 만든 것이다.
| 접근 | 데이터를 얻는 방법 | 한계 |
|---|---|---|
| 직접 수집 | 사람이 로봇을 조종해 시연 | 느리고 비싸다 |
| 공동 데이터셋 | 기관별 데이터를 한 형식으로 통합 | 로봇 종류와 품질이 제각각 |
| 시뮬레이션 | 가상 환경에서 무한 생성 | 현실과의 차이를 메워야 함 |
| 사람 영상 | 사람이 작업하는 영상에서 추출 | 관절값이 아니라 변환이 필요 |
다양성이 양보다 중요할 수 있다
데이터를 합치면서 드러난 것은 단순한 양보다 다양성이 성능을 좌우한다는 점이다. 같은 방에서 같은 컵을 1만 번 집은 데이터보다, 여러 건물과 여러 조명에서 서로 다른 물건을 집은 데이터가 처음 보는 환경에서 훨씬 잘 버틴다.
DROID처럼 수백 개 장면과 수십 개 건물에서 같은 규격의 로봇 팔로 모은 데이터셋이 주목받은 이유도 여기에 있다. 로봇을 하나로 고정하고 환경을 흩뜨린 설계다.
로봇 데이터의 가치는 건수가 아니라 “몇 가지 상황을 겪었는가”로 재는 편이 실제 성능과 가깝다.
실무에 남는 함의
- 데이터가 해자다. 현장에서 로봇을 돌리는 기업은 모델을 만들지 않아도 데이터를 쌓는다. 이 자산의 소유권과 활용 범위를 계약서에서 미리 정해 두는 편이 낫다.
- 형식 통일이 먼저다. 서로 다른 장비의 로그가 제각각이면 나중에 합칠 때 비용이 든다. 수집 초기에 형식을 맞춰 두는 것이 저렴하다.
- 공개 데이터는 출발점이지 정답이 아니다. 공동 데이터셋은 일반적인 조작 능력을 올려주지만, 특정 공정의 성공률은 결국 그 현장 데이터로 미세 조정해야 올라간다.
정리
로봇 학습의 병목은 모델 구조보다 데이터 쪽에 있다. 인터넷에서 긁어올 수 없는 종류의 데이터이고, 로봇마다 형식이 달라 재사용도 어렵다. 여러 기관이 데이터를 합치고 형식을 통일하는 흐름은 이 한계를 우회하는 현실적인 방법으로 보이며, 양보다 다양성이 성능을 좌우한다는 관찰이 수집 전략의 기준이 되고 있다.