생성형 AI와 피지컬 AI, 진짜 차이는 몸이 아닙니다
챗GPT를 만든 사람들은 데이터를 모으러 다니지 않았습니다. 인터넷이 이미 거기 있었으니까요. 로봇을 만드는 사람들에게는 그런 인터넷이 없습니다. 두 기술을 가르는 진짜 경계는 여기입니다. 몸이 있느냐 없느냐가 아니라, 배울 것이 이미 쌓여 있었느냐 지금부터 만들어야 하느냐죠.
챗GPT에는 인터넷이 있었습니다
메타가 2024년 4월 공개한 라마 3는 15조 개가 넘는 토큰으로 사전 학습했다고 밝혔습니다. 감이 잘 오지 않는 숫자라 환산해 봤습니다. 사람이 1초에 한 토큰씩 잠도 자지 않고 읽는다면 약 47만 년이 걸립니다. 중요한 것은 이 데이터를 누가 인공지능을 위해 만들지 않았다는 점입니다. 사람들이 30년 동안 다른 목적으로 써 놓은 글이 우연히 학습 자료가 된 것이죠. 공짜로 물려받은 유산입니다. 로봇은 사정이 다릅니다. 로봇이 배워야 하는 것은 손이 물체에 닿는 순간의 힘, 쥐었을 때 미끄러지는 정도, 그때 각 관절이 놓인 각도입니다. 이런 값은 인터넷 어디에도 없습니다. 유튜브에 컵을 집는 영상은 수없이 많지만, 그 순간 팔꿈치에 걸린 토크가 몇 뉴턴미터였는지 적어 둔 사람은 없으니까요. 영상은 결과만 보여 줄 뿐, 그 결과를 만든 명령값은 남기지 않습니다. 로봇이 필요한 것은 정확히 그 명령값 쪽이죠.
로봇 한 대가 하루에 모으는 것은 스무 번쯤입니다
그러면 로봇 데이터는 어떤 속도로 쌓일까요. 구글이 2022년 12월 공개한 RT-1 논문에 수집 기록이 그대로 적혀 있습니다. 로봇 13대를 동원해 17개월 동안 모은 원격 조작 시연이 약 13만 건, 과제는 744개였습니다. 직접 나눠 봤습니다. 13만을 로봇 13대로 나누면 한 대당 1만 건, 그것을 17개월로 나누면 한 달에 약 588건입니다. 하루로 치면 스무 번 남짓이죠. 로봇 한 대가 온종일 붙잡혀 스무 번을 해내는 겁니다. 그마저도 자동으로 쌓이지 않습니다. 사람이 옆에서 조종기를 잡고 한 번씩 직접 시켜야 한 건이 만들어집니다. 긁어 오는 데이터가 아니라 노동으로 찍어 내는 데이터라는 뜻입니다.
100만 건을 혼자 모으면 141년이 걸립니다
이 분야에서 가장 큰 데이터셋은 Open X-Embodiment입니다. 2023년 10월 공개됐고, 21개 기관이 손잡아 34개 연구소에서 나온 60개 데이터셋을 하나로 합쳤습니다. 로봇 22종, 스킬 527개, 과제 160,266개, 실제 로봇 궤적 100만 건 이상. 사실상 인류가 지금까지 모은 로봇 조작 데이터의 총합에 가깝습니다. 과제 16만 개라는 숫자가 커 보이지만, 로봇 22종으로 나누면 한 기종이 겪어 본 상황은 평균 7천 가지 남짓입니다. 언어 모델이 문장 하나를 만들 때 참고하는 경우의 수와 비교하면 초라한 수준이죠. 앞의 RT-1 속도를 그대로 대입해 봤습니다. 로봇 13대가 17개월이면 221 로봇·개월이고 그 결과가 13만 건이니, 100만 건은 약 1,700 로봇·개월입니다. 로봇 한 대로 환산하면 141년. 데이터셋마다 로봇 종류와 수집 방식이 달라 이 계산은 어림셈입니다. 그래도 자릿수는 바뀌지 않습니다. 언어 쪽은 47만 년어치를 공짜로 받아 출발했고, 로봇 쪽은 141년어치를 전 세계가 힘을 합쳐 겨우 만들어 냈습니다.
그래서 업계는 세 갈래로 우회합니다
데이터가 없다는 하나의 문제를 두고, 지금 세 가지 우회로가 동시에 열리고 있습니다. 첫째는 가상 공간입니다. 현실에서 하루 스무 번이면 시뮬레이터에서는 수천 배 빠르게 굴릴 수 있으니까요. 엔비디아가 밀고 있는 뉴턴 같은 물리 엔진이 그 자리를 노립니다. 둘째는 사람의 노동을 아예 산업으로 만드는 방향입니다. 원격 조작 장비를 착용하고 하루 종일 로봇에게 동작을 보여 주는 일이 실제 직업이 됐습니다. 셋째는 이미 모은 데이터를 최대한 재사용하는 방향입니다. 한 로봇에서 배운 동작을 다른 기종으로 그대로 옮기는 멀티엠보디먼트 방식이 여기 속하죠. 세 갈래 모두 목적지가 같습니다. 생성형 AI에게는 애초에 없던 문제를 푸는 것.
맺음말
두 기술의 차이를 '화면 안이냐 밖이냐'로 외우면 절반만 아는 셈입니다. 결과물의 형태가 다른 것은 겉으로 드러난 현상이고, 그 밑에 깔린 것은 출발선의 차이입니다. 생성형 AI는 30년 치 인터넷을 물려받아 시작했고, 피지컬 AI는 빈 창고에서 시작했습니다. 그래서 이 분야 소식을 볼 때는 모델 성능보다 먼저 확인할 것이 하나 있습니다. 그 회사는 데이터를 어디서 구했는가. 시뮬레이터인지, 사람이 직접 만든 시연인지, 남이 공개한 것을 받아 쓴 것인지. 피지컬 AI에서는 그 대답이 곧 그 회사의 실력입니다.
참고 자료
- Google, "RT-1: Robotics Transformer for Real-World Control at Scale" (2022.12) — arXiv:2212.06817
- Open X-Embodiment Collaboration, "Open X-Embodiment: Robotic Learning Datasets and RT-X Models" (2023.10) — arXiv:2310.08864
- Open X-Embodiment 프로젝트 페이지 — robotics-transformer-x.github.io
- Meta AI, "Introducing Meta Llama 3" (2024.4.18) — 원문 링크