SO-101 시뮬레이션, 공식 환경에서 정답을 알고도 절반이었습니다

허깅페이스의 LeRobot 팀이 10월 16일에 SO-101 탁상 환경을 두 벌 공개했습니다. MuJoCo용 하나, Isaac Sim용 하나. 과제는 같습니다. 나무 큐브 네 개를 초록 상자에 넣는 것. 누구나 코드 한 줄로 불러올 수 있고, 로봇 파일까지 통째로 들어 있어 따로 받을 것이 없습니다. 그래서 내려받아 돌려 봤죠. 상자에 들어간 큐브는 열두 개 중 여섯 개. 큐브가 어디 있는지 시뮬레이터에게 직접 물어본 코드로도 그랬습니다.

SO-101 탁상 환경의 정면 카메라와 손목 카메라 화면. 큐브 네 개와 초록 상자가 보인다.

▲ 환경이 정책에 건네주는 화면 두 장입니다. 왼쪽이 정면 카메라, 오른쪽이 손목 카메라. 이미지 출처: lerobot/so101-tabletop-mujoco 저장소(아파치 2.0 라이선스).

로봇 파일은 원본과 같은데 손끝이 달랐습니다

SO-101은 설계 원본을 공개한 TheRobotStudio가 시뮬레이션 파일도 함께 올려 두었고, 2편에서 쓴 것이 그 파일입니다. 공식 환경은 MuJoCo Menagerie가 손본 판을 씁니다. 설명서에 "원본을 복사해 고쳤다"고 적혀 있길래 두 파일을 한 줄씩 대조해 봤습니다.

관절 여섯 개의 가동 범위는 소수점까지 똑같았습니다. 다른 곳은 충돌 형상이었죠. 원본은 눈에 보이는 메시 13개를 그대로 충돌에도 씁니다. Menagerie 판은 팔에 기본 도형 30개를 따로 붙였습니다. 상자 20개, 구 6개, 캡슐 1개, 메시 3개. 그 구 여섯 개의 반지름이 0.75mm입니다. 손가락 끝에 박힌 바늘 끝 같은 점들이고, 큐브는 이 점으로 집힙니다. 3편에서 그리퍼가 상자를 파고들던 일을 떠올리면, 손끝을 왜 이렇게 따로 만들었는지 짐작이 갑니다.

물리 설정도 달랐습니다. 원본은 오일러 적분에 0.002초, Menagerie 판은 implicitfast 적분에 0.005초. 초당 30번 제어에 맞추느라 환경 코드가 이 값을 210분의 1초로 다시 깎더군요. 모터 힘 한계는 3.35에서 2.94N·m로 내려갔고, 손목에 시야각 61도짜리 카메라가 추가됐습니다.

작업대 쪽은 단출합니다. 한 변 3cm에 10g짜리 나무 큐브 네 개, 안쪽 9cm에 벽 높이 3.5cm인 상자 하나. 환경을 켤 때마다 큐브가 앞뒤 6cm, 좌우 14cm 안에서 흩뿌려지고, 카메라와 관절 각도에도 작은 흔들림이 들어갑니다.

두 환경이 "같다"는 말의 범위는 입출력까지입니다

설명서는 "같은 정책과 같은 명령이 두 환경에서 돈다"고 말합니다. 환경 코드 두 벌을 읽어 보니 이 말의 범위가 보였습니다. 입력은 카메라 두 대의 640×480 화면과 관절 값 여섯 개, 출력은 관절 목표 여섯 개. 이 규격이 같다는 뜻이지 물리가 같다는 뜻은 아닙니다. 로봇 파일부터 다르고(Menagerie 대 엔비디아 USD), MuJoCo 판은 상자 위치와 정면 카메라도 흔드는데 Isaac 판은 큐브와 관절만 흔듭니다.

필요한 장비도 다릅니다. MuJoCo 판은 보통 PC면 됩니다. 2020년에 나온 중급 GPU 한 장으로 카메라 두 대 화면까지 그리면서 한 스텝에 3.1ms, 실시간의 열 배 속도로 돌았습니다. Isaac Sim 판은 엔비디아 RTX GPU와 Isaac Sim 6.2, 파이썬 3.12를 요구하고, 설명서 기준으로 RTX 3080 노트북에서 한 스텝에 약 80ms가 걸립니다. 시동에 20초, 첫 실행 때 셰이더 컴파일에 몇 분이 더 든다고요.

숫자만 놓으면 26배 차이지만, 같은 조건의 비교는 아닙니다. GPU가 다르고 그리는 방식도 다릅니다. MuJoCo는 OpenGL로 칠하고 Isaac Sim은 RTX로 광선을 추적하죠. 사진처럼 보이는 화면이 필요하면 후자가, 빨리 많이 돌리는 것이 목적이면 전자가 맞습니다. 입문자에게는 MuJoCo 판부터 권할 수밖에 없습니다.

큐브 위치를 알려 주고도 열두 번 중 여섯 번무작위 배치 3회 × 큐브 4개, 직접 짠 집기 코드의 결과배치 0배치 1배치 2Humanoid NowHumanoid NowHumanoid NowHumanoid Now빨강 · 들어감초록 · 옆에 떨굼파랑 · 들어감노랑 · 들어감Humanoid NowHumanoid NowHumanoid NowHumanoid Now노랑 · 들어감파랑 · 놓침초록 · 놓침빨강 · 놓침Humanoid NowHumanoid NowHumanoid NowHumanoid Now빨강 · 들어감노랑 · 놓침초록 · 들어감파랑 · 놓침3 / 4 · 보상 0.751 / 4 · 보상 0.252 / 4 · 보상 0.50Humanoid Now한 스텝에 걸린 시간 (카메라 두 대 포함)Humanoid NowMuJoCo 판 · 중급 GPU(RTX 3060 Ti) 실측 3.1msHumanoid NowIsaac Sim 판 · 설명서 기재값(RTX 3080 노트북) 약 80ms막대 길이 비 26배. 단, GPU와 그리는 방식이 다르므로 같은 조건의 비교는 아닙니다.자료: lerobot/so101-tabletop-mujoco·isaac 환경을 2026-10-23 직접 실행Humanoid Now · humanoidnow.kr

▲ 위쪽은 무작위 배치 세 번의 결과를 큐브 순서대로 늘어놓은 것이고, 아래쪽은 한 스텝에 걸린 시간입니다. 파란 칸이 상자에 들어간 큐브, 주황 칸이 놓치거나 옆에 떨어뜨린 큐브입니다.

기준점이 2cm 비켜 있어서 첫 큐브는 밀어냈습니다

환경에는 집기 코드가 없습니다. 정책을 끼우라고 비워 둔 자리죠. 그래서 역기구학 글에서 익힌 감쇠 최소제곱법으로 집기 코드를 직접 짰습니다. 로봇 파일에 gripperframe이라는 기준점이 있길래, 그 점을 큐브 위로 보내고 손가락을 닫았습니다.

손가락이 닫히는 순간 큐브가 옆으로 4.4cm 밀려났습니다. 높이는 15mm에서 8mm로 내려갔고요. 한쪽 턱이 큐브를 위에서 누르며 기울인 것이었습니다.

원인은 기준점의 위치였습니다. 그 점은 고정된 턱의 끝에 있고, 움직이는 턱은 벌리면 13cm까지 벌어집니다. 실제로 물건이 잡히는 자리는 두 손끝의 한가운데인데, 기준점에서 2cm 비켜 있더군요. 벌림 60(두 손끝 사이 90mm)에서 손끝 중간점을 목표로 바꾸자, 두 번째 시도에서 파란 큐브가 상자에 들어갔습니다. 보상 0.25. 로봇 파일에 적힌 기준점이 곧 집는 자리는 아니라는 것, 어느 로봇을 쓰든 먼저 확인할 일입니다.

정답을 알고도 열두 번 중 여섯 번이었습니다

그 코드로 무작위 배치를 세 번 돌렸습니다. 결과는 3개, 1개, 2개. 네 개를 다 넣어 '성공'으로 끝난 판은 한 번도 없었습니다. 배치 0의 초록 큐브는 상자 중심에서 9cm 바깥에 떨어졌고, 배치 1에서는 세 개가 손끝에서 빠져 상자 밖에 남았습니다. 들어간 큐브도 가지런하지는 않았습니다. 안쪽 9cm인 상자에 3cm 큐브를 떨어뜨리다 보니 배치 0의 세 번째와 네 번째 큐브는 먼저 들어간 큐브 위에 얹혀 높이 49mm에 멈췄더군요. 환경은 상자 안 6cm 아래면 들어간 것으로 세어 줍니다.

이 코드가 무엇을 알고 있었는지를 짚어야 합니다. 큐브 좌표를 시뮬레이터에게 물어봤습니다. 실물 로봇에는 있을 수 없는 그 한 줄이죠. 공식 환경은 정책에 그 좌표를 주지 않습니다. 카메라 두 대의 화면과 관절 값 여섯 개가 전부고, 2분 안에 넣은 큐브 수가 0.25 단위로 점수가 됩니다. 정답을 알고 짠 코드가 절반이면, 화면만 보고 움직여야 하는 신경망의 출발선이 어디쯤인지 감이 옵니다.

맺음말

이 환경이 생겨서 좋은 점은 기준이 생겼다는 것입니다. 지금까지 SO-101 시뮬레이션은 저마다 다른 장면에서 저마다 다른 과제를 풀었습니다. 이제는 같은 상자, 같은 큐브, 같은 카메라로 결과를 견줄 수 있습니다. 무료에, 보통 PC에서 돌아가고, 로봇 파일까지 들어 있는 기준이죠.

그리고 기준은 생각보다 높습니다. 시뮬레이터가 정답을 불러 주는 조건에서도 절반이었으니까요. 다음은 이 환경에서 LeRobot으로 시연 데이터를 모아 정책을 학습시키고, 그 정책이 몇 개를 넣는지 세어 볼 차례입니다.

참고 자료

  • lerobot/so101-tabletop-mujoco — 허깅페이스 EnvHub 환경(2026-10-16 갱신), 아파치 2.0. 이 글의 첫 이미지도 이 저장소의 media/cameras.png입니다 — 환경 페이지
  • lerobot/so101-tabletop-isaac — Isaac Sim 6.2용 같은 배치의 환경. 한 스텝 약 80ms(RTX 3080 노트북) 등 수치는 이 설명서의 기재값 — 환경 페이지
  • LeRobot EnvHub 문서 — 허브의 환경을 코드 한 줄로 불러오는 방식과 보안 주의사항 — 공식 문서
  • MuJoCo Menagerie의 SO-101 모델(robotstudio_so101) — 충돌 도형·적분기·힘 한계 변경 내역이 README와 CHANGELOG(2026-09-27)에 있음 — 깃허브 저장소
  • TheRobotStudio SO-ARM100 — 원본 so101_new_calib.xml — 깃허브 저장소
  • 이 글의 실측은 2026-10-23에 윈도우 11, MuJoCo 3.12, RTX 3060 Ti에서 했습니다. 스텝 시간은 60스텝 평균, 집기 결과는 환경의 무작위 시드 0·1·2 각 한 번씩입니다.

이 블로그의 인기 게시물

피지컬 AI, 학계는 아직 이 단어를 쓰지 않습니다

로봇, 사기 전에 화면 속에서 먼저 써봤습니다 (3편) — "아무거나 잘 집을 줄 알았다"

로봇 감속기, 톱니 두 개가 100배를 만듭니다