Workspace IndexDev Notes › Four ways into robotics, and what each one actually buys

#79PoC

Four ways into robotics, and what each one actually buys

The entry cost stopped being a robot, and then it stopped being an ecosystem too. What is left is a choice between buying compute, buying a body, buying a pipeline, or buying a training loop — and the honest way to pick is to name what you are trying to learn before looking at any price.

Start with the one that needs no hardware: rent a 16GB+ GPU (roughly $0.3-0.7/hr) and run NVIDIA's end-to-end GR00T workflow, or pip install lerobot and train a policy against a public Hub dataset in simulation (gym-aloha, pusht). Buy nothing until a loop has run. Then, before any purchase, write one paragraph answering which of the four questions below you actually want answered — the four options are not substitutes and the price similarity between them is a coincidence. Sources: github.com/NVIDIA/Isaac-GR00T · github.com/huggingface/lerobot · huggingface.co/docs/lerobot/so101 · huggingface.co/blog/reachy-mini · MuJoCo Playground on MJX.

Why

Two years ago the answer to "how do I get into robotics" was a robot, and it cost more than a car. Then a $100 arm and an open imitation-learning library removed that. The next answer was an ecosystem — adopt the stack, take the workflow — and an open training loop that installs in one line removed that too. What is left is genuinely a choice rather than a barrier, which is why it now needs a decision rule instead of a shopping list.

The four options cluster around the same price and answer completely different questions. A $399 Jetson Orin Nano Super and a $299 Reachy Mini look like competitors and are not: one buys 67 TOPS of edge compute you attach cameras and servos to, learning ROS 2 plumbing and edge inference; the other buys an expressive desktop body with a Python SDK that runs out of the box, learning the human-in-the-loop interaction loop. A $100-130 SO-101 arm buys manipulation — the full record-demonstrations, train-a-policy, replay-autonomously cycle. A rented cloud GPU buys the model itself, since GR00T N1.7-3B needs 16GB+ VRAM and the Jetson's 8GB cannot run it natively. The price similarity is a coincidence and treating it as a comparison is the most common way to buy the wrong thing.

The deeper split is pipeline versus loop, and it is the one worth thinking about longest. Isaac and LeRobot together fold four stages — collect, train, evaluate, deploy — into one workflow. That is genuinely valuable and comes with a commitment: you take the stack. MuJoCo Playground on MJX is the opposite end — one install line, one GPU, a policy training in minutes. Neither is better. Isaac and LeRobot answer how does robotics ship; Playground answers *how does a reinforcement-learning loop actually turn* — an agent, a reward, a policy improving, and the specific disappointment of watching it improve at the wrong thing. That second experience is not learnable by reading, and it is thirty minutes of compute away.

Where Playground's speed comes from is worth understanding because it generalises past robotics. The usual bottleneck is not the maths — it is the round trip between CPU physics and GPU learning, paid every step. MJX runs simulation and rendering on the GPU, so the trip disappears and hours become minutes. Most real speedups have that shape: not a faster component, but a boundary removed. The cost is a JAX lock-in, and if that ecosystem is unfamiliar the learning curve is the actual price of admission rather than a footnote.

The limits belong in the card rather than in a footnote. Zero-shot sim-to-real is a stated target, not a guarantee — transfer to hardware stays its own problem no matter how fast the loop runs. The Jetson AGX Thor dev kit ($3,499-5,499) is the real-time inference target NVIDIA designs GR00T for, and it is a late-stage purchase, not a starting point. And the thing actually worth taking away from an evening is not a trained policy — those are cheap now — but reward shaping: watching an agent optimise exactly what you asked for rather than what you meant. That failure has a texture no write-up conveys, and it is the same failure mode agentic-intent-veto describes on-chain — a spend cap constrains the amount, not the purchase; a reward function constrains the score, not the intent.

How it works

The four entries, and the question each one answers

Entry Cost What you actually buy The question it answers Binds you to
Rented cloud GPU + GR00T ~$0.3-0.7/hr The foundation model itself — N1.7-3B needs 16GB+ VRAM What does a humanoid foundation model do? NVIDIA stack
LeRobot + SO-101 arm $100-130 a kit, $220-260 leader+follower Manipulation — record, train, replay How does imitation learning close a loop? Hugging Face ecosystem
Reachy Mini $299 A body — motorised, Python SDK out of the box How does a human-in-the-loop interaction feel? Pollen / HF SDK
Jetson Orin Nano Super $399 Compute — 67 TOPS, you attach everything How does edge inference actually deploy? JetPack, Isaac ROS
MuJoCo Playground (MJX) Free + one GPU A training loop — minutes to a policy How does an RL loop actually turn? JAX

The $299 and $399 rows are the trap. They are not two prices for one thing — one is a body without compute, the other is compute without a body. Reachy Mini needs a host machine for heavy inference; the Jetson's 8GB shared memory cannot run GR00T natively. Neither is a complete system on its own.

Pipeline versus loop

Isaac + LeRobot MuJoCo Playground (MJX)
What it is Collect, train, evaluate, deploy as one workflow The training loop alone
Commitment Adopt the ecosystem pip install, one GPU
Answers How does robotics ship? How does an RL loop actually turn?
First result After setup Minutes
Sim-to-real Documented hardware path Zero-shot is the target, not a guarantee

Why MJX is fast, and why the lesson generalises

Step Conventional MJX
Physics CPU GPU
Rendering Mixed GPU
Learning GPU GPU
Per-step cost A round trip across the boundary No boundary to cross

Most large speedups are a removed boundary, not a faster component. The way to find them is to ask which line in the loop crosses a hardware or process edge every iteration.

The staging that avoids wasted money

  1. Simulation first — Isaac Lab (open source, headless-capable) or LeRobot against Hub datasets. No purchase, and it is where most of the learning is.
  2. One arm second — the SO-101 is a weekend project including assembly: 3D-printed frame plus six STS3215 servos, leader arm moved by hand to record demonstrations, ACT policy fine-tuned so the follower reproduces the motion.
  3. A body or a board third, once you know which of the two questions you care about.
  4. Jetson AGX Thor last ($3,499-5,499), and only if real-time on-device inference is the actual goal. Mobility hardware — Unitree Go2 Air $1,600 / Pro $2,800 — sits later still.

LeRobot is the connective tissue across all of this: it bills itself as the transformers of robotics, holding a dataset standard (LeRobotDataset), pretrained policies (ACT, Diffusion Policy, π0, the GR00T-N family) and the training/eval scripts in one package. NVIDIA's July 2026 integration of GR00T 1.7 into LeRobot is why the $100 arm and the foundation model are one path rather than two.

What to take away from an evening, whichever entry you pick

Not a trained policy. The reward-shaping experience — an agent optimising exactly what you asked for rather than what you meant — and, for the hardware entries, how few lines separate "load dataset" from "trained policy" once the dataset format is standardised, and what a robot episode (observation images, joint states, actions) looks like next to the text-token datasets an LLM developer already knows.

A fourth door: download the policy instead of training one (2026-08-28)

The three routes above all start from learning a policy. openpi (π0 · π0-FAST · π0.5) starts from one that already exists — a vision-language-action model pretrained on a reported ten-thousand-plus hours of manipulation data, taking camera frames plus a natural-language instruction and emitting a continuous action trajectory. The pretrain/finetune split that reorganised the LLM world has arrived in robotics, and it changes the entry cost more than any of the three above.

Two details decide whether it is actually reachable:

Detail Why it matters
A flow-matching action head on a vision-language backbone actions are generated as a continuous trajectory rather than classified step by step, which is why the motion comes out physically smooth
Original is JAX, with a PyTorch port shipped through LeRobot this is the practical difference from the simulator route, where JAX is not optional

Put the three routes and this one side by side and the stack has three floors — data and deployment, training, and the model. An eight-year backend developer is hired on the first and third; the middle floor is the researcher's. This is the cheapest door of the three, because the fine-tuning instincts carried over from LLM work — dataset format, LoRA, evaluation harness — transfer almost unchanged. The thirty-minute version is to open the π0 page and read only the tensor shapes: how many images, what instruction, how many action dimensions.

The number to compute before buying an arm (2026-09-08)

The SO-101 route above records demonstrations — and the honest entry cost of that physical cell is not the ~$100 arm, it is the time to collect enough demonstrations to fine-tune one policy. Hugging Face's LeRobot ships the SO-100/SO-101 reference hardware (3D-printed parts plus off-the-shelf servos) with assembly, calibration, and leader-follower teleop-collection scripts, so the bottleneck moves from money to human repetition. The figure that decides 'hobby or project' is the wall-clock time for ~50 demonstrations of one target task: at 2 minutes each that is under two hours; at 10 minutes each it is a full working day. Compute that for your actual task before buying, and treat the low repeatability of budget servos as a ceiling on task difficulty — simulation (MuJoCo/MJX) is enough to learn the loop, so buy the arm only when measuring the sim-to-real gap is itself the goal.

Review clarification

The safe learning default is the one others have already run (2026-09-11)

Put MuJoCo/MJX next to newer engines like Genesis (which leads on speed claims) and LeRobot (which owns the data format), and MuJoCo is still the safest square to learn on — not because it is fastest, but because it is reproducible: others have run the same scene, so when you get stuck there is an answer. The real cost of a new project is not speed; it is having no one to ask when you are stuck. So the reflex 'pick the fastest new thing' is backwards for a learning tool — community and reproducibility beat a benchmark, because the bottleneck while learning is unblocking, not throughput.

Measure it: can you bring your target task up in a MuJoCo example within 30 minutes? If not, the problem is the task definition, not the tool. Reach for something else on purpose: Isaac Lab for large-scale RL, LeRobot for a data-collection loop; keep Genesis as the 'try it for fun' box, not the default you learn on.

1 diagram(s) on the live page.

← All Dev Notes · Workspace Index · Top ↑

로보틱스로 들어가는 네 입구, 각각이 실제로 사주는 것

진입 비용은 더 이상 로봇이 아니고, 그다음에는 생태계도 아니게 됐습니다. 남은 것은 연산을 살 것인가, 몸을 살 것인가, 파이프라인을 살 것인가, 학습 루프를 살 것인가의 선택이고 — 정직한 고르는 법은 가격을 보기 전에 무엇을 배우려는지 먼저 이름 짓는 것입니다.

하드웨어가 필요 없는 것부터 시작합니다 — 16GB+ GPU를 빌려(대략 시간당 $0.3~0.7) NVIDIA의 GR00T 엔드투엔드 워크플로를 돌리거나, pip install lerobot 로 공개 Hub 데이터셋과 시뮬레이션(gym-aloha·pusht)에서 정책을 학습시킵니다. 루프가 한 번 돌기 전에는 아무것도 사지 않습니다. 그다음, 구매 전에 아래 네 질문 중 무엇에 답하고 싶은지 한 문단으로 씁니다 — 네 선택지는 서로 대체재가 아니고, 가격이 비슷한 것은 우연입니다. 출처: github.com/NVIDIA/Isaac-GR00T · github.com/huggingface/lerobot · huggingface.co/docs/lerobot/so101 · huggingface.co/blog/reachy-mini · MJX 위의 MuJoCo Playground.

2년 전 "로보틱스를 어떻게 시작하나"의 답은 로봇이었고, 자동차보다 비쌌습니다. 그다음 $100짜리 팔과 오픈 모방학습 라이브러리가 그 장벽을 없앴습니다. 다음 답은 생태계였습니다 — 스택을 받아들이고 워크플로를 따르라 — 그리고 한 줄로 설치되는 오픈 학습 루프가 그것마저 없앴습니다. 남은 것은 장벽이 아니라 진짜 선택이고, 그래서 이제 쇼핑 목록이 아니라 결정 규칙이 필요합니다.

네 선택지는 가격대가 겹치면서 완전히 다른 질문에 답합니다. $399 Jetson Orin Nano Super 와 $299 Reachy Mini 는 경쟁자처럼 보이지만 아닙니다 — 하나는 67 TOPS 엣지 연산을 사서 카메라·서보를 직접 붙이며 ROS 2 배선과 엣지 추론을 배우는 것이고, 다른 하나는 바로 스크립트가 도는 Python SDK가 딸린 표현형 데스크톱 몸체를 사서 휴먼 인 더 루프 상호작용을 배우는 것입니다. $100~130 SO-101 팔은 매니퓰레이션을 삽니다 — 시연 녹화 → 정책 학습 → 자율 재생의 전체 사이클. 빌린 클라우드 GPU는 모델 자체를 삽니다 — GR00T N1.7-3B 는 VRAM 16GB 이상이 필요하고 Jetson의 8GB로는 네이티브 실행이 안 되기 때문입니다. 가격이 비슷한 것은 우연이고, 그걸 비교로 취급하는 것이 엉뚱한 것을 사는 가장 흔한 경로입니다.

더 깊은 갈림은 파이프라인이냐 루프냐이고, 가장 오래 생각할 값이 있는 쪽입니다. Isaac 과 LeRobot 은 네 단계 — 수집·학습·평가·배포 — 를 하나의 워크플로로 접습니다. 진짜로 값어치가 있고 대가가 따릅니다: 스택을 통째로 받아들여야 합니다. MJX 위의 MuJoCo Playground 는 반대쪽 끝입니다 — 설치 한 줄, GPU 한 장, 몇 분 만에 학습되는 정책. 어느 쪽도 낫지 않습니다. Isaac·LeRobot 은 로보틱스가 어떻게 출하되는가에 답하고, Playground 는 강화학습 루프가 실제로 어떻게 도는가에 답합니다 — 에이전트, 보상, 개선되는 정책, 그리고 엉뚱한 것을 잘하게 되는 것을 지켜보는 특유의 실망. 두 번째는 읽어서 배워지지 않고, 연산 30분 거리에 있습니다.

Playground 의 속도가 어디서 오는지는 로보틱스 밖으로 일반화되기 때문에 알아 둘 값이 있습니다. 통상 병목은 수학이 아니라 CPU 물리 연산과 GPU 학습 사이의 왕복이고, 매 스텝마다 지불됩니다. MJX 는 시뮬레이션 렌더링을 둘 다 GPU에서 돌려 그 왕복을 지웁니다 — 몇 시간이 몇 분이 됩니다. 대부분의 진짜 속도 향상이 그 모양입니다 — 더 빠른 부품이 아니라 경계 하나를 없앤 것. 대가는 JAX 종속이고, 그 생태계가 낯설다면 그 학습 곡선이 각주가 아니라 실제 입장료입니다.

한계는 각주가 아니라 카드 본문에 둡니다. 제로샷 sim-to-real 은 목표이지 보장이 아닙니다 — 루프가 아무리 빨라도 하드웨어 이전은 여전히 별개 문제입니다. Jetson AGX Thor 개발 키트($3,499~5,499) 는 NVIDIA가 GR00T를 위해 설계한 실시간 추론 타깃이고, 시작점이 아니라 후반부 구매입니다. 그리고 하루 저녁에서 실제로 가져올 것은 학습된 정책이 아닙니다 — 그건 이제 쌉니다보상 설계(reward shaping) 입니다: 에이전트가 의도한 것이 아니라 요청한 것을 정확히 최적화하는 것을 지켜보기. 그 실패에는 어떤 글도 전달하지 못하는 질감이 있고, agentic-intent-veto 가 온체인에서 말하는 같은 실패 모드입니다 — 지출 상한은 금액을 제약하지 구매를 제약하지 않고, 보상 함수는 점수를 제약하지 의도를 제약하지 않습니다.

동작 방식

네 입구, 각각이 답하는 질문

입구 비용 실제로 사는 것 답하는 질문 묶이는 곳
클라우드 GPU 임대 + GR00T 시간당 ~$0.3-0.7 파운데이션 모델 그 자체 — N1.7-3B 는 VRAM 16GB+ 필요 휴머노이드 파운데이션 모델은 무엇을 하나? NVIDIA 스택
LeRobot + SO-101 팔 키트 $100-130, 리더+팔로워 $220-260 매니퓰레이션 — 녹화·학습·재생 모방학습은 어떻게 루프를 닫나? Hugging Face 생태계
Reachy Mini $299 — 모터 내장, Python SDK 즉시 동작 휴먼 인 더 루프 상호작용은 어떤 느낌인가? Pollen / HF SDK
Jetson Orin Nano Super $399 연산 — 67 TOPS, 나머지는 직접 붙임 엣지 추론은 실제로 어떻게 배포되나? JetPack, Isaac ROS
MuJoCo Playground (MJX) 무료 + GPU 한 장 학습 루프 — 몇 분 만에 정책 RL 루프는 실제로 어떻게 도나? JAX

$299 와 $399 행이 함정입니다. 한 물건의 두 가격이 아닙니다 — 하나는 연산 없는 몸, 다른 하나는 몸 없는 연산입니다. Reachy Mini 는 무거운 추론에 호스트 머신이 필요하고, Jetson 의 8GB 공유 메모리로는 GR00T 네이티브 구동이 안 됩니다. 어느 쪽도 그 자체로 완결된 시스템이 아닙니다.

파이프라인이냐 루프냐

Isaac + LeRobot MuJoCo Playground (MJX)
정체 수집·학습·평가·배포를 하나의 워크플로로 학습 루프 하나
대가 생태계를 받아들일 것 pip install, GPU 한 장
답하는 질문 로보틱스는 어떻게 출하되는가? RL 루프는 실제로 어떻게 도는가?
첫 결과 세팅 이후 몇 분
sim-to-real 문서화된 하드웨어 경로 제로샷은 목표이지 보장이 아님

MJX 가 왜 빠르고, 왜 그 교훈이 일반화되나

단계 통상 MJX
물리 연산 CPU GPU
렌더링 혼재 GPU
학습 GPU GPU
스텝당 비용 경계를 넘는 왕복 넘을 경계가 없음

큰 속도 향상은 대개 더 빠른 부품이 아니라 없앤 경계입니다. 찾는 방법은 루프의 어느 줄이 매 반복마다 하드웨어·프로세스 경계를 넘는지 묻는 것입니다.

돈을 낭비하지 않는 순서

  1. 시뮬레이션 먼저 — Isaac Lab(오픈소스, 헤드리스 가능) 또는 Hub 데이터셋 위의 LeRobot. 구매 없음, 그리고 배움의 대부분이 여기 있습니다.
  2. 팔 하나 그다음 — SO-101 은 조립 포함 주말 프로젝트입니다: 3D 프린트 프레임 + STS3215 서보 6개, 리더 암을 손으로 움직여 원격조작 시연을 녹화하고, 그 녹화로 ACT 정책을 파인튜닝하면 팔로워 암이 스스로 동작을 재현합니다.
  3. 몸이냐 보드냐는 세 번째 — 두 질문 중 어느 쪽이 궁금한지 알게 된 다음.
  4. Jetson AGX Thor 는 마지막($3,499~5,499), 그리고 온디바이스 실시간 추론이 진짜 목표일 때만. 이동형 하드웨어 — Unitree Go2 Air $1,600 / Pro $2,800 — 는 그보다도 뒤입니다.

이 전부를 잇는 결합조직이 LeRobot 입니다 — 스스로를 로보틱스의 transformers 라 부르고, 데이터셋 표준(LeRobotDataset)·사전학습 정책(ACT, Diffusion Policy, π0, GR00T-N 계열)·학습/평가 스크립트를 한 패키지에 담고 있습니다. NVIDIA가 2026년 7월 GR00T 1.7 을 LeRobot 에 통합한 것이, $100 팔과 파운데이션 모델이 두 갈래가 아니라 한 경로인 이유입니다.

어느 입구를 고르든, 하루 저녁에서 가져갈 것

학습된 정책이 아닙니다. 보상 설계 경험 — 에이전트가 의도한 것이 아니라 요청한 것을 정확히 최적화하는 것 — 그리고 하드웨어 입구라면, 데이터셋 포맷이 표준화된 뒤 "데이터셋 로드"와 "학습된 정책" 사이가 몇 줄인지, 그리고 로봇 에피소드(관측 이미지·관절 상태·액션)가 LLM 개발자가 아는 텍스트 토큰 데이터셋 옆에 놓였을 때 어떻게 생겼는지.

네 번째 문: 정책을 학습시키는 대신 내려받기 (2026-08-28)

위의 세 경로는 전부 정책을 학습시키는 것에서 시작합니다. openpi(π0 · π0-FAST · π0.5)는 이미 존재하는 정책에서 시작합니다 — 1만 시간 이상으로 보고된 조작 데이터로 사전학습된 VLA(비전-언어-액션) 모델이고, 카메라 프레임 + 자연어 지시를 받아 연속 동작 궤적을 뱉습니다. LLM 세계를 재편한 사전학습/파인튜닝 구분이 로보틱스에 도착했고, 이것이 위 셋 중 무엇보다 진입 비용을 크게 바꿉니다.

실제로 닿을 수 있는지를 가르는 세부 둘:

세부 왜 중요한가
비전-언어 백본 위의 플로우 매칭 액션 헤드 동작을 단계별 분류가 아니라 연속 궤적으로 생성 — 그래서 물리적으로 부드럽게 나옵니다
원본은 JAX, 그러나 LeRobot 을 통해 PyTorch 포트 제공 시뮬레이터 경로와의 실질적 차이 — 거기서는 JAX 가 선택이 아닙니다

세 경로와 이것을 나란히 놓으면 스택이 3층으로 보입니다 — 데이터·배포 / 학습 / 모델. 8년차 백엔드 개발자가 채용되는 자리는 1층과 3층이고, 가운데 층은 연구자의 자리입니다. 그중 이 문이 가장 쌉니다 — LLM 에서 익힌 파인튜닝 감각(데이터 포맷·LoRA·평가 하네스)이 거의 그대로 이전되기 때문입니다. 30분짜리 버전은 π0 문서를 열어 텐서 형태만 읽는 것입니다 — 이미지 몇 장, 어떤 지시, 액션 몇 차원인가.

팔을 사기 전에 계산할 숫자 (2026-09-08)

위 SO-101 경로는 시연을 녹화합니다 — 그리고 그 실물 칸의 정직한 진입 비용은 ~$100짜리 팔이 아니라 정책 하나를 파인튜닝할 만큼 시연을 모으는 시간입니다. Hugging Face 의 LeRobot 은 SO-100/SO-101 레퍼런스 하드웨어(3D 프린트 부품 + 시판 서보)를 조립·캘리브레이션·리더-팔로워 원격조작 수집 스크립트와 함께 제공해서, 병목이 돈에서 사람의 반복으로 옮겨갑니다. '취미냐 프로젝트냐'를 가르는 수치는 목표 태스크 하나에 대한 시연 ~50회의 실제 소요 시간입니다: 1회 2분이면 두 시간 미만, 1회 10분이면 꼬박 하루입니다. 실제 태스크에 대해 이 숫자를 사기 전에 계산하고, 저가 서보의 낮은 반복 정밀도를 태스크 난이도의 상한으로 취급하세요 — 루프를 배우는 데는 시뮬(MuJoCo/MJX)로 충분하니, 팔은 sim-to-real 격차 측정 자체가 목표일 때만 사는 게 맞습니다.

검토 후 보완

배우기에 안전한 기본값은 남들이 이미 돌려본 것이다 (2026-09-11)

MuJoCo/MJX를 더 새로운 엔진들 — 속도를 앞세우는 Genesis, 데이터 포맷을 쥔 LeRobot — 옆에 놓아도, 배우기엔 여전히 MuJoCo가 가장 안전한 칸입니다. 가장 빨라서가 아니라 재현 가능해서입니다: 같은 씬을 남들도 돌려봤기에 막혔을 때 답이 있습니다. 신생 프로젝트의 진짜 비용은 속도가 아니라 막혔을 때 물어볼 데가 없는 것입니다. 그래서 '가장 빠른 새것을 골라라'는 반사는 학습 도구엔 거꾸로입니다 — 배울 땐 병목이 처리량이 아니라 막힘 해소라, 커뮤니티와 재현성이 벤치마크를 이깁니다.

재보기: 관심 태스크를 MuJoCo 예제로 30분 안에 띄울 수 있나요? 안 되면 문제는 도구가 아니라 태스크 정의입니다. 다른 걸 고를 땐 의도적으로: 대규모 RL이면 Isaac Lab, 데이터 수집 루프면 LeRobot; Genesis는 배우는 기본값이 아니라 '재미로 재보는 칸'으로 두세요.

1 diagram(s) on the live page.

← 전체 개발 노트 · 워크스페이스 인덱스 · 맨 위 ↑