Part III: 제조 현장 적용

Chapter 8: 검증과 안전 — sim-to-real이 생산 책임을 만날 때

집필일: 2026-06-08 최종수정일: 2026-06-11

시뮬레이션에서 잘 움직이는 로봇은 생산 승인의 출발점일 뿐이다. 제조 셀에서 필요한 것은 "성공한 정책"이 아니라 어떤 조건에서 실패하고, 누가 승인하며, 어떤 증거로 rollback할 수 있는지 설명하는 release ladder다.

NVIDIA 생태계의 강점은 Omniverse, Isaac, Cosmos, GR00T, edge runtime을 연결해 많은 후보 행동을 빠르게 시험할 수 있다는 데 있다. 그러나 생산 책임은 도구가 대신 지지 않는다. 품질팀, 안전팀, 보전팀, 작업자가 이해할 수 있는 검증 체계가 있어야 sim-to-real이 공장 언어가 된다.

Figure 8.1: AutoRT의 fleet orchestration과 safety constitution 구조. source: Brohan et al. 2024 reused figure

요약

학습 목표 - sim-to-real 검증을 research benchmark가 아니라 생산 release gate로 재정의한다. - VLA, force-aware policy, tactile policy의 위험을 품질, 안전, 작업자 승인 절차로 번역한다. - shadow mode에서 restricted production까지 단계별 evidence package를 설계한다.

VLA와 humanoid foundation model은 작업 지시를 더 유연하게 해석하게 만들지만, 제조 현장에서는 유연성 자체가 위험이 될 수 있다. GR00T, RT-2, Gemini Robotics, pi0 계열 모델은 범용 robot policy의 방향을 보여주지만 [1]; [10]; [9]; [4], 생산 셀은 금지 상태와 승인 절차까지 포함해야 한다.

안전 검증은 "로봇이 사람을 치지 않는다"에 머물 수 없다. 부품을 잘못 잡아 품질 불량을 만들거나, rework를 잘못 수행해 다음 공정의 결함을 숨기거나, 모델 업데이트 후 특정 SKU에서만 실패율이 오르는 것도 생산 안전의 일부다.

검증 단계 목적 필요한 증거 다음 단계 조건
Offline simulation known failure를 재현한다 USD asset, physics setting, synthetic scene log 실패 taxonomy가 1차로 닫힘
Shadow mode 실제 셀을 관찰하되 제어하지 않는다 camera/PLC/QA log와 모델 예측 비교 false positive/negative가 허용 범위
Supervised operation 작업자가 승인한 행동만 실행한다 override log, stop reason, rework outcome 작업자 개입률이 감소
Restricted production 제한 SKU와 shift에서 생산에 투입한다 release note, safety case, rollback plan 품질 지표가 기존 공정과 동등 이상
Fleet rollout 여러 셀로 확장한다 model/version registry, drift monitor 변경 승인 절차가 반복 가능

8.1 Sim-to-real은 release process다

Sim-to-real은 "시뮬레이션 성능을 현실로 옮기는 기술"만이 아니다. 제조에서는 release process다. 어떤 asset version에서 어떤 failure가 재현됐고, 어떤 policy checkpoint가 어떤 safety envelope 안에서 승인됐는지를 남겨야 한다.

RT-1과 RT-2는 대규모 robot data와 language grounding이 일반화에 도움이 된다는 방향을 보여준다 [10]; [10]. 그러나 공장은 일반화만 원하지 않는다. 공장은 "이 SKU, 이 fixture, 이 작업자 승인 조건에서 이 행동이 허용되는가"를 묻는다.

그래서 검증 문서는 모델 카드보다 좁고 운영일지보다 엄격해야 한다. task boundary, allowed actions, forbidden states, expected contact, force limit, stop condition, manual recovery, quality reinspection을 한 문서에 묶어야 한다.

8.2 Safety constitution을 공장 언어로 바꾼다

AutoRT식 fleet orchestration과 safety constitution은 제조에 유용한 사고방식이다. 로봇이 행동 후보를 만들기 전에 금지 조건과 승인 규칙을 통과해야 한다는 구조는 품질 시스템과 잘 맞는다.

다만 제조 안전 규칙은 자연어 지침만으로 충분하지 않다. PLC interlock, light curtain, torque limit, fixture state, MES route, QA sampling rule 같은 hard signal이 포함되어야 한다. VLA가 "부품을 다시 맞춰라"는 지시를 이해하더라도, 그 행동이 현재 공정 route에서 허용되는지 확인해야 한다.

Figure 8.2: REFLECT처럼 실패 원인을 다중 감각 로그에서 설명하는 구조. source: S3 reused figure

실패 설명도 안전의 일부다. 모델이 왜 멈췄고, 어떤 sensor signal이 불확실했으며, 다음에는 어떤 evaluation case를 추가해야 하는지 설명할 수 있어야 한다. 힘과 촉각 정보를 VLA에 결합하는 연구는 접촉 실패를 더 잘 다룰 가능성을 열지만 [5]; [7], 제조사는 그 가능성을 승인 가능한 로그 구조로 바꿔야 한다.

8.3 품질팀이 읽을 수 있는 evidence package

생산 검증의 독자는 로봇 연구자만이 아니다. 품질팀은 불량률, rework, sampling plan, traceability를 본다. 안전팀은 hazard, stop category, 작업자 exposure를 본다. 보전팀은 downtime, spare part, calibration을 본다. 현장 리더는 takt time과 shift handoff를 본다.

따라서 evidence package는 다음 항목을 포함해야 한다. 첫째, 모델과 데이터의 lineage다. 둘째, simulation과 real trial의 차이다. 셋째, 실패 class별 빈도와 severity다. 넷째, 작업자 override와 human handoff 기록이다. 다섯째, rollback 기준과 이전 정책으로 되돌리는 절차다.

pi0.5처럼 post-deployment improvement를 지향하는 접근은 현장 피드백을 모델 개선으로 연결하는 방향을 보여준다 [11]. 하지만 제조에서는 개선 루프가 품질 승인 루프와 충돌하지 않아야 한다. 모델이 더 좋아졌다는 이유만으로 생산 정책이 자동 교체되어서는 안 된다.

8.4 제조 셀 체크포인트

체크포인트 질문 통과 기준
Release owner 누가 정책 배포를 승인하는가? 제조, 품질, 안전 책임자가 서명하는 decision record가 있다
Simulation fidelity 어떤 실패를 현실과 비교했는가? top failure class가 simulation과 real trial 모두에 기록됐다
Operator authority 작업자는 언제 override할 수 있는가? override button, stop reason, recovery path가 로그로 남는다
Quality lock 모델 변경이 품질 기준을 바꾸는가? QA rule과 model version이 별도 관리된다
Rollback 배포 실패 시 어떻게 돌아가는가? 이전 policy, fixture setting, checklist가 즉시 복구 가능하다

이 체크포인트가 없는 sim-to-real은 연구 데모로는 충분해도 생산 책임에는 부족하다. 제한 셀에서 이 구조를 먼저 만들면 fleet rollout은 위험한 점프가 아니라 반복 가능한 승인 절차가 된다.

8.5 다음에 배울 것

다음 장은 이 검증 체계를 실제 컴퓨팅 구조로 옮긴다. 어떤 학습은 DGX 또는 cloud에서 돌리고, 어떤 검증은 Omniverse/Isaac에서 수행하며, 어떤 추론과 safety gate는 Jetson/IGX edge에 남길지 나눠야 한다.

독자가 다음에 배워야 할 것은 "NVIDIA 스택의 제품명"이 아니라 compute boundary다. 데이터센터, simulation workstation, edge computer, PLC/MES 사이에서 latency, safety, data ownership, update cadence를 어디에 둘지 정해야 한다.

참고문헌

  1. NVIDIA (2025). NVIDIA GR00T / Foundation Model for Humanoids (2025). NVIDIA / industry. https://developer.nvidia.com/project-groot
  2. Johan Bjorck et al. (2025). GR00T N1: An Open Foundation Model for Generalist Humanoid Robots. arXiv preprint. https://arxiv.org/abs/2503.14734
  3. Figure AI (2025). Figure AI Helix VLA (2025). Figure AI / industry. https://www.figure.ai/news/helix
  4. Physical Intelligence (2024). pi0: A Vision-Language-Action Flow Model for General Robot Control. arXiv preprint. https://arxiv.org/abs/2410.24164
  5. Jiawen Yu et al. (2025). ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation. NeurIPS 2025. https://arxiv.org/abs/2505.22159
  6. Anthony Brohan et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. CoRL 2023. https://arxiv.org/abs/2307.15818
  7. Jialei Huang et al. (2025). Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization. arXiv preprint arXiv:2507.09160. https://arxiv.org/abs/2507.09160
  8. Erik Helmut et al. (2025). Tactile-Conditioned Diffusion Policy for Force-Aware Robotic Manipulation (FARM). ICRA 2026. https://arxiv.org/abs/2510.13324
  9. Google DeepMind (2025). Gemini Robotics: Bringing AI into the Physical World. arXiv preprint. https://arxiv.org/abs/2503.20020
  10. Anthony Brohan et al. (2023). RT-1: Robotics Transformer for Real-World Control at Scale. Robotics: Science and Systems (RSS) 2023. https://arxiv.org/abs/2212.06817
  11. Physical Intelligence (2025). pi0.5: A VLA model and training recipe for post-deployment improvement via RLEF. arXiv preprint. https://arxiv.org/abs/2504.16932
  12. Octo Model Team (2024). Octo: An Open-Source Generalist Robot Policy. arXiv preprint. https://arxiv.org/abs/2405.12213
  13. Yaron Lipman et al. (2023). Flow Matching for Generative Modeling. ICLR 2023. https://arxiv.org/abs/2210.02747
  14. L'Oreal (2025). L'Oreal Opens SMART Fulfillment Center Suzhou. L'Oreal Operations Press.