Part III: 제조 현장 적용

Chapter 9: DGX에서 Jetson까지 — 학습, 시뮬레이션, 엣지 배포

집필일: 2026-06-08 최종수정일: 2026-06-11

Part III의 마지막 장은 물리 AI를 컴퓨팅 배치 문제로 바꾼다. 어떤 일은 데이터센터에서 학습해야 하고, 어떤 일은 시뮬레이션 환경에서 검증해야 하며, 어떤 일은 로봇 옆 edge에서 지연 없이 실행해야 한다.

NVIDIA의 3-computer 전략은 제조 현장에 유용한 구분을 준다. DGX 또는 cloud는 대규모 학습과 synthetic data generation을 담당하고, Omniverse/Isaac은 디지털 트윈과 정책 검증을 담당하며, Jetson/IGX는 edge inference와 safety monitor를 담당한다. 제조사의 과제는 이 경계를 자신의 공정 책임에 맞게 조정하는 것이다.

Figure 9.1: Jetson/IGX edge hardware가 현장 inference와 safety gate에 연결되는 구조. source photo reused from S6

요약

학습 목표 - DGX, Omniverse/Isaac, Jetson/IGX의 역할을 제조 셀 운영 관점에서 나눈다. - simulation, real trial, edge deployment 사이의 데이터 흐름과 승인 흐름을 설계한다. - 어떤 기능을 중앙 학습에 두고 어떤 기능을 현장 edge에 남길지 판단한다.

DGX에서 Jetson까지의 구조는 제품 라인업이 아니라 책임 분리다. 학습과 재학습은 많은 데이터를 필요로 하지만, 생산 셀의 safety gate는 지연이 낮고 deterministic해야 한다. 시뮬레이션은 두 세계 사이에서 후보 정책을 시험하고 failure case를 재현한다.

Sim-to-real 연구는 이 경계가 단순하지 않음을 보여준다. tactile simulation, real-to-sim-to-real, human-in-the-loop RL, simulation evaluation 연구는 물리 환경과 가상 환경을 계속 맞춰야 함을 강조한다 [2]; [4]; [5]; [12].

계층 대표 역할 제조사가 소유해야 할 것 실패 시 위험
DGX/cloud pretraining, synthetic data, fleet learning 데이터 lineage, policy registry, 학습 승인 좋은 모델이지만 생산 조건과 불일치
Omniverse/Isaac digital twin, physics rollout, regression test USD asset, fixture version, failure suite 현실 공차와 접촉을 과소평가
Jetson/IGX edge inference, safety monitor, local logging latency budget, fallback mode, edge log 네트워크 또는 모델 오류가 생산 중단으로 연결
PLC/MES/QA interlock, route, quality decision 공정 권한, 승인 record, rollback AI가 기존 생산 책임 체계와 분리

9.1 Compute boundary가 전략이다

컴퓨팅 경계를 잘못 잡으면 물리 AI는 빠르게 복잡해진다. 모든 판단을 cloud로 보내면 지연과 보안 문제가 생긴다. 모든 학습을 edge에 맡기면 데이터 통합과 검증이 약해진다. 모든 simulation을 research workstation에 고립시키면 생산 승인과 연결되지 않는다.

제조사의 기본 원칙은 간단하다. 안전과 stop decision은 현장에 가까워야 한다. 모델 학습과 synthetic variation은 중앙에 가까워야 한다. 품질 승인과 rollback은 기존 MES/QA 체계와 연결되어야 한다. 이 세 원칙이 지켜져야 NVIDIA 스택이 현장 운영 체계가 된다.

삼성, Foxconn, BMW, Siemens 같은 reference case는 digital twin과 AI factory가 생산 전략의 일부가 되고 있음을 보여준다 [16]; [17]; [18]; [15]. 그러나 각 기업의 실제 해자는 hardware 구매가 아니라 공정 데이터와 검증 루프다.

9.2 데이터 흐름은 폐루프여야 한다

셀에서 나온 데이터는 세 방향으로 흘러야 한다. 첫째, 품질팀으로 가서 생산 판정을 남긴다. 둘째, simulation team으로 가서 실패를 재현한다. 셋째, model team으로 가서 다음 policy evaluation에 들어간다.

Figure 9.2: NVIDIA reference case를 DGX-Omniverse-Jetson 파이프라인으로 정리한 그림. illustration by author AI-assisted

이때 모든 로그를 다 모으는 것이 답은 아니다. high-rate tactile stream, camera, force/torque, PLC event, operator note, QA image는 비용과 개인정보, 보안 요구가 다르다. 제조사는 "원본 보존", "feature 보존", "event만 보존"의 기준을 task별로 정해야 한다.

Open X-Embodiment는 다양한 robot dataset을 연결하는 방향을 보여주지만 [9], 제조사는 공개 데이터보다 자신의 공정 데이터가 훨씬 중요하다. 공개 데이터는 초기 모델의 prior를 주고, 공정 데이터는 승인 가능한 행동의 경계를 만든다.

9.3 Edge 배포의 현실

Edge 배포는 모델을 작은 컴퓨터에 올리는 일이 아니다. production cell 옆에서 inference, safety monitor, local cache, version control, failover를 함께 운영하는 일이다.

Jetson/IGX 계층에서 가장 중요한 질문은 "모델이 무엇을 예측하는가"보다 "예측을 실행해도 되는가"다. edge runtime은 robot controller, PLC, vision system, safety sensor와 함께 동작한다. 네트워크가 끊기거나 중앙 registry가 응답하지 않아도 cell이 안전하게 멈추거나 이전 정책으로 돌아갈 수 있어야 한다.

Human-in-the-loop RL과 dexterous sim-to-real 연구는 현실 trial에서 사람 피드백이 성능 개선에 중요하다는 점을 보여준다 [5]. 제조 환경에서는 이 피드백이 임의 코멘트가 아니라 operator override, stop reason, QA 판정, rework outcome으로 구조화되어야 한다.

9.4 제조 셀 체크포인트

체크포인트 질문 통과 기준
Latency budget 어떤 판단이 몇 ms 안에 끝나야 하는가? safety stop, visual check, policy inference의 예산이 분리됐다
Version registry 어떤 모델이 어떤 셀에 배포됐는가? policy, asset, fixture, QA rule version이 한 record에 있다
Local failover 중앙 시스템 장애 시 어떻게 동작하는가? safe stop 또는 last-approved policy fallback이 검증됐다
Data minimization 어떤 데이터를 원본으로 남기는가? sensor별 보존 기준과 보안 등급이 정의됐다
Simulation replay 실제 실패를 가상에서 재현하는가? top failure가 regression test에 추가된다

이 체크포인트는 IT 아키텍처 문서가 아니라 생산 책임 문서다. edge 배포가 성공하려면 model ops, factory automation, quality system이 같은 version truth를 공유해야 한다.

9.5 다음에 배울 것

Part IV는 전략으로 넘어간다. 지금까지 첫 셀, 검증, compute boundary를 다뤘다면 다음 질문은 무엇을 NVIDIA와 partner stack에서 사고, 무엇을 제조사가 직접 소유해야 하는가다.

다음 장을 읽기 전 독자는 자신의 조직에서 세 가지를 적어보면 좋다. 첫째, 절대 외부에 맡기면 안 되는 공정 데이터는 무엇인가. 둘째, vendor platform이 제공하면 충분한 기능은 무엇인가. 셋째, 모델과 hardware가 바뀌어도 유지해야 할 evaluation truth는 무엇인가.

참고문헌

  1. Various (2025). Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids. arXiv preprint. https://arxiv.org/abs/2502.20396
  2. Various (2024). TacEx: GelSight Tactile Simulation in Isaac Sim. arXiv preprint. https://arxiv.org/abs/2411.04776
  3. Ankur Handa et al. (2023). DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality. ICRA 2023. https://arxiv.org/abs/2210.13702
  4. Prithwish Dan et al. (2025). X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real. arXiv preprint. https://arxiv.org/abs/2505.07096
  5. Jianlan Luo et al. (2025). Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning. Science Robotics. https://doi.org/10.1126/scirobotics.ads5033
  6. Nathan F. Lepora (2025). Tactile Robotics: Past and Future. arXiv preprint. https://arxiv.org/abs/2512.01106
  7. Jessica Yin et al. (2024). Learning In-Hand Translation Using Tactile Skin With Shear and Normal Force Sensing. arXiv preprint arXiv:2407.07885. https://arxiv.org/abs/2407.07885
  8. OpenAI et al. (2020). OpenAI Dactyl: Solving Rubik's Cube with a robot hand. arXiv 1910.07113 / OpenAI tech report. https://arxiv.org/abs/1910.07113
  9. Open X-Embodiment Collaboration (2024). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. ICRA 2024. https://arxiv.org/abs/2310.08864
  10. Shaoxiong Wang et al. (2022). TACTO: A Fast, Flexible, and Open-Source Simulator for High-Resolution Vision-Based Tactile Sensors. IEEE Robotics and Automation Letters. https://arxiv.org/abs/2012.08456
  11. Zilin Si et al. (2025). ExoStart: From 10 Exoskeleton Demos to Dexterous Robot Manipulation. arXiv preprint. https://arxiv.org/abs/2506.11775
  12. Xuanlin Li et al. (2024). Evaluating Real-World Robot Manipulation Policies in Simulation. arXiv (SIMPLER). https://arxiv.org/abs/2405.05941
  13. Albert Yu et al. (2024). Natural Language Can Help Bridge the Sim2Real Gap. arXiv preprint. https://arxiv.org/abs/2405.10020
  14. Yaron Lipman et al. (2023). Flow Matching for Generative Modeling. ICLR 2023. https://arxiv.org/abs/2210.02747
  15. Audi and Siemens (2025). Siemens Makes Factory Floors Smarter With Industrial AI. NVIDIA Blog.
  16. Samsung Electronics and NVIDIA (2025). NVIDIA and Samsung Build AI Factory to Transform Global Intelligent Manufacturing. NVIDIA Newsroom.
  17. Foxconn and NVIDIA (2025). Foxconn Develops Physical AI-Enabled Smart Factories with Digital Twins. NVIDIA Customer Stories.
  18. BMW Group and NVIDIA (2025). BMW Group Scales Virtual Factory with NVIDIA Omniverse. BMW Group Press Release.