Part I: 피지컬AI 스택의 재구성

Chapter 1: 왜 NVIDIA인가 — 피지컬AI 운영체제의 등장

집필일: 2026-06-08 최종수정일: 2026-06-11

개요

이 장은 NVIDIA를 GPU 공급사보다 넓게 읽어야 하는 이유에서 출발한다. 제조 로보틱스에서 NVIDIA의 피지컬AI 전략은 학습, 시뮬레이션, 합성 데이터, 로봇 정책, 엣지 추론, 안전 검증을 하나의 운영 루프로 묶으려는 시도다.

핵심 질문은 "NVIDIA를 도입할 것인가"가 아니다. 제조사가 자기 공정 지식, 실패 로그, 품질 기준, 디지털 트윈 자산을 어떤 형태로 축적해야 이 스택을 실제 생산 역량으로 바꿀 수 있는가다.

이 장을 읽고 나면... - NVIDIA의 피지컬AI 전략을 칩 판매가 아니라 제조 실행 루프로 설명할 수 있다. - DGX, Omniverse/Isaac, Cosmos, GR00T, Jetson/IGX가 맡는 역할을 구분할 수 있다. - 공식 발표, 연구 논문, 생산 증거를 서로 다른 신뢰 수준으로 읽을 수 있다. - 첫 제조 셀 파일럿에서 무엇을 데이터 자산으로 남겨야 하는지 정리할 수 있다.
Figure 1.1: 디지털AI 보조에서 피지컬AI 폐루프 공장 실행으로 넘어가는 패러다임 전환도. illustration by author AI-assisted

1.1 GPU 회사에서 운영 루프 회사로

NVIDIA의 물리 AI 전략은 "더 빠른 GPU"만으로 설명되지 않는다. DGX와 클라우드 학습 인프라는 대규모 모델과 정책을 훈련하고, Omniverse와 Isaac은 공장·로봇·센서·물체를 시뮬레이션하며, Cosmos는 물리 세계의 변화와 행동 결과를 생성·추론하는 세계모델 계층을 담당한다. GR00T 계열 모델은 휴머노이드와 조작 정책의 실행 지능을 맡고, Jetson/IGX/Thor 계층은 생산 셀 가까이에서 추론과 로그 수집을 수행한다 [1].

제조 관점에서 중요한 것은 제품 이름의 목록이 아니라 폐루프다. 현장 데이터가 수집되고, 시뮬레이션 자산으로 정리되고, 합성 데이터와 실제 데모가 함께 정책을 훈련하고, 검증된 정책만 엣지에 배포되며, 실패 로그가 다시 학습으로 돌아와야 한다. 이 순환이 닫히지 않으면 피지컬AI는 데모에 머문다.

계층 NVIDIA 스택에서의 예 제조사가 소유해야 할 자산
학습 DGX, DGX Cloud 작업 정의, 데모 데이터, 실패 라벨
시뮬레이션 Omniverse, Isaac, Newton CAD/USD, fixture, 센서 위치, 공정 파라미터
세계모델 Cosmos 합성 장면 조건, 실패 상황, 품질 기준
정책 GR00T, VLA/robot policy 승인된 action space, recovery rule
엣지 실행 Jetson, IGX, Thor 운영 로그, 안전 interlock, operator override

1.2 3-computer 전략의 제조적 의미

NVIDIA가 반복해서 말하는 3-computer strategy는 제조 현장에서는 역할 분리 원칙으로 읽을 수 있다. 첫 번째 컴퓨터는 훈련과 데이터 생성을 맡는다. 두 번째 컴퓨터는 디지털 트윈과 물리 시뮬레이션으로 배포 전 검증을 맡는다. 세 번째 컴퓨터는 실제 공장 셀에서 짧은 지연 시간으로 정책을 실행하고 현장 데이터를 남긴다.

이 분리는 제조사가 책임을 배분하는 데 도움이 된다. 예를 들어 조립 셀에서 새 정책을 시험할 때, 학습 서버는 다양한 부품 위치와 조명 조건을 생성할 수 있다. 시뮬레이션 계층은 충돌, reachability, cycle time을 먼저 검토한다. 엣지 계층은 검증된 정책만 safety PLC와 로봇 컨트롤러 옆에서 실행한다. 세 계층을 섞어 버리면 실패가 어디에서 발생했는지 추적하기 어렵다.

Figure 1.2: DGX 학습, Omniverse/Isaac 시뮬레이션, Jetson/Thor 엣지 실행으로 나뉘는 3-computer architecture. illustration by author AI-assisted

1.3 공식 발표와 생산 증거 사이

NVIDIA의 780K trajectory 생성 사례는 GPU 병렬 시뮬레이션과 GR00T 학습 루프가 얼마나 빠르게 확장될 수 있는지 보여준다 [1]. 하지만 생산 책임은 trajectory 수만으로 판단할 수 없다. 어떤 로봇 embodiment였는지, 물체와 fixture가 실제 공정과 얼마나 가까운지, 실패 사례가 포함되었는지, 실제 셀 검증에서 같은 성능이 유지되는지를 따로 물어야 한다.

촉각 기반 손안 회전 연구는 이 구분을 잘 보여준다. 시각 없이 proprioception과 tactile signal만으로 물체를 회전시키는 결과는 조작 정책의 가능성을 넓혔다 [2]. PP-Tac은 종이 한 장을 집는 문제처럼 제조 수작업에서 자주 만나는 얇고 미끄러운 물체 조작을 정면으로 다룬다 [3]. 그러나 이런 연구 결과는 "곧 모든 수작업이 자동화된다"는 뜻이 아니다. 연구 과제의 object set, 센서 구성, 성공 기준, 반복 횟수를 제조 셀의 품질 기준으로 다시 번역해야 한다.

1.4 제조사가 얻는 전략적 선택지

NVIDIA 스택의 장점은 제조사가 모든 기반 기술을 처음부터 만들지 않아도 된다는 점이다. 세계모델, 로봇 시뮬레이션, synthetic data, 엣지 추론의 공통 인프라를 빌릴 수 있다. 그러나 제조사가 절대 외주화하기 어려운 자산도 있다. 공정 노하우, 품질 판정 기준, 불량 원인, 작업자 개입 절차, 설비 변경 이력은 현장 안에서만 축적된다.

촉각과 힘 정보가 들어간 학습 연구는 이 경계를 더 분명하게 만든다. DexForce는 위치 궤적만이 아니라 force intent를 시연 데이터에 담는 것이 접촉 작업에서 중요하다는 점을 보여준다 [5]. NeuralFeels는 시각이 가려지는 손안 조작에서 촉각 contact patch가 3D 상태 추정에 기여할 수 있음을 보여준다 [6]. 제조사가 배워야 할 점은 특정 논문 기법보다 "무엇을 기록해야 다음 정책이 나아지는가"다.

Figure 1.3: 인식, 추론, 행동과 digital twin, edge, cloud를 결합한 피지컬AI 스택 매트릭스. illustration by author AI-assisted

1.5 제조 셀 체크포인트

첫 파일럿은 범용 휴머노이드 비전보다 좁은 제조 셀에서 시작해야 한다. 좋은 후보는 cycle time이 측정 가능하고, 품질 판정이 명확하며, 실패 비용이 제한적이고, 사람이 이미 반복적으로 수행하는 작업이다.

체크 항목 확인 질문 산출물
작업 정의 어떤 입력을 어떤 품질 상태로 바꾸는가? task schema
데이터 사람 시연, 로봇 시도, 품질 이미지가 같은 ID로 묶이는가? attempt log
시뮬레이션 CAD/USD, fixture, 조명, 센서 위치가 버전 관리되는가? simulation package
검증 성공률 외에 cycle time, 불량, recovery를 측정하는가? evaluation report
운영 실패 시 사람 개입과 rollback 절차가 정해져 있는가? release decision

이 체크포인트의 목적은 모델 선택을 늦추는 것이 아니다. 모델이 바뀌어도 남는 평가 체계를 먼저 만드는 것이다.

1.6 다음에 배울 것

이 장은 NVIDIA를 물리 AI 운영 루프로 읽는 관점을 세웠다. 다음 장은 그 루프의 중심에 있는 Omniverse와 Isaac을 다룬다. 공장과 로봇을 먼저 가상에서 만들 때 무엇이 실제로 검증되고, 무엇은 여전히 실제 셀에서 확인해야 하는지 살펴본다.

참고문헌

  1. NVIDIA. (2026). 780K trajectories in 11 hours. Industry announcement / GTC. https://developer.nvidia.com/isaac
  2. Z.-H. Yin et al. (2023). Rotating without Seeing: Towards In-hand Dexterity through Touch. RSS 2023. https://arxiv.org/abs/2303.10880
  3. Pei Lin et al. (2025). PP-Tac: Paper Picking Using Omnidirectional Tactile Feedback in Dexterous Robotic Hands. RSS 2025. https://arxiv.org/abs/2504.16649
  4. Nathan F. Lepora (2025). Tactile Robotics: Past and Future. arXiv preprint. https://arxiv.org/abs/2512.01106
  5. Claire Chen et al. (2025). DexForce: Extracting Force-informed Actions from Kinesthetic Demonstrations for Dexterous Manipulation. IEEE Robotics and Automation Letters. https://arxiv.org/abs/2501.10356
  6. Sudharshan Suresh et al. (2024). NeuralFeels with Neural Fields: Visuotactile Perception for In-Hand Manipulation. Science Robotics. https://doi.org/10.1126/scirobotics.adl0628
  7. Mike Lambeta et al. (2020). DIGIT: A Novel Design for a Low-Cost Compact High-Resolution Tactile Sensor with Application to In-Hand Manipulation. IEEE Robotics and Automation Letters. https://arxiv.org/abs/2005.14679
  8. Ravinder S. Dahiya et al. (2010). Tactile Sensing: From Humans to Humanoids. IEEE Transactions on Robotics. https://doi.org/10.1109/TRO.2009.2033627
  9. Roland S. Johansson et al. (2009). Coding and Use of Tactile Signals from the Fingertips in Object Manipulation Tasks. Nature Reviews Neuroscience. https://doi.org/10.1038/nrn2621
  10. Kenneth Shaw et al. (2023). LEAP Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning. Robotics: Science and Systems (RSS) 2023. https://arxiv.org/abs/2309.06440
  11. Aude Billard et al. (2019). Trends and Challenges in Robot Manipulation. Science. https://doi.org/10.1126/science.aat8414
  12. C. Zhao et al. (2025). Universal Slip Detection of Robotic Hand with Tactile Sensing. Frontiers in Neurorobotics. https://doi.org/10.3389/fnbot.2025.1478758
  13. Fengyu Yang et al. (2024). Binding Touch to Everything: Learning Unified Multimodal Tactile Representations. CVPR 2024. https://openaccess.thecvf.com/content/CVPR2024/papers/Yang_Binding_Touch_to_Everything_Learning_Unified_Multimodal_Tactile_Representations_CVPR_2024_paper.pdf
  14. Giulia Corniani et al. (2020). Tactile innervation densities across the whole body. Journal of Neurophysiology / bioRxiv. https://doi.org/10.1101/2020.04.27.063263