Part I: 피지컬AI 스택의 재구성

Chapter 2: Omniverse와 Isaac — 공장과 로봇을 먼저 가상에서 만든다

집필일: 2026-06-08 최종수정일: 2026-06-24

개요

이 장은 Omniverse와 Isaac을 3D 데모 도구가 아니라 제조 변경관리 인프라로 읽는다. 공장 셀을 실제로 멈추기 전에 layout, robot reachability, sensor placement, fixture collision, cycle time, safety zone을 먼저 시험할 수 있어야 디지털 트윈이 생산 도구가 된다.

OpenUSD, Isaac Sim/Lab, Newton, Omniverse 라이브러리는 이 역할을 나누어 맡는다. 다만 시뮬레이션이 현실을 대체하지는 않는다. 제조사가 얻는 가치는 "가상에서 성공했다"가 아니라, 무엇을 현실 검증 전에 걸러냈고 무엇을 현실 검증 대상으로 남겼는지 기록하는 데 있다.

이 장을 읽고 나면... - Omniverse/OpenUSD를 시각화 포맷이 아니라 산업 데이터 계약으로 설명할 수 있다. - Isaac Sim/Lab과 Newton이 robot policy 학습과 접촉 검증에서 맡는 역할을 구분할 수 있다. - sim-to-real의 한계를 contact, sensor noise, tolerance, OT integration 관점에서 점검할 수 있다. - 가상 공장 파일럿이 남겨야 할 evidence package를 정의할 수 있다.
Figure 2.1: BMW 가상 공장과 OpenUSD 기반 디지털 트윈을 제조 검증층으로 읽는 그림. source photo and illustration mix

2.1 가상 공장을 먼저 만드는 이유

제조 현장에서 디지털 트윈의 가치는 예쁜 공장 렌더링이 아니다. 새 로봇을 설치하기 전에 reachability를 확인하고, 카메라를 옮기기 전에 occlusion을 검토하고, 새 SKU가 들어오기 전에 fixture와 gripper 간섭을 시험하고, 라인을 멈추기 전에 cycle time 변화를 예측하는 것이 핵심이다.

BMW의 가상 공장 사례, Siemens의 industrial AI operating system, Rockwell의 Emulate3D 통합은 모두 같은 방향을 가리킨다. 디지털 트윈은 설계, 제어, 제조 실행, 품질 검증이 같은 객체와 좌표계를 공유할 때 생산성을 낸다 [17].

디지털 트윈 질문 실제 생산 리스크 가상 검증 산출물
로봇이 닿는가? 설치 후 reachability 부족 robot envelope, collision report
카메라가 보는가? occlusion, 반사, 조명 편차 sensor placement study
공정 시간이 맞는가? 병목, 라인 정지 cycle-time simulation
제어 로직이 맞는가? commissioning 지연 virtual FAT, PLC test
변경 이력이 남는가? 승인·감사 불가 versioned USD/process package

2.2 OpenUSD는 상호운용 계약이다

OpenUSD는 렌더링 파일 포맷으로만 보면 과소평가된다. 제조 셀에서는 CAD geometry, fixture, robot cell, camera calibration, material, PLC tag, MES work order, 품질 이미지가 서로 다른 시스템에 흩어져 있다. 이들이 같은 task id와 좌표계로 묶이지 않으면 학습, 시뮬레이션, 검증 결과를 생산 현장으로 되돌리기 어렵다.

Omniverse의 전략은 이 흩어진 데이터를 하나의 scene composition 체계로 연결하는 데 있다. 특히 최근 Omniverse 라이브러리 방식은 기존 산업 소프트웨어 안에 물리 AI 기능을 넣는 방향으로 이동하고 있다. 제조사 입장에서는 monolithic tool adoption보다 기존 PLM, MES, PLC, simulation 도구와의 연결성이 더 중요하다.

2.3 Isaac Sim/Lab과 Newton의 역할

Isaac Sim은 로봇, 센서, 물체, 장면을 GPU 가속 시뮬레이션으로 다루는 배포 전 실험장이다. Isaac Lab은 강화학습과 imitation learning을 포함한 정책 훈련·평가 루프에 더 가까운 계층이다. 두 도구 모두 시뮬레이션 데이터가 실제 셀에서 어떤 성능을 낼지 묻는 데 쓰인다.

최근 Isaac Lab 논문은 이 구분을 더 선명하게 만든다. Isaac Sim은 USD scene, RTX rendering, PhysX, sensor simulation, synthetic data pipeline에 가깝고, Isaac Lab은 actuator model, multi-frequency sensor, data collection, domain randomization, teleoperation, RL/IL workflow를 묶는 학습 환경이다 [17]. 다만 GPU-native라는 표현을 무제한 성능 주장으로 읽으면 안 된다. 해당 논문은 simulation state/control은 GPU에서 직접 접근하지만 friction, rigid-body mass, joint property 같은 일부 simulation parameter는 여전히 CPU API를 거친다고 설명한다 [17].

Newton이 중요한 이유는 수작업 자동화의 어려운 부분이 접촉에 몰려 있기 때문이다. insertion, torque, compliance, slip, deformable packaging, thin sheet picking은 단순한 경로 계획보다 접촉 물리와 센서 피드백에 크게 좌우된다. Newton은 GPU-accelerated, differentiable, extensible physics engine으로 공개되었지만, PhysX를 대체하는 생산-ready 엔진이라기보다 Isaac Lab과 로봇 학습에서 실험적으로 붙는 emerging layer로 읽어야 한다 [19]. GelSight/DIGIT 계열 촉각 센서와 3D-ViTac 같은 visuo-tactile policy 연구는 접촉 정보를 policy input으로 넣는 흐름을 보여준다 [4].

Figure 2.2: Isaac 기반 sim-to-real 파이프라인. illustration by author AI-assisted

2.4 sim-to-real의 책임 경계

sim-to-real은 "시뮬레이션에서 학습했으니 바로 생산 배포한다"는 뜻이 아니다. 좋은 시뮬레이션은 현실 검증 비용을 줄이고, 실패 후보를 미리 노출하고, 실험 범위를 체계적으로 좁힌다. 그러나 마찰, compliance, 센서 노이즈, 조립 공차, 마모, 작업자 개입은 여전히 실제 셀에서 확인해야 한다.

촉각 센서 연구는 이 경계를 실감하게 한다. Dahiya의 촉각 서베이는 센서 방식과 시스템 통합의 긴 문제 목록을 보여줬고 [5], GelSight 계열의 모듈화 연구는 해상도, 시야, 두께, 내구성 사이의 trade-off를 드러낸다 [6]. 시뮬레이터가 빠르더라도 제조사는 어떤 물리 파라미터가 실제 공정에서 검증되었는지 별도로 관리해야 한다.

플랫폼 도입 난도도 과소평가하면 안 된다. 2026년 Isaac Sim survey는 ray tracing, sensor, RL, synthetic data, ROS integration, digital twin capability를 강점으로 정리하면서도 high-end hardware 의존, memory/computation overhead, configuration complexity, steep learning curve를 실제 adoption barrier로 지적한다 [20]. 따라서 Ch2의 결론은 "Isaac/Newton을 쓰면 현실 격차가 사라진다"가 아니라, 현실 격차를 기록하고 줄이는 evidence package를 더 잘 만들 수 있다는 것이다.

2.5 OT 통합이 빠지면 생산 도구가 아니다

Omniverse와 Isaac은 기존 OT를 대체하지 않는다. 인증된 로봇 컨트롤러, safety PLC, MES, 품질 시스템이 여전히 motion authority와 생산 책임을 가진다. Jetson 또는 IGX edge는 로컬 추론과 로그 수집을 맡을 수 있지만, interlock과 emergency stop 권한은 검증된 제어 계층에 남아야 한다.

Figure 2.3: Jetson/IGX 엣지 계층과 공장 OT 통합. source photo and illustration mix

따라서 디지털 트윈 프로젝트의 성공 기준은 "가상 공장이 멋지게 보이는가"가 아니다. PLC 로직, controller behavior, work order, 품질 판정, 작업자 개입 로그가 시뮬레이션과 실제 셀 사이에서 이어지는가다.

2.6 제조 셀 체크포인트

가상 공장 파일럿은 실제 셀 변경 전에 다음 evidence package를 남겨야 한다.

항목 최소 기준 실패 신호
Asset lineage CAD/USD, material, fixture, sensor version 기록 어떤 asset으로 검증했는지 추적 불가
Physics range 마찰, 질량, compliance, 조명 randomization 범위 기록 현실 실패를 시뮬레이션에서 재현 못함
Controller bridge PLC tag, robot controller, safety state mapping virtual FAT와 실제 commissioning 분리
Evaluation success, cycle time, collision, defect, recovery 측정 성공률만 있고 생산 지표 없음
Release gate shadow mode, supervised mode, rollback 기준 파일럿 성공 후 승인 기준 부재

이 표는 시뮬레이션 품질을 높이기 위한 체크리스트가 아니라 생산 책임을 남기기 위한 체크리스트다.

2.7 다음에 배울 것

이 장은 공장과 로봇을 먼저 가상에서 만드는 이유와 한계를 정리했다. 다음 장은 그 가상 세계를 채우는 데이터 문제로 이동한다. Cosmos와 world-action model이 부족한 로봇 데이터를 어떻게 증폭하고, 어디에서 반드시 실제 접촉 검증으로 돌아와야 하는지 살펴본다.

참고문헌

  1. L. Ren et al. (2025). A Comprehensive Review of Tactile Sensing Technologies in Space Robotics. Chinese Journal of Aeronautics. https://doi.org/10.1016/j.cja.2025.01.031
  2. Yu et al. (2025). Recent Progress in Tactile Sensing and Machine Learning for Texture Perception in Humanoid Robotics. Interdisciplinary Materials (Wiley). https://doi.org/10.1002/idm2.12233
  3. Binghao Huang et al. (2024). 3D-ViTac: Learning Fine-Grained Manipulation with Visuo-Tactile Sensing. CoRL 2024. https://arxiv.org/abs/2410.24091
  4. Mike Lambeta et al. (2020). DIGIT: A Novel Design for a Low-Cost Compact High-Resolution Tactile Sensor with Application to In-Hand Manipulation. IEEE Robotics and Automation Letters. https://arxiv.org/abs/2005.14679
  5. Ravinder S. Dahiya et al. (2010). Tactile Sensing: From Humans to Humanoids. IEEE Transactions on Robotics. https://doi.org/10.1109/TRO.2009.2033627
  6. Arpit Agarwal et al. (2025). A Modularized Design Approach for GelSight Family of Vision-Based Tactile Sensors. International Journal of Robotics Research. https://doi.org/10.1177/02783649251339680
  7. Jian Fang et al. (2025). Force Measurement Technology of Vision-Based Tactile Sensor. Advanced Intelligent Systems (Wiley). https://doi.org/10.1002/aisy.202400290
  8. Ningbin Zhang et al. (2025). Soft Robotic Hand with Tactile Palm-Finger Coordination. Nature Communications. https://doi.org/10.1038/s41467-025-57741-6
  9. Raunaq Bhirangi et al. (2021). ReSkin: Versatile, Replaceable, Lasting Tactile Skins. arXiv preprint / CoRL 2021 workshop. https://arxiv.org/abs/2111.00071
  10. Subramanian Sundaram et al. (2019). Learning the signatures of the human grasp using a scalable tactile glove (STAG). Nature. https://doi.org/10.1038/s41586-019-1234-z
  11. Wenzhen Yuan et al. (2017). GelSight: High-Resolution Robot Tactile Sensors for Estimating Geometry and Force. Sensors (MDPI). https://doi.org/10.3390/s17122762
  12. Yongchao Chen et al. (2025). A Survey on Large Language Models for Automated Planning. arXiv preprint. https://arxiv.org/abs/2502.12435
  13. Raunaq Bhirangi et al. (2024). AnySkin: Plug-and-play Skin Sensing for Robotic Touch. arXiv preprint. https://arxiv.org/abs/2409.08276
  14. Mike Lambeta et al. (2024). Digitizing Touch with an Artificial Multimodal Fingertip (Digit 360). arXiv preprint. https://arxiv.org/abs/2411.02834
  15. Siemens and NVIDIA (2026). Siemens and NVIDIA Expand Partnership to Build the Industrial AI Operating System. NVIDIA Newsroom.
  16. Rockwell Automation and NVIDIA (2024). Rockwell Automation Brings Autonomous Operations to Life Using NVIDIA Omniverse. Rockwell Automation Press Release.
  17. BMW Group and NVIDIA (2025). BMW Group Scales Virtual Factory with NVIDIA Omniverse. BMW Group Press Release.
  18. NVIDIA et al. (2025). Isaac Lab: A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning. arXiv preprint. https://arxiv.org/abs/2511.04831
  19. Newton Developers (2026). Newton Physics Engine documentation. Linux Foundation / Disney Research / Google DeepMind / NVIDIA. https://newton-physics.github.io/newton/stable/guide/overview.html
  20. Sicong Gao et al. (2026). NVIDIA Isaac Sim: Enabling Scalable, GPU-Accelerated Simulation for Robotics. arXiv preprint. https://arxiv.org/abs/2606.03551