Chapter 7: 공장 셀에서 시작하기 — pick, place, inspect, rework

요약

학습 목표 - 제조 수작업을 pick, place, inspect, rework, recover primitive로 나누어 첫 셀 후보를 고른다. - 접촉, 공차, 조명, SKU 변화가 로봇 정책의 난이도를 어떻게 바꾸는지 설명한다. - pilot 결과물이 데모 영상이 아니라 skill library, task schema, failure dataset이 되게 설계한다.

NVIDIA의 물리 AI 도구는 반복 실험을 빠르게 만들지만, 제조사의 경쟁력은 특정 공정의 물리 경험을 데이터로 남기는 능력에서 나온다. DeXtreme은 Isaac Gym에서 학습한 손 조작 정책이 현실 손으로 전이될 수 있음을 보여주었고 ^[1], ForceVLA와 Tactile-VLA 계열 연구는 접촉 작업에서 힘과 촉각 정보가 중요해진다는 점을 보여준다 ^[2]; ^[5].

따라서 첫 셀은 "화려한 휴머노이드 데모"가 아니라 "작업 상태와 실패 상태를 안정적으로 기록할 수 있는 반복 셀"이어야 한다. 이 선택이 맞으면 이후 sim-to-real, 안전 검증, edge 배포가 하나의 운영 루프로 이어진다.

7.1 첫 셀 선정 기준

첫 셀은 자동화 가치와 데이터 수집 가능성을 동시에 만족해야 한다. 반복량이 많아도 실패 원인을 기록할 수 없으면 학습 자산이 쌓이지 않는다. 반대로 연구적으로 흥미로운 작업이어도 cycle time, 안전 interlock, 작업자 승인 절차가 불명확하면 생산 셀로 확장하기 어렵다.

선정 기준은 네 가지다. 첫째, 작업 primitive가 짧고 관찰 가능해야 한다. 둘째, 품질 판정이 명시적이어야 한다. 셋째, 실패가 안전하게 멈추거나 사람이 개입할 수 있어야 한다. 넷째, CAD/USD, 카메라, PLC, teleoperation, QA 이미지가 같은 task id로 묶여야 한다.

S6의 제조·물류 사례는 pilot 이후 가치가 정체되는 이유를 잘 보여준다. 많은 기업이 pilot은 만들지만 measurable value로 넘어가지 못한다는 산업 조사와, 자동화 선도 기업이 use case 단위로 확장한다는 2030 전망은 같은 교훈을 준다 ^[15]; ^[16]. 첫 셀은 쉬운 작업이 아니라 "배울 수 있는 작업"이어야 한다.

7.2 네 가지 primitive로 읽기

Pick은 물체를 안정적으로 잡는 문제처럼 보이지만, 실제로는 조명, 포즈 추정, gripper compliance, slip detection의 결합이다. Place는 더 엄격하다. 놓는 위치가 fixture, 다음 공정, 품질 판정과 연결되기 때문이다. Inspect는 단순 비전 모델이 아니라 생산 승인 로직이다. Rework는 실패를 버리지 않고 다음 학습 데이터로 바꾸는 회로다.

촉각 연구가 중요한 이유는 이 네 primitive가 접촉으로 연결되기 때문이다. 시각 없이 촉각과 proprioception만으로 in-hand rotation을 수행한 연구는 접촉 신호가 독립적인 지각 채널이 될 수 있음을 보였고 ^[3], PP-Tac은 종이 한 장을 집는 작업처럼 사람에게는 단순하지만 로봇에게 어려운 작업에서 촉각 기반 정책의 가치를 보여준다 ^[4].

제조사는 이 연구를 "언젠가 손이 좋아진다"로 읽으면 안 된다. 지금 해야 할 일은 각 primitive에 어떤 센서와 로그가 필요한지 정하는 것이다. Pick에는 slip과 grip force, place에는 pose error와 fixture contact, inspect에는 image lineage와 판정 사유, rework에는 실패 taxonomy와 작업자 개입 기록이 필요하다.

7.3 Skill library를 먼저 만든다

Skill library는 코드 저장소가 아니라 공정 지식 저장소다. 같은 pick이라도 병, 캡, 트레이, 케이블, 얇은 필름의 정책은 다르다. 각 skill에는 입력 상태, 허용 행동, force limit, 금지 상태, 품질 기준, recovery path가 포함되어야 한다.

데모 데이터도 같은 방식으로 관리해야 한다. ALOHA와 Mobile ALOHA 계열은 저비용 teleoperation과 imitation learning이 bimanual manipulation 데이터 수집을 넓힐 수 있음을 보여준다 ^[12]; ^[11]. 그러나 제조 셀에서는 demonstration이 많다는 사실보다, demonstration이 어떤 SKU, fixture, 작업자, 공정 조건에서 나온 것인지가 더 중요하다.

실무적으로는 task schema를 먼저 만든다. task_id, sku, fixture_version, robot_config, sensor_config, operator_mode, quality_rule, failure_class, policy_version을 최소 필드로 둔다. 이 schema가 있어야 Isaac 시뮬레이션과 현실 셀 로그가 같은 평가 기준으로 합쳐진다.

7.4 제조 셀 체크포인트

이 체크포인트를 통과하지 못하면 로봇이 성공하더라도 pilot이 남기는 자산은 약하다. 반대로 통과하면 제한된 셀이 제조사의 첫 skill library가 된다.

7.5 다음에 배울 것

이 장에서 고른 셀은 다음 장의 검증과 안전 체계로 넘어간다. 독자가 다음에 배워야 할 것은 모델 구조가 아니라 release ladder다. shadow mode, supervised mode, restricted production, fleet rollout을 어떤 evidence package로 승인할지 정해야 한다.

구체적으로는 Isaac 또는 다른 시뮬레이터에서 재현 가능한 failure case를 만들고, 실제 셀에서 같은 실패가 얼마나 자주 일어나는지 측정하며, 작업자 개입과 품질 판정 로그를 모델 개선 루프로 연결해야 한다. 그렇게 해야 Part III가 단순 도입 가이드가 아니라 생산 책임을 다루는 운영 체계가 된다.

참고문헌

1. Ankur Handa et al. (2023). DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality. ICRA 2023. https://arxiv.org/abs/2210.13702
2. Jiawen Yu et al. (2025). ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation. NeurIPS 2025. https://arxiv.org/abs/2505.22159
3. Z.-H. Yin et al. (2023). Rotating without Seeing: Towards In-hand Dexterity through Touch. RSS 2023. https://arxiv.org/abs/2303.10880
4. Pei Lin et al. (2025). PP-Tac: Paper Picking Using Omnidirectional Tactile Feedback in Dexterous Robotic Hands. RSS 2025. https://arxiv.org/abs/2504.16649
5. Jialei Huang et al. (2025). Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization. arXiv preprint arXiv:2507.09160. https://arxiv.org/abs/2507.09160
6. Jessica Yin et al. (2024). Learning In-Hand Translation Using Tactile Skin With Shear and Normal Force Sensing. arXiv preprint arXiv:2407.07885. https://arxiv.org/abs/2407.07885
7. Erik Helmut et al. (2025). Tactile-Conditioned Diffusion Policy for Force-Aware Robotic Manipulation (FARM). ICRA 2026. https://arxiv.org/abs/2510.13324
8. Peng Hao et al. (2025). Tactile-Language-Action Model for Contact-Rich Manipulation (TLA). arXiv preprint. https://arxiv.org/abs/2503.08548
9. Cheng Chi et al. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. Robotics: Science and Systems (RSS) 2023 / IJRR 2024. https://arxiv.org/abs/2303.04137
10. OpenAI et al. (2020). OpenAI Dactyl: Solving Rubik's Cube with a robot hand. arXiv 1910.07113 / OpenAI tech report. https://arxiv.org/abs/1910.07113
11. Zipeng Fu et al. (2024). Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation. arXiv preprint. https://arxiv.org/abs/2401.02117
12. Tony Z. Zhao et al. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT/ALOHA). Robotics: Science and Systems (RSS) 2023. https://arxiv.org/abs/2304.13705
13. Claire Chen et al. (2025). DexForce: Extracting Force-informed Actions from Kinesthetic Demonstrations for Dexterous Manipulation. IEEE Robotics and Automation Letters. https://arxiv.org/abs/2501.10356
14. Miquel Oller et al. (2024). Tactile-Driven Non-Prehensile Object Manipulation via Extrinsic Contact Mode Control. Robotics: Science and Systems (RSS) 2024. https://www.roboticsproceedings.org/rss20/p135.pdf
15. BCG and Alpega (2026). AI Is Already Moving the Logistics Industry Forward. Boston Consulting Group.
16. PwC (2026). Industrial Manufacturing's Race to 2030. PwC Global Industrial Manufacturing Sector Outlook.