Shinsegae I & C

✍🏻 Editor’s Note
○ AI의 활용 범위가 디지털 공간을 넘어 현실을 인식하고 직접 행동하는 피지컬 AI로 확장되고 있습니다.
○ 로봇부터 자율주행, AI 비전까지. 피지컬 AI는 무엇이 달라졌고 산업 현장에는 어떤 변화를 가져오고 있을까요?

AI 활용 범위가 디지털 공간을 넘어 현실 세계를 인식하고 직접 행동하는 영역으로 빠르게 확장되고 있습니다.

AI가 카메라·센서·로봇 등 물리적 장치와 결합해 현실 공간을 인식하고 상황에 맞춰 판단하고 행동하는 기술을 ‘피지컬 AI’라고 하는데요. 휴머노이드뿐 아니라 자율주행, 물류, 드론, AI 비전 등 다양한 분야와 기술에 활용되고 있습니다.

피지컬 AI가 주목받는 배경에는 AI 모델뿐 아니라 센서, 반도체, 로보틱스 기술의 동반 발전이 있습니다. AI가 현실 세계의 복잡한 상황을 보다 정교하게 이해하고 대응할 수 있는 기반도 빠르게 갖춰지고 있죠. 젠슨 황 엔비디아 CEO도 지난 3월 GTC 2026 기조연설에서 “피지컬 AI의 시대가 도래했다”고 언급할 만큼, 피지컬 AI는 최근 관련 산업의 주요 화두로 떠오르고 있습니다.
 

※  이해를 돕기 위한 참고 이미지로 당사 사업 또는 제품과 무관하며, 무단 사용 및 복제를 금합니다.

🤖 정해진 동작을 반복하는 로봇에서, 이해하고 판단하는 AI로
산업용 로봇은 새로운 기술이 아닙니다. 제조 현장에서는 오래전부터 정해진 위치에서 같은 동작을 반복하는 로봇이 활용돼 왔죠. 피지컬 AI의 다른 점은 주변 변화를 스스로 파악하고 그에 맞게 움직일 수 있다는 데 있습니다. 처음 보는 물체나 예상치 못한 상황에서도 능동적으로 판단해 대응할 수 있게 된 것입니다.

최근에는 여기서 한 단계 더 나아가 ‘보고(Vision), 지시를 이해하고(Language), 행동하는(Action)’ 과정을 하나의 AI 모델로 연결하는 VLA 기술도 주목받고 있습니다. “오른쪽 선반에 있는 파란 상자를 옮겨줘”처럼 자연어로 목표를 전달하면 로봇이 주변 상황을 인식하고 필요한 행동으로 이어가는 방식입니다.

구글 딥마인드가 지난 7월 공개한 ‘제미나이 로보틱스 2’ 역시 이러한 VLA 기술의 발전을 보여주는 사례입니다. 정교한 물체 조작과 전신 동작 제어는 물론 여러 로봇이 함께 협업하는 영역까지 수행 능력을 확장했습니다. 이제 피지컬 AI는 정해진 동작을 정확히 반복하는 수준을 넘어, 주어진 목표를 이해하고 주변 환경의 변화에 맞춰 판단하고 행동하는 방향으로 진화하고 있습니다.

🧠 숙련공의 ‘감’도 AI가 배울 수 있을까?
산업 현장에는 매뉴얼이나 데이터만으로 설명하기 어려운 암묵지가 존재합니다. 부품을 어느 정도 힘으로 잡아야 하는지, 미세한 소리나 진동으로 설비의 이상을 어떻게 알아채는지처럼 숙련자가 오랜 경험을 통해 몸으로 익힌 노하우가 대표적이죠.

이 노하우를 사람의 실제 작업 데이터로 포착하려는 시도가 활발해지고 있습니다. 사람이 로봇을 원격으로 조작하는 텔레오퍼레이션으로 작업 과정을 시연하면, 로봇은 그 과정에서 발생하는 움직임과 작업 데이터를 수집합니다. AI는 이때 수집된 데이터를 모방 학습에 활용해 작업 순서뿐 아니라 물체를 잡는 위치와 힘, 이동 경로와 속도 등 세밀한 작업 방식을 학습합니다.

중국에서는 로봇 학습용 데이터를 확보하기 위한 ‘데이터 수집 훈련장’까지 등장했습니다. 다양한 작업을 사람이 반복해서 시연하고, 이를 데이터로 축적해 로봇이 실제 산업 현장에서 요구되는 복잡한 동작을 배울 수 있도록 하는 것입니다.

학습한 기술을 로봇이 실제 동작으로 구현하려면 정교한 움직임과 힘 제어도 필요합니다. 이때 중요한 역할을 하는 것이 로봇의 근육이라 불리는 액추에이터입니다. 액추에이터는 AI의 판단을 실제 움직임으로 바꿔 관절과 힘을 정밀하게 제어하는 구동 장치로, 피지컬 AI가 고도화될수록 더욱 핵심적인 역할을 하게 됩니다.

물론 숙련공의 ‘감’을 그대로 복제하는 단계에 도달했다고 보긴 어렵습니다. 다만 말이나 매뉴얼로 남기기 어려웠던 숙련자의 행동과 판단을 데이터로 포착하고 AI가 학습할 수 있는 형태로 바꾸기 시작했다는 점은 중요한 변화입니다. 기술이 고도화되면 숙련 인력 부족이나 기술 전승의 어려움 같은 산업 현장의 문제를 풀어가는 새로운 방법이 될 수 있습니다.

※ 본 이미지의 무단 사용 및 복제를 금합니다.

🌎 가상에서 배우고, 현실에서 검증하는 피지컬 AI
피지컬 AI의 또 다른 과제는 학습에 필요한 현실 데이터를 충분히 확보하기 어렵다는 점입니다. 로봇이 물체를 다루거나 설비를 조작하는 데이터는 실제 환경에서 직접 수집해야 하는 경우가 많고 위험하거나 드물게 발생하는 상황을 반복해서 학습시키기 어렵기 때문이죠.

그래서 최근에는 디지털 트윈으로 실제와 유사한 가상 환경을 구축하고, 시뮬레이션으로 다양한 상황을 반복적으로 시험하면서 현실에서 수집하기 어려운 학습용 합성 데이터를 확보하는 방식이 중요해지고 있습니다. 여기에 현실 세계가 어떻게 움직이고 변하는지 학습해 특정 행동 이후 어떤 결과가 나타날지 예측하는 월드 모델의 활용도 확대되고 있습니다.

쉽게 말해 AI가 실제로 행동하기 전에 여러 가능성을 미리 가늠해보고 더 적절한 행동을 선택할 수 있도록 하는 것이죠. 결국 피지컬 AI의 경쟁력은 로봇의 하드웨어 성능뿐 아니라 얼마나 다양한 상황을 안전하게 학습하고 검증할 수 있는가에도 달려 있습니다.

한편 가상 환경에서 충분히 학습한 AI라도 실제 현장에서 안정적으로 움직이는 것은 또 다른 문제입니다. 조건을 통제할 수 있는 디지털 환경과 달리 현실에서는 조명, 온도, 물체의 위치와 형태, 사람의 움직임 등이 계속 달라지고 예상하지 못한 변수도 발생합니다.

그래서 앞으로 피지컬 AI의 경쟁은 단순히 ‘어떤 로봇이 더 화려한 동작을 보여주는가’보다 ‘얼마나 다양한 현실 상황에서도 안정적으로 판단하고 행동할 수 있는가’로 옮겨갈 가능성이 큽니다. 새로운 물체와 환경에 대응하고, 여러 단계의 작업을 안정적으로 수행하며, 예상하지 못한 변화에도 적절하게 대처하는 능력이 더욱 중요해지는 것이죠.

※ 본 이미지의 무단 사용 및 복제를 금합니다.

피지컬 AI가 실제 산업 현장으로 들어올수록 안전성과 신뢰성도 중요해집니다. 잘못된 판단이 작업자의 안전이나 설비, 주변 환경에 직접 영향을 미칠 수 있는 만큼 AI의 행동 범위와 안전 기준, 사람이 개입해야 하는 지점을 함께 설계해야 합니다.

결국 피지컬 AI의 목표는 사람을 완전히 대신하는 데 있기보다 사람이 하기 어렵거나 위험한 업무를 맡고 사람이 보다 안전하고 효율적으로 일할 수 있도록 현실의 업무를 새롭게 설계하는 것에 가깝습니다. 피지컬 AI는 사람을 대신하기보다, 사람이 하기 어렵거나 위험한 업무를 맡아 보다 안전하고 효율적으로 일할 수 있도록 업무 방식을 바꾸는 방향으로 발전하고 있습니다.

숙련자의 경험을 배우고 가상의 세계에서 수많은 상황을 미리 경험한 뒤 실제 현장에서 변화에 맞춰 판단하고 행동하는 AI.
피지컬 AI가 만들어갈 변화의 핵심은 단순히 AI에 ‘몸’이 생긴다는 것이 아닙니다. 현실 세계 자체가 AI가 보고, 배우고, 판단하고, 행동하는 새로운 무대가 된다는 것에 있습니다.

· 본 게시글은 신세계아이앤씨 블로그에 저작권이 있습니다.
· 본 게시글은 사전 동의 없는 2차 가공 및 영리적 이용을 금지합니다.
· 콘텐츠 사용 시 ‘신세계아이앤씨 공식 블로그’로 출처 표기 부탁드립니다.