# LimX Dynamics, LimX VGM 임바디드 로봇 조작 알고리즘 발표

> Source: https://www.limxdynamics.com/ko/news/BK000082
> Published: 2025-02-14
> Updated: 2026-09-10
> Tags: 제품

LimX Dynamics가 임바디드 인텔리젠스 기반 로봇 조작 분야의 최신 돌파구를 공개하고, 영상 생성 대형 모델 기반의 임바디드 조작 알고리즘(VideoGenMotion, 이하 LimX VGM)을 발표했습니다. LimX VGM은 인간 조작 영상 데이터를 활용해 기존 영상 생성 대형 모델을 후속 학습시키며, 장면 이미지와 조작 작업 지시만 프롬프트(Prompts)로 입력하면 작업 이해 및 분해, 물체 조작 궤적 생성, 로봇 조작 실행까지의 전 과정을 구현할 수 있습니다. 전 과정에서 실기체 샘플 데이터가 전혀 필요하지 않으며, 여러 플랫폼에 걸쳐 일반화할 수 있습니다. 이는 중국에서 인간 조작 데이터를 로봇 조작에 직접 적용한 최초의 사례입니다.

[video](https://oss.limxdynamics.com/uploads/video/2026/01/14/1768360725097_Video%20-%20LimX%20VGM%20Demo%20-%20FN.mp4)

LimX Dynamics, LimX VGM 임바디드 로봇 조작 알고리즘 발표

**임바디드 인텔리젠스의 목표는 인간을 대신해 물리 세계를 변화시키는 작업을 수행하는 것입니다**. 이를 위해 실제 데이터, 시뮬레이션 데이터, 인터넷 데이터 등 방대하고 다양하며 품질이 높은 학습 데이터가 필요합니다. 막대한 비용을 들여 확보해야 하는 실기체 및 시뮬레이션 데이터와 달리, 인터넷과 영상 생성 대형 모델에는 이미 방대한 인간 조작 영상 데이터가 축적되어 있습니다. 이러한 데이터는 확보 비용이 가장 낮고, 풍부한 물리 상식과 행동 궤적, 조작 의사결정 경로를 포함하고 있습니다.

그러나 이러한 데이터를 어떻게 활용할 것인가에 대해 업계는 여전히 실효성 있는 방법을 모색하고 있습니다. 주요 과제는 다음과 같습니다: 먼저 인간 조작 영상은 로봇 조작에 직접 적용할 수 없습니다. 또한 대형 모델은 이러한 영상을 바탕으로 행동 궤적과 조작 데이터를 생성할 수 있지만, 정확도 부족, 물리 법칙 위배, 환각 현상 등의 한계가 있습니다. 생성된 데이터가 정확하더라도 로봇 조작에 곧바로 적용할 수는 없습니다.

LimX Dynamics는 **LimX VGM**을 통해 인간 조작 영상에서 조작 작업의 본질을 파악하고 핵심 정보를 추출함으로써 인간 조작과 로봇 조작 사이의 큰 격차를 좁혔으며, **‘데이터-성능 ROI’라는** 데이터 효율성 평가 방법을 창의적으로 제안했습니다.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/14/1768360017253_image.png)

LimX VGM 워크플로

**LimX VGM**의 워크플로는 세 가지 핵심 단계로 구성됩니다:

1. 학습 단계: 실제 인간 조작 영상 여러 건을 수집하여 기존 영상 생성 대형 모델을 후속 학습시킵니다.

2. 추론 단계: 초기 장면 이미지와 조작 작업 지시를 프롬프트(Prompts)로 입력합니다. 후속 학습을 거친 영상 생성 대형 모델로 깊이 정보가 포함된 인간 조작 영상을 생성한 뒤, 이를 바탕으로 로봇의 조작 행동을 생성합니다.

3. 실행 단계: 알고리즘이 로봇 조작 논리에 부합하는 동작을 산출하면, 로봇이 해당 조작 궤적을 실행합니다.

**LimX VGM** 워크플로의 기반에는 LimX Dynamics의 세 가지 핵심 임바디드 기술 혁신이 자리 잡고 있습니다. 인간 조작 영상과 로봇 조작 정책·행동 간 연결, 공간 지능 도입, 알고리즘과 로봇 본체의 디커플링입니다.

# **인간 조작 영상과 로봇 조작 정책·행동 간 연결**

**LimX VGM**은 자체 영상 생성 대형 모델을 개발하지 않고, 기존 대형 모델 프레임워크가 보유한 풍부한 지식과 인간을 뛰어넘는 지능을 활용합니다. 영상 생성 대형 모델은 본질적으로 영상·이미지·텍스트·합성 데이터 등 과거 데이터를 압축한 것입니다. 이 안에는 규모가 방대하고 내용도 풍부한 인간 조작 행동 데이터가 포함되어 있습니다. 효과적인 학습을 통해 **LimX VGM**은 조작 작업 수행에 유용한 핵심 정보를 추출하고, 이를 로봇 조작 정책과 행동으로 전환할 수 있습니다.

이러한 능력을 바탕으로 **LimX VGM**은 소량의 인간 조작 영상 데이터만 추가로 수집하면 로봇 조작에 활용할 수 있습니다. 전 과정에서 실기체 데이터가 전혀 필요하지 않아 데이터 수집이 간편하고 비용이 낮으며 효율적입니다. 대형 모델이라는 ‘지식 베이스’가 지속적으로 고도화됨에 따라 **LimX VGM**은 더욱 풍부하고 폭넓은 조작 지식을 확보하고, 더 효과적인 조작 정책을 생성해 알고리즘의 일반화 성능을 한층 높일 것입니다.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/14/1768360074717_image.png)

LimX VGM, 소량의 인간 조작 영상 데이터만 추가 수집

# **공간 지능 도입으로 2D 생성 영상의 한계 극복**

**LimX VGM**은 공간 지능(Spatial Intelligence) 모듈을 도입해 영상 생성 대형 모델을 후속 학습할 때 **깊이 정보**를 함께 적용합니다. 이를 통해 생성된 조작 영상에 3차원 공간 데이터가 직접 포함되며, 이는 로봇이 물리 공간에서 조작을 수행하는 데 핵심적인 요소입니다. **LimX VGM**은 뎁스 카메라로 사람 손의 실제 조작 과정을 촬영하기만 하면 깊이 정보를 간편하고 효율적으로 수집할 수 있습니다.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768303353145_image.png)

LimX VGM, 깊이 정보를 도입해 생성된 조작 영상에 3차원 공간 데이터 직접 포함

# **알고리즘과 로봇 본체의 디커플링으로 크로스 플랫폼 배포 가능**

**LimX VGM**의 전체 학습 과정은 인간 조작 영상에만 의존하며 로봇 본체는 전혀 사용하지 않습니다. 알고리즘을 실기체 배포할 때 간단한 적응 과정만 거치면 서로 다른 하드웨어 플랫폼에서 직접 조작을 실행할 수 있습니다. **LimX VGM**은 알고리즘과 액추에이터의 디커플링을 구현해, 알고리즘이 로봇 본체와 결합되어야만 기능할 수 있었던 한계를 근본적으로 해결했습니다.

이번 시연에는 KUKA, UR, DISCOVER Robotics 등 3개 브랜드의 로봇 팔이 사용되었으며, 각 로봇 팔은 구조, 파라미터, 성능 등에서 큰 차이가 있습니다. 시연 속 블록 쌓기와 같은 유사한 환경과 작업에서는 동일한 알고리즘을 세 로봇 팔 모두에 쉽고 빠르게 배포할 수 있으며, 일관된 조작 결과도 구현할 수 있습니다.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/09/10/1789030613910_image.png)

KUKA, UR, DISCOVER Robotics 3개 브랜드 로봇 팔의 파라미터 비교

**LimX VGM**은 로봇 본체와 디커플링되어 있어 새로운 로봇 하드웨어가 지속적으로 출시되더라도, 알고리즘을 대폭 수정하거나 데이터를 다시 수집할 필요 없이, 조작 능력의 장비 간 일반화 성능을 확보할 수 있습니다.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/14/1768360090709_image.png)

동일한 알고리즘을 세 로봇 팔 모두에 쉽고 빠르게 배포해 일관된 조작 결과 구현

# **데이터 기반 접근을 중심으로, 데이터 효율 향상에 주목**

데이터는 임바디드 인텔리젠스의 폭넓은 적용을 가로막는 가장 큰 장벽입니다. 실기체 또는 시뮬레이션 데이터 수집에 의존하면 품질이 높은 데이터를 확보할 수 있지만, 수집 효율이 낮고 비용이 많이 듭니다. 또한 고정된 환경, 제한적인 물체 종류, 큰 Sim2Real 격차, 로봇 본체와의 높은 결합도 등 여러 과제를 해결해야 합니다. 따라서 임바디드 인텔리젠스를 구현하려면 유효한 데이터를 수집하는 방법을 찾는 것뿐만 아니라 데이터 활용률도 중요하게 고려해야 합니다.

• 데이터 규모를 늘려 일반화 성능을 향상시키는 것은 업계의 공통된 인식입니다. LimX Dynamics는 한 걸음 더 나아가 단순한 데이터 규모나 품질만을 추구하지 않고 데이터 비용 대비 조작 성능 전환율 향상에 집중하여 **‘데이터-성능 ROI’라는** 평가 방법을 창의적으로 제안했습니다. **‘데이터-성능 ROI‘** 향상은 임바디드 조작 대형 모델 알고리즘의 선도성을 평가하는 핵심 기준입니다.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/14/1768360126980_image.png)

LimX Dynamics, ‘데이터-성능 ROI‘에 중점

• 영상 생성 대형 모델 자체는 방대한 인간 조작 데이터를 압축하고 물리 지식을 저장·확장한 결과입니다. **LimX VGM**이 영상 데이터를 로봇 조작에 적용할 수 있다는 것은 매우 낮은 비용으로 방대한 조작 데이터와 최고 수준의 조작 의사결정 능력을 확보하는 것과 같습니다.

• 생성된 영상에는 깊이 정보가 포함되어 있어 3차원 물리 공간에서 직접 활용할 수 있습니다. 공간 지능을 도입하면 데이터를 더 쉽게 확보할 수 있을 뿐만 아니라 조작 자유도(DoF)도 한층 넓어집니다.

• **LimX VGM**은 3차원 공간에서 이뤄지는 인간 조작을 로봇 조작으로 추상화하는 방식을 선도적으로 구현해, 알고리즘이 활용할 수 있는 데이터를 기존 로봇 조작 데이터에서 인간 조작 데이터까지 확대했습니다.

**LimX Dynamics는 임바디드 인텔리젠스 분야에서 데이터-성능 ROI를 높일 수 있는 새로운 접근법을 제시했습니다.**

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768303597199_image.png)

프롬프트 ‘테이블을 정리해 줘’ 입력 후 생성된 영상과 실기체 조작

**LimX VGM**은 LimX Dynamics가 임바디드 조작의 현장 적용을 모색하는 새로운 출발점이자 중요한 단계입니다. LimX Dynamics는 데이터 기반 접근을 핵심으로 삼아 **LimX VGM**의 역량을 지속적으로 고도화할 것입니다. 또한 알고리즘이 Cosmos 등 더 많은 첨단 영상 대형 모델과 호환되도록 하고, 추론 효율을 개선해 실시간 영상 생성을 단계적으로 구현할 계획입니다. 아울러 공간 지능 모듈의 성능을 더욱 최적화하여 조작 실행의 정밀도를 향상시킬 것입니다.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/14/1768360146306_image.png)

LimX VGM, 저비용으로 로봇 조작 일반화 구현

LimX Dynamics는 영상 생성 모델 기업, 시스템 통합업체 및 혁신가들과 긴밀히 협력해 이 기술 솔루션이 산업 현장에서 실제로 활용·도입될 수 있도록 함께 노력하기를 기대합니다.