# CoRL 2025 논문 2편 채택①｜영상만 보고 조작을 배우는 로봇

> Source: https://www.limxdynamics.com/ko/news/BK000085
> Published: 2025-09-29
> Updated: 2026-09-09
> Tags: 보도자료

**로봇도 우리처럼 영상을 보는 것만으로 다양한 조작 기술을 배울 수 있다면**—예를 들어 틱톡의 옷 개기 영상을 보고 옷가지 정리를 배우고, Bilibili의 수납 튜토리얼을 보고 물건 정리를 배운다면—과연 어떤 모습일까요?

SF 영화 속 이야기처럼 들리시나요? 하지만 이번 달 발표된 **CoRL 2025** 논문 채택 목록에 포함된 남방과학기술대학교 CLEAR Lab, LimX Dynamics, 홍콩대학교의 공동 연구는 이러한 구상을 현실로 만들어가고 있습니다.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/09/09/1788947962087_image.png)![](file:////Users/limx/Library/Containers/com.kingsoft.wpsoffice.mac/Data/tmp/wps-limx/ksohtml//wps1.jpg)

논문 채택 링크: https://www.corl.org/program

Conference on Robot Learning(CoRL)은 평범한 학술대회가 아닙니다. 로봇 학습 분야 최고 권위의 학술대회로서 2017년 창설된 이래 CoRL은 줄곧 로봇 학습의 최첨단 기술을 이끌어왔습니다. **올해 CoRL 2025는 조작 및 모방학습, 인식, 계획 및 안전, 운동 제어, 휴머노이드 및 하드웨어 등 주요 연구 주제를 다루며** 경쟁이 매우 치열했습니다.

이처럼 치열한 경쟁 속에서 남방과학기술대학교 CLEAR Lab, LimX Dynamics, 홍콩대학교의 공동 논문 《Generative Visual Foresight Meets Task-Agnostic Pose Estimation in Robotic Table-top Manipulation》이 채택되었습니다. 이 논문은 **로봇이 영상을 바탕으로 작업 과정을 예측하고 스스로 조작을 학습하는** 새로운 훈련 방식을 제안합니다. 이는 LimX Dynamics가 영상 데이터를 활용한 임바디드 인텔리젠스 훈련에서 이뤄낸 또 하나의 돌파구로, 로봇의 자율 조작 능력 발전을 가속할 것으로 기대됩니다.

 ![image.png](https://oss.limxdynamics.com/uploads/image/2026/09/09/1788947975332_image.png)

[그림: 인간을 관찰하여 학습하는 로봇]

# **▍GVF-TAPE: 로봇이 먼저 영상을 '이해한 뒤' 조작하는 새로운 패러다임**

임바디드 인텔리젠스 학습의 데이터 피라미드에서 **영상 데이터가 가장 큰 변수입니다**. 왜 그럴까요? 인터넷에는 요리와 DIY부터 산업 조립과 일상적인 집안일까지, 사람이 직접 작업하는 모습을 담은 영상이 방대하게 축적되어 있기 때문입니다. 이러한 영상은 모두 로봇에게 귀중한 '학습 자료'가 될 수 있습니다.

문제는 어떻게 해야 로봇이 이러한 영상을 실제로 '이해하고' 자신의 기술로 전환할 수 있을까요?

기존 방식은 로봇에게 **단순 암기**를 시키는 것과 같았습니다. 엔지니어가 작업과 환경에 맞춰 직접 시연하고 각 동작의 정확한 파라미터까지 지정해야 했습니다. 이러한 방식은 **많은 인력과 시간이 필요하고, 환경 변화에 대응할 수 없어 배포 및 일반화 효율이 크게 떨어집니다**.

논문에서 소개된 GVF-TAPE(Generative Visual Foresight with Task-Agnostic Pose Estimation)는 **생성형 시각 예측과 특정 작업에 구애받지 않는 포즈 추정을 결합한 알고리즘입니다**. 쉽게 말해 **로봇이 영상을 보고 조작을 배워 인간처럼 머릿속에서 작업 수행의 전 과정을 먼저 '리허설'하는 방식입니다**:

1. **먼저 영상으로 학습:** 로봇이 유사한 조작 영상을 '보면서' 조작 동작을 학습합니다

2. **작업 완료 화면**을 정확히 예측: 영상 생성 모델이 로봇이 작업을 완료하는 과정을 RGB-D 영상으로 예측합니다. 이 영상에는 색상 정보는 물론 더 중요한 깊이 정보까지 포함되어 있습니다.

3. **상상한 화면을 바탕으로 동작 추론**: 생성된 영상에서 엔드 이펙터의 포즈 정보를 추출합니다

4. **마지막으로 실제 조작 실행**: 저수준 제어기를 통해 포즈를 실행 가능한 운동 명령으로 전환합니다

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768295629511_image.png)

[그림. 방법론 개요도]

# **▍로봇의 조작 학습을 가속하는 세 가지 혁신**

**혁신 1: 뎁스 카메라 없이 RGB-D 영상 생성**

기존 방식은 공간 정보가 없는 2D RGB 영상만 생성하므로 로봇이 3차원 공간에서 정밀하게 조작을 수행할 수 없었습니다. 반면 GVF-TAPE의 혁신점은 **RGB 이미지에만 의존해 RGB-D 영상을 생성할 수 있다는 것입니다**. 색상 정보와 깊이 정보를 모두 갖추고 있어 **공간 정보를 부여하기 위한 별도의 뎁스 카메라가 필요하지 않습니다**.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768295677091_image.png)

[그림. 생성된 RGB-D 조작 영상. 첫 번째 줄은 RGB 이미지, 두 번째 줄은 해당 깊이 맵.]

이는 로봇에게 '입체 시각'을 장착해 준 것과 같아 3차원 공간 내 물체의 위치를 더욱 정확하게 판단할 수 있게 합니다. 시뮬레이션 실험에서는 깊이 정보를 추가한 결과, **작업 성공률이 평균 6.78% 향상되었습니다**. 더욱 중요한 것은 **뎁스 카메라가 필요하지 않아 데이터 수집 장비의 요구 사양이 낮아지고, 비용은 절감되며 효율은 크게 향상된다는 점입니다**.

**혁신 2: 특정 작업에 구애받지 않는 로봇 포즈 예측**

특히 눈길을 끄는 것은 GVF-TAPE의 훈련 방식입니다. 기존의 일일이 직접 시연하는 방식과 달리 '로봇 무작위 탐색' 훈련 방식을 사용합니다. 로봇이 주변 환경에서 자유롭게 움직이는 것만으로도 다양한 환경에 적용할 수 있는 데이터를 수집합니다.

로봇이 환경 속에서 자유롭게 움직이며 **내장된 고유수용감각(proprioception) 시스템을 통해 현재 환경에서 로봇의 포즈(위치와 자세)를 기록합니다**. 언뜻 무질서해 보이는 이러한 동작은 실제로는 방대한 '환경-포즈' 대응 관계 데이터베이스를 구축하는 과정입니다. 이를 통해 알고리즘은 환경 변화에 강인해지고, 어떤 환경에서도 로봇의 포즈를 인식할 수 있습니다.

이 방식의 뛰어난 점은 다음과 같습니다:

• 동작과 작업이 완전히 분리되어 동일한 데이터를 여러 작업을 학습하는 데 재사용할 수 있으므로 데이터 재사용률이 향상됨

• 데이터 수집의 완전 자동화로 별도의 수동 라벨링이 필요 없어 인건비를 절감하고 데이터베이스의 축적과 반복 개선 속도를 높임

• 뛰어난 확장성으로 데이터베이스가 커질수록 일반화 능력이 향상되고, 더 많은 작업에서 더욱 안정적인 성능을 발휘함

이러한 자율 탐색 방식을 통해 로봇은 풍부한 포즈 데이터베이스를 구축했습니다. 새로운 환경이나 작업을 마주하면 로봇은 기존에 축적한 데이터를 활용합니다. 이를 바탕으로 환경 노이즈를 빠르게 걸러 내고 최적의 제어 궤적을 생성합니다. 그 결과, **'한 번의 훈련으로 여러 작업과 환경에 적용’할 수 있습니다.**

**혁신 3: 실시간 응답이 가능한 영상 생성 속도**

기존 확산 모델(Diffusion Model) 기반의 영상 생성 방식은 필름 카메라의 인화 과정처럼 현상, 정착 등 여러 단계를 거쳐야 선명한 사진을 얻을 수 있었습니다. 때문에 단일 동작 영상을 생성하는 데 수초에서 십여 초가 걸렸습니다.

하지만 GVF-TAPE는 '플로우 매칭(Flow Matching)' 기술을 적용했습니다. 이는 디지털카메라처럼 촬영 직후 결과물을 얻는 방식에 비유할 수 있습니다. 확산 모델과 플로우 매칭은 모두 노이즈를 제거해 선명한 이미지를 생성하지만, 플로우 매칭은 더 적은 단계로도 같거나 더 나은 결과를 낼 수 있습니다. 그 결과, 단일 동작의 예측 시간은 0.6초로 단축되었습니다.

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768295725138_image.png)

[그림. 생성 품질 비교]

그림에서 볼 수 있듯이 왼쪽 그래프는 영상 생성 오차를 나타냅니다. **동일한 스텝 수에서 플로우 매칭(빨간색 선)의 오차 값이 확산 모델(파란색 선)보다 현저히 낮습니다**. 오른쪽 그래프는 생성된 영상의 화질을 보여주는데, **플로우 매칭은 단 3스텝만으로 확산 모델을 크게 뛰어넘는 품질을 달성했습니다**. 이러한 속도 향상을 통해 로봇은 다양한 환경에서 빠르고 정확하게 조작을 수행할 수 있게 되었으며, 실시간 폐루프(closed-loop) 제어를 구현했습니다.

**▍실험 검증: 향상된 효율성과 성공률**

연구진은 '먼저 예측한 뒤 조작하는' 방식의 유효성을 검증하기 위해 시뮬레이션 환경과 실제 환경 모두에서 광범위한 테스트를 했습니다.

LIBERO 벤치마크에서 GVF-TAPE는 여러 최첨단 기법과 비교되었습니다. 결과는 다음과 같습니다:

![](file:////Users/limx/Library/Containers/com.kingsoft.wpsoffice.mac/Data/tmp/wps-limx/ksohtml//wps6.jpg)

![image.png](https://oss.limxdynamics.com/uploads/image/2026/09/09/1788948031202_image.png)

[그림. 시뮬레이션 실험 결과]

• LIBERO-Spatial 및 LIBERO-Object 테스트에서 GVF-TAPE는 각각 95.5%와 86.7%의 높은 성공률을 기록했습니다

• 전체 평균 성공률은 83%에 달해 차순위 기법보다 11.56% 높았습니다

• 무엇보다 중요한 점은 다른 방법에는 20%의 동작 라벨링 데이터가 필요하지만, GVF-TAPE는 이러한 데이터가 전혀 필요하지 않다는 것입니다

**실기체 배포 검증**

실제 환경에서 연구진은 강체, 유연체, 관절형 물체 조작을 포함한 **난이도가 다른 7가지 작업에 대한 테스트를 진행했습니다**. 그릇을 전자레인지에 넣고 문 닫기, 휴지 집기, 옷 개기, 걸레를 쓰레기통에 던져 넣기 등이 포함되었습니다.

단순 파지부터 복잡한 개폐 동작까지, 강체부터 유연체까지, **GVF-TAPE는 다양한 환경과 조작 조건의 변화에도 강한 적응성을 보였습니다**. 특히 인간 조작 영상으로 사전학습한 결과, **성공률이 56%에서 86%로 급증했습니다**.

# **▍생성 영상 데이터 기반 자율 조작 연구의 고도화**

이번 연구의 참여 기관 중 하나인 LimX Dynamics는 다양한 모달리티와 출처의 데이터를 통합하여 로봇이 더욱 효율적으로 조작 기술을 배울 수 있도록 **'다중 소스 데이터 레시피' 전략**을 지속적으로 탐구해 왔습니다. 영상 데이터 기반의 로봇 훈련 분야에서 여러 기술적 성과를 거두었습니다.

올해 초 LimX Dynamics가 선보인 LimX VGM(VideoGenMotion) 알고리즘은 인간의 조작 영상을 로봇의 실제 조작으로 전환하는 데 최초로 성공했습니다. 이번 GVF-TAPE는 이러한 기술 스택을 한 단계 더 고도화했습니다:

• 분 단위의 지연 시간을 1초 미만의 응답 시간으로 단축하여 실시간 영상 생성을 구현

• 뎁스 카메라 의존에서 벗어나 순수 시각 기반 생성으로 공간 인식 능력을 강화

• 인간 시연 대신 로봇 자체 무작위 탐색을 적용하여 데이터 수집 비용의 대폭 절감

이러한 지속적인 기술 고도화는 영상 데이터를 로봇 학습의 '범용 교재'로 만들고 있으며, 임바디드 인텔리젠스를 더 실용적이고 효율적인 방향으로 발전시키고 있습니다.

공장의 로봇이 수많은 조작 영상을 학습한 뒤 빠르게 현장에 투입될 수 있습니다. 가정용 서비스 로봇은 인터넷 튜토리얼 영상을 참고해 새로운 기술을 익힐 수 있습니다. 병원의 수술 로봇은 수술 영상을 학습해 조작 능력을 계속 높일 수 있습니다. 이러한 미래의 모습을 상상해 보세요.

로봇이 영상을 통해 스스로 학습하는 이 기술이야말로 임바디드 인텔리젠스가 대규모 실용화로 나아가는 핵심 단계일 수 있습니다.

**영상만 보고도 일을 배워 스스로 해내는 로봇 도우미라면 누구나 곁에 두고 싶지 않을까요?**