# CoRL 2025 ダブル収録①｜ロボットが動画を視聴するだけで操作を習得

> Source: https://www.limxdynamics.com/ja/news/BK000113
> Published: 2025-09-29
> Updated: 2026-09-10
> Tags: 報道

記事出典：RoboSpeak

**もしロボットも私たちと同じように、動画を視聴するだけで様々な操作スキルを習得できるとしたら**——例えば、TikTokの服の畳み方動画から衣類の整理を学び、Bilibiliの収納チュートリアルから物の片付けを学ぶ――そんな光景はどのようなものになるでしょうか？

SFのようだとお思いでしょうか？しかし、今月発表された**CoRL 2025**の採択論文リストには、南方科技大学CLEAR Lab、LimX Dynamics、香港大学の共同研究による論文が掲載されており、この構想を現実のものにしようとしています。

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768295533188_image.png)

掲載URL：https://www.corl.org/program

Conference on Robot Learning (CoRL)は、単なる学術会議ではありません。ロボット学習分野におけるトップクラスの学術会議として、2017年の創設以来、CoRLは常にロボット学習の技術の最先端をリードしてきました。**今年のCoRL 2025では、操作と模倣学習、知覚、計画と安全性、運動制御、ヒューマノイドとハードウェアといった注目の核心テーマに焦点を当てており**、その競争の激しさは想像に難くありません。

こうした背景のもと、南方科技大学CLEAR LabがLimX Dynamicsおよび香港大学と共同で発表した論文『Generative Visual Foresight Meets Task-Agnostic Pose Estimation in Robotic Table-top Manipulation』が採択されたのは、この論文が独創的なロボット訓練パラダイムを提案したためである。それは、**ロボットに動画を通じてタスクの実行過程を予測させ、それによって自律的な操作を習得させる**というものです。これは、LimX Dynamicsによる動画データを活用したエンボディドAIトレーニングにおける新たなブレークスルーでもあり、ロボットの自律操作能力の発展を加速させることが期待されます。

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768295567574_image.png)

[図：人間を観察して学習するロボット]

# **▍GVF-TAPE：ロボットにまず「理解」させ、それから操作させる新たなパラダイム**

エンボディドAIのトレーニングにおけるデータピラミッドにおいて、**動画データは最大の変数です**。なぜそう言えるのでしょうか？インターネット上には料理のチュートリアルからDIY、工業用組み立てから日常の家事に至るまで、膨大な量の人間による操作動画が存在しており、これらの動画は本質的に貴重な「教育リソース」だからです。

問題は、どうすればロボットにこれらの動画を真に「理解」させ、自身のスキルへと変換させることができるかということです。

従来の手法は、ロボットに**丸暗記**をさせるようなものでした。エンジニアが特定のシーンや特定の操作タスクに対して手取り足取り指導を行い、各動作の正確なパラメータをロボットに教える必要がありました。この方法では**人件費や時間コストが高くつき、環境の変化にも対応できないため、導入や汎化の効率が低下してしまいます**。

論文で紹介されているGVF-TAPE（Generative Visual Foresight with Task-Agnostic Pose Estimation）アルゴリズムの**核心的なイノベーションは、生成型視覚予測とタスクから切り離された姿勢予測を組み合わせたことにあります**。簡単に言えば、**ロボットに動画を見て操作を学習させ、人間のようにまず頭の中でタスクを完了するまでの全プロセスを「リハーサル」させる**ということです。

1. **まず動画から学習。**ロボットは同種の操作動画を「見て」、操作動作を学習します

2. **タスク完了時の映像**を正確に予測。動画生成モデルにより、自身がタスクを完了した際のRGB-D動画を予測します。これにはカラー情報だけでなく、より重要な深度情報も含まれます。

3. **イメージした映像に基づいて動作を推論。**生成された動画からエンドエフェクタの姿勢情報を抽出します

4. **最後に具体的な操作を実行。**ローレベルコントローラーを介して姿勢を実行可能な運動指令に変換します

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768295629511_image.png)

[図、手法のブロック図概要]

# **▍ロボットの操作習得を加速させる3つのブレイクスルー**

**ブレイクスルー1：深度カメラなしでRGB-D動画を生成**

従来の方法では、空間情報を含まない2D RGB動画しか生成できず、ロボットは3次元空間で正確に操作を実行できませんでした。一方、GVF-TAPEのブレークスルーは、**RGB画像のみを用いてRGB-D動画を生成できる点にあります**。カラー情報と深度情報の両方が含まれており、**空間情報を埋め込むために追加の深度カメラを使用する必要がありません。**

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768295677091_image.png)

[図：生成されたRGB-D操作動画。1行目はRGB画像、2行目は対応する深度画像を表す。]

これは、ロボットに「立体視」を装備したようなもので、3次元空間における物体の位置をより正確に判断できるようになります。シミュレーション実験では、深度情報を追加した結果**タスクの成功率が平均6.78%向上しました**。さらに重要なのは、**深度カメラが不要になったことで、データ収集ツールへの要件がさらに緩和され、コスト削減と同時に効率も大幅に向上したことです**。

**ブレイクスルー2：具体的なタスクから切り離されたロボットの姿勢予測**

特に注目すべきは、GVF-TAPEの学習手法です。従来の手取り足取りのティーチングとは異なり、「ロボットのランダム探索」という学習モードを採用しており、ロボットがランダムに動作するだけで、シーンへの汎化に有用なデータを取得できます。

ロボットは環境内を自由に動き、**内蔵された固有感覚システムを利用して、その場のシーンにおけるロボットのポーズ（位置と姿勢）を記録します。**一見無秩序に見えるこれらの動作は、実際には膨大な「シーン-位置・姿勢」対応関係データベースを構築しており、アルゴリズムにシーンに対する「免疫」を持たせ、どのようなシーンでもロボットの位置・姿勢を認識できるようにします。

この手法の巧妙な点は以下の通りです。

•動作とタスクが完全に分離されており、同一のデータを用いて様々な異なるタスクの学習が可能となり、データの再利用率が向上します

•データ収集が完全に自動化されており、手動によるアノテーションが一切不要なため、人件費を大幅に削減できるほか、データベースの蓄積と反復の速度も加速します

•拡張性が極めて高く、データベースが大きくなるほど汎化能力が高まり、モデルはより多くのタスクにおいて堅牢な性能を発揮します

この自律的な探索方法を通じて、ロボットは豊富な位置・姿勢データベースを構築しました。新しいシーンやタスクに直面した際、関連する経験を呼び出し、シーンのノイズを迅速に排除して最適な制御軌道を生成することができ、**「一度の学習で、多タスク・多シーンへの応用」**を真に実現しています。

**ブレイクスルー3：リアルタイム応答を実現する動画生成速度**

従来の拡散モデル（Diffusion Model）に基づく動画生成手法は、まるで従来のフィルムカメラの現像プロセス——現像、定着など複数の工程を経て初めて鮮明な写真が得られる——のように、動作動画を生成するのに数秒から十数秒を要することが多かったです。

一方、GVF-TAPEは「フローマッチング（Flow Matching）」技術を採用しており、デジタルカメラの即時撮影のような感覚を実現しています。どちらもノイズ除去によって鮮明な画像を生成しますが、Flow Matchingはより少ないステップで同等以上の効果を達成し、単一動作の予測時間を0.6秒にまで短縮しています。

![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768295725138_image.png)

[図、生成クオリティの比較]

図からわかるように、左側のグラフは動画生成の誤差を示しており、**フローマッチング（赤線）は同じステップ数において、誤差が拡散モデル（青線）よりも大幅に小さくなっています**。右側のグラフは生成された動画の画質を示しており、**フローマッチングはわずか最初の3ステップで拡散モデルを大きく上回るクオリティを達成しています**。この速度の向上により、ロボットはさまざまなシーンにおいて迅速かつ正確に操作を実行できるようになり、リアルタイムなクローズドループ制御を真に実現しました。

**▍実験による検証：より高い効率と成功率**

この「予測してから操作する」手法の有効性を検証するため、研究チームはシミュレーションと実環境の両方で膨大なテストを実施しました。

LIBEROベンチマークテストにおいて、GVF-TAPEは複数の最先端手法と比較されました。結果は以下の通りです。 ![](file:////Users/limx/Library/Containers/com.kingsoft.wpsoffice.mac/Data/tmp/wps-limx/ksohtml//wps42.jpg) ![image.png](https://oss.limxdynamics.com/uploads/image/2026/01/13/1768295752211_image.png)

[図、シミュレーション実験結果]

•LIBERO-SpatialおよびLIBERO-Objectテストにおいて、GVF-TAPEはそれぞれ95.5%および86.7%の成功率を達成しました

•全体的な平均成功率は83%に達し、2位の手法を11.56%上回りました

•最も重要な点は、他の手法はいずれも20％の動作ラベル付きデータを必要とするのに対し、GVF-TAPEは全く必要としないことです

**実機展開による検証**

実環境において、研究チームは剛体、柔体、関節付き物体の操作など、**難易度の異なる7つのタスクをテストした**。具体的には、ボウルを電子レンジに入れてドアを閉める、ティッシュを掴む、衣類を畳む、雑巾をゴミ箱に捨てるなどが含まれます。

単純なピッキングから複雑な開閉動作、剛体から柔軟物体に至るまで、**GVF-TAPEはさまざまなシーンや操作の変化に対して高い適応力を示しました**。特に特筆すべきは、人間の操作動画を導入して事前学習を行った後、**成功率が56%から86%へと急上昇した点です**。

# **▍生成動画データに基づく自律操作の探求がさらに進化**

本成果の研究チームの一員であるLimX Dynamicsは、異なったモダリティやソースのデータを統合することでロボットにより効率よく操作スキルを習得させる**「マルチデータレシピ」戦略**を継続的に追求してきました。動画データを活用したロボット訓練という分野において、同社は数多くのブレークスルーを達成しています。

今年初め、LimX DynamicsはLimX VGM（VideoGenMotion）アルゴリズムを発表し、人間の操作動画をロボット操作へと変換することを初めて実現しました。今回のGVF-TAPEは、この技術スタックをさらに最適化しました。

•数分単位の遅延からサブセカンドレベルの応答へ、リアルタイム動画生成を実現

•深度カメラへの依存から純粋な視覚生成へ移行し、空間認識能力を強化

•人間のティーチングに代わるロボット本体のランダム探索により、データ収集コストを大幅に削減

こうした継続的な技術の進化により、動画データはロボット学習の「汎用教材」となりつつあり、エンボディドAIをより実用的かつ効率的な方向へと推進しています。

未来のシーンを想像してみてください。工場内のロボットは、大量の操作動画を学習するだけで迅速に稼働を開始し、家庭用のサービスロボットは、ネット上のチュートリアル動画を参考に新しいスキルを絶えず習得し、病院の手術用ロボットは、手術映像を観察することで操作レベルを継続的に向上させていくのです。

ロボットに動画を通じて学習させるこの能力こそが、おそらく、エンボディドAIが真に大規模な応用へと進むための重要な一歩となるでしょう。

**何しろ、動画を見るだけで仕事を覚えられるロボットアシスタントが身近にいれば、誰だって嬉しいのではないでしょうか？**