FluxVLA FAQ

全体機能

FluxVLA は、LimX Dynamics がオープンソースで公開している標準化されたエンボディドAI大規模モデルのエンジニアリング基盤です。データ処理、モデル学習、シミュレーション評価、実機デプロイまでの一連のエンジニアリングループをカバーします。「統一された設定、標準化されたインターフェース、モジュールの疎結合、デプロイ可能性」という4つの設計原則に基づき、すべての実験を1つの設定ファイルで管理できるため、VLA研究と再現のエンジニアリング上のハードルを大幅に下げます。技術レポートは arXiv(2609.17210)で公開されており、コード、モデル重み、学習データはすべてオープンソース化されています。

FluxVLA は、Pi0、Pi0.5、GR00T N1.5 / N1.7、SmolVLA、OpenVLA、LlavaVLA、DreamZero、DiT4DiT(Cosmos-Predict2.5 ベース)、Cosmos3(Nano / Super / Edge)、FastWAM(uncond / Joint / IDM の3つのバリアントを含む)など、現在主流のオープンソース VLA とワールドモデルを FluxVLA-native 形式で統合しています。すべてのモデルには統一インターフェースの学習・評価設定が用意されており、LLM バックボーン(Llama / Gemma / Qwen ファミリー)、視覚バックボーン(DINOv2 / SigLIP)、VLM バックボーン(PaliGemma / Qwen-VL)のモジュール単位での差し替えにも対応しています。

代表的な機能は以下の5つです。 ① クローズドソース大規模モデル評価 — OpenAI Responses API を利用し、checkpoint なしで GPT-6 Astra を LIBERO と RoboCasa のシミュレーション評価に接続できます(マルチビュー観測に対応)。 ② 大規模並列評価 — RoboDojo などのベンチマークに対応する FluxThemis ZMQ マルチ GPU 並列評価サービスを提供します。 ③ 新モデルへの迅速な追随 — GR00T N1.7、DiT4DiT、Cosmos3、FastWAM などの新モデルをネイティブ対応済みで、シミュレーションと Franka 実機の両方をカバーします。 ④ 完整な学習レシピ — 8つのモデル向けに RoboCasa 全データ学習レシピを提供し、対応する checkpoint も公開しています。 ⑤ ヒューマノイドロボットの全身制御 — Oli ヒューマノイドの loco-manipulation 推論、MROS ロボットハンドの指ごとの制御、設定可能な推論モードに対応しています。 各バージョンの詳細な更新履歴は GitHub CHANGELOG を参照してください。

学習と評価

現在、LIBERO、RoboCasa GR1、RoboDojo の3つの主要なシミュレーションベンチマークに対応しており、公式に再現されたベンチマーク結果とオープンソース checkpoint を提供しています。LIBERO では、FluxVLA(DiT4DiT) が平均成功率 98.65、FluxVLA(Pi0.5) が 97.95 を達成しています。RoboCasa GR1 の全データ設定では、FluxVLA(DiT4DiT) が平均成功率 57.25%(各タスク50試行)でトップの結果を示しています。RoboDojo は42のベンチマークタスクをカバーし、各モデルにつき2,100回の試行を行い、進捗スコア / 成功率の2指標で結果を報告しています。すべての結果は README の性能表で確認でき、対応する checkpoint は Hugging Face で公開されています。

FluxVLA は OpenAI Responses API を通じて、GPT-6 Astra を checkpoint なしでシミュレーション評価に接続できます。評価スクリプトが API ポリシーを直接呼び出し、マルチビュー観測入力と LIBERO ネイティブのアクション制御に対応します。API 認証情報は環境変数で設定し、rollout の成果物は自動的に整理・保存されます。この機能は LIBERO の全スイートと RoboCasa GR1 をカバーしており、クローズドソース大規模モデルの具身タスクにおけるゼロショット性能を迅速に評価できます。

FluxVLA は LeRobot Dataset 形式を標準として使用します(v2.1 を推奨、SARM ワークフローは v3.x にも対応)。Parquet データセットの読み込みに対応しています。自前で収集したデータ(例:ALOHA ロボットで収集した HDF5 ファイル)は、ドキュメントのデータ変換ガイドに従って LeRobot 形式へ変換すれば直接使用できます。注意点として、複数データセットを混合して学習する場合は、すべてのデータを LeRobot v2.1 形式に統一してください。そうしないと features が整合せずエラーが発生します。形式の一貫性を保証するため、LeRobot の特定 commit を固定して使用することを推奨します。

可能です。LIBERO と RoboCasa はデフォルトではレンダリングにレイトレーシングを使用しますが、FluxVLA はレイトレーシング非対応デバイスでも EGL による GPU レンダリングで評価を実行できます。ワンコマンドインストーラー(sim-only / full モード)は MuJoCo EGL 環境を自動検出し、必要なシステム依存関係とアクティベーションフックを設定します。ドキュメント FAQ に従って手動で EGL を設定することもできます。

デプロイと推論

検証済みの実機デプロイ経路には、Franka ロボットアーム(単腕 / 双腕、関節制御とエンドエフェクタ姿勢制御に対応)、UR3、AgileX ALOHA 双腕、LimX Dynamics Tron2 ヒューマノイドロボット、Oli ヒューマノイドの全身(loco-manipulation)推論経路が含まれます。Oli では、センサー入力、WebSocket 制御、MROS ロボットハンドの指ごとの制御、キーボードによる一時停止 / 連続推論モードに対応しています。各プラットフォームのデプロイガイドと設定例は docs ディレクトリを参照してください。

FluxVLA は多層的な推論高速化を提供しています。 ① GR00T-RTC 高速化推論は RTX 5090 上で 45 Hz に達します。 ② Pi0.5-RTC は Triton バックエンドに対応し、Triton 融合カーネル、CUDA Graph キャプチャ、CUDA カスタム演算子を含みます。 ③ エッジ側では NVIDIA Jetson Orin へのデプロイに対応しており(公式 Docker イメージを提供)、GR00T-N1.5 はデバイス上で 7.4 Hz の推論速度を達成します。 ④ RTC(Real-Time Chunking)により、chunk 間の軌跡連続性を改善できます。 詳細な設定は推論高速化ドキュメントを参照してください。

FluxVLA は ZMQ ベースのリモート推論フレームワーク(server / client アーキテクチャ)を提供しており、モデル推論をリモート GPU にオフロードできます。エッジデバイス側はセンサーデータの送信とアクション実行のみを担当します。最近追加された FluxThemis ZMQ 評価サービスは、マルチ GPU レプリカ、episode アフィニティスケジューリング、設定可能な並列 worker 起動に対応しており、大規模並列評価やマルチマシンデプロイに適しています。

インストールとコミュニティ

よくある問題は主に3つです。 ① transformers のバージョン — FluxVLA は requirements.txt 内で transformers を固定していないため、手動インストールが必要です。Pi0 / GR00T / SmolVLA などには 4.53.0、OpenVLA には 4.40.1、Tron2 デプロイには 4.53.2 を推奨します。複数モデルを併用する場合は Conda 環境を分けることを推奨します。 ② NumPy のバージョンが上書きされる — インストール完了後に pip install numpy==1.26.4 で固定してください。 ③ egl\_probe のビルド失敗 — 先に CMake をインストールしてください(pip ではなく conda を使用)。CMake のバージョンが新しすぎる場合は CMAKE_POLICY_VERSION_MINIMUM=3.5 を設定します。その他の問題はドキュメント FAQ と README の FAQ セクションを参照してください。

ダウンロードコマンドを実行する前に、hf-mirror ミラーを使用する環境変数を設定してください:export HF_ENDPOINT="https://hf-mirror.com"。ワンコマンドインストーラーと RoboCasa リソースダウンロードスクリプトはいずれも、このミラーエンドポイントをデフォルトでサポートしています。

FluxVLA の学習・評価スクリプトは torchrun で分散タスクを起動するため、VSCode のデフォルトデバッグ方式とは互換性がありません。ドキュメント FAQ には、torchrun をデバッグ入口として使用する完全な .vscode/launch.json 設定テンプレートが用意されており、ブレークポイントデバッグを実現できます(デバッグ時は nproc_per_node を 1 に設定し、wandb アップロードを無効化することを推奨します)。二次開発を行う場合は、まずコントリビューションガイドを読んでください。新機能 / 新モデルは GitHub Issue を作成して設計をすり合わせ、upstream/main からブランチを切り、feat/、fix/ などのプレフィックスを使用してください。提出前に pre-commit と CI が通過していることを確認してください。

以下の3つのチャネルがあります。 ① プロジェクトドキュメントサイト(fluxvla.limxdynamics.com)右上の OpenClaw インテリジェントアシスタントに直接質問できます。収集された質問はドキュメント改善に活用されます。 ② GitHub Issues(バグ報告と機能リクエスト専用のテンプレートあり)。 ③ 公式メンテナーのメール:mason@limxdynamics.com。 中国語ユーザーは、README 上部に固定されている WeChat グループおよび Feishu グループの QR コードからディスカッションに参加できます。