FluxVLA는 LimX Dynamics가 오픈소스로 공개한 표준화된 임바디드 인텔리젠스 대규모 모델 엔지니어링 기반입니다. 데이터 처리, 모델 학습, 시뮬레이션 평가, 실제 로봇 배포까지 전체 엔지니어링 루프를 포괄합니다. 플랫폼은 “통합 설정, 표준화된 인터페이스, 모듈 분리, 배포 가능성”이라는 네 가지 핵심 설계 원칙을 기반으로 하며, 하나의 설정 파일로 모든 실험을 관리할 수 있어 VLA 연구와 재현에 필요한 엔지니어링 진입 장벽을 크게 낮춥니다. 기술 보고서는 arXiv(2609.17210)에 공개되어 있으며, 코드, 모델 가중치, 학습 데이터가 모두 오픈소스로 제공됩니다.
FluxVLA는 Pi0, Pi0.5, GR00T N1.5 / N1.7, SmolVLA, OpenVLA, LlavaVLA, DreamZero, DiT4DiT(Cosmos-Predict2.5 기반), Cosmos3(Nano / Super / Edge), FastWAM(uncond / Joint / IDM 세 가지 변형 포함) 등 현재 주류 오픈소스 VLA 및 월드 모델을 FluxVLA-native 방식으로 통합합니다. 모든 모델은 통합 인터페이스 기반의 학습 및 평가 설정을 제공하며, LLM 백본(Llama / Gemma / Qwen 계열), 비전 백본(DINOv2 / SigLIP), VLM 백본(PaliGemma / Qwen-VL)을 모듈 단위로 교체할 수 있습니다.
대표적인 기능은 다섯 가지입니다.
① 클로즈드소스 대규모 모델 평가 — OpenAI Responses API를 통해 checkpoint 없이 GPT-6 Astra를 LIBERO 및 RoboCasa 시뮬레이션 평가에 연결할 수 있으며, 멀티뷰 관측을 지원합니다.
② 대규모 병렬 평가 — RoboDojo 등 벤치마크를 지원하는 FluxThemis ZMQ 멀티 GPU 병렬 평가 서비스를 제공합니다.
③ 신규 모델 빠른 지원 — GR00T N1.7, DiT4DiT, Cosmos3, FastWAM 등 신규 모델을 네이티브로 지원하며, 시뮬레이션과 Franka 실제 로봇을 모두 커버합니다.
④ 완전한 학습 레시피 — 8개 모델에 대해 RoboCasa 전체 데이터 학습 레시피를 제공하고, 대응 checkpoint도 오픈소스로 공개합니다.
⑤ 휴머노이드 로봇 전신 제어 — Oli 휴머노이드의 loco-manipulation 추론, MROS 로봇 핸드의 손가락별 제어, 설정 가능한 추론 모드를 지원합니다.
각 버전의 상세 업데이트 기록은 GitHub CHANGELOG에서 확인할 수 있습니다.
학습 및 평가
현재 LIBERO, RoboCasa GR1, RoboDojo 세 가지 주요 시뮬레이션 벤치마크를 지원하며, 공식 재현 벤치마크 결과와 오픈소스 checkpoint를 제공합니다. LIBERO에서 FluxVLA(DiT4DiT)는 평균 성공률 98.65, FluxVLA(Pi0.5)는 97.95를 달성했습니다. RoboCasa GR1 전체 데이터 설정에서는 FluxVLA(DiT4DiT)가 평균 성공률 57.25%(작업당 50회 시도)로 가장 높은 성능을 보였습니다. RoboDojo는 42개 벤치마크 작업을 포함하며, 모델당 2,100회 시도를 수행하고 결과를 진행 점수 / 성공률 두 지표로 보고합니다. 모든 성능은 README의 성능 표에서 확인할 수 있으며, 대응 checkpoint는 Hugging Face에 공개되어 있습니다.
FluxVLA는 OpenAI Responses API를 통해 GPT-6 Astra를 checkpoint 없이 시뮬레이션 평가에 연결할 수 있습니다. 평가 스크립트가 API policy를 직접 호출하며, 멀티뷰 관측 입력과 LIBERO 네이티브 액션 제어를 지원합니다. API 인증 정보는 환경 변수로 설정하고, rollout 산출물은 자동으로 정리·보관됩니다. 이 기능은 LIBERO 전체 suite와 RoboCasa GR1을 커버하며, 클로즈드소스 대규모 모델의 임바디드 작업에서의 zero-shot 성능을 빠르게 평가하는 데 사용할 수 있습니다.
FluxVLA는 LeRobot Dataset 형식을 표준으로 사용합니다(v2.1 권장, SARM 워크플로는 v3.x도 지원). Parquet 데이터셋 로딩을 지원합니다. 자체 수집 데이터(예: ALOHA 로봇으로 수집한 HDF5 파일)는 문서의 데이터 변환 가이드에 따라 LeRobot 형식으로 변환한 뒤 바로 사용할 수 있습니다. 주의할 점은, 여러 데이터셋을 혼합 학습할 때 모든 데이터를 LeRobot v2.1 형식으로 맞춰야 한다는 것입니다. 그렇지 않으면 features가 정렬되지 않는 오류가 발생할 수 있습니다. 형식 일관성을 보장하기 위해 LeRobot의 특정 commit을 고정해 사용하는 것을 권장합니다.
가능합니다. LIBERO와 RoboCasa는 기본적으로 렌더링에 레이 트레이싱을 사용하지만, FluxVLA는 레이 트레이싱을 지원하지 않는 장비에서도 EGL을 통한 GPU 렌더링으로 평가를 수행할 수 있습니다. 원커맨드 설치 스크립트(sim-only / full 모드)는 MuJoCo EGL 환경을 자동으로 감지하고 필요한 시스템 의존성과 활성화 hook을 설정합니다. 문서 FAQ에 따라 EGL을 수동으로 설정할 수도 있습니다.
배포 및 추론
검증된 실제 로봇 배포 경로에는 Franka 로봇 암(단일 암 / 듀얼 암, 관절 및 엔드 이펙터 pose 제어 지원), UR3, AgileX ALOHA 듀얼 암, LimX Dynamics Tron2 휴머노이드 로봇, Oli 휴머노이드의 전신(loco-manipulation) 추론 경로가 포함됩니다. Oli에서는 센서 입력, WebSocket 제어, MROS 로봇 핸드의 손가락별 제어, 키보드 일시정지 / 연속 추론 모드를 지원합니다. 각 플랫폼의 배포 가이드와 예시 설정은 docs 디렉터리에서 확인할 수 있습니다.
FluxVLA는 다층적인 추론 가속 기능을 제공합니다.
① GR00T-RTC 가속 추론은 RTX 5090에서 45 Hz에 도달합니다.
② Pi0.5-RTC는 Triton 백엔드를 지원하며, Triton fused kernel, CUDA Graph capture, CUDA custom operator를 포함합니다.
③ 엣지 측에서는 NVIDIA Jetson Orin 배포를 지원하며(공식 Docker 이미지 제공), GR00T-N1.5는 온디바이스에서 7.4 Hz의 추론 속도를 달성합니다.
④ RTC(Real-Time Chunking)를 지원해 chunk 간 궤적 연속성을 개선합니다.
자세한 설정은 추론 가속 문서를 참고하세요.
FluxVLA는 ZMQ 기반 원격 추론 프레임워크(server / client 아키텍처)를 제공하여 모델 추론을 원격 GPU로 오프로드할 수 있습니다. 엣지 장비는 센서 데이터 전송과 액션 실행만 담당합니다. 최근 추가된 FluxThemis ZMQ 평가 서비스는 멀티 GPU replica, episode affinity scheduling, 설정 가능한 병렬 worker 시작을 지원해 대규모 병렬 평가와 멀티 머신 배포 환경에 적합합니다.
설치 및 커뮤니티
자주 발생하는 문제는 세 가지입니다.
① transformers 버전 — FluxVLA는 requirements.txt에서 transformers 버전을 고정하지 않으므로 수동 설치가 필요합니다. Pi0 / GR00T / SmolVLA 등은 4.53.0, OpenVLA는 4.40.1, Tron2 배포는 4.53.2를 권장하며, 여러 모델을 함께 사용할 경우 Conda 환경을 분리하는 것을 권장합니다.
② NumPy 버전이 덮어써지는 문제 — 설치 완료 후 pip install numpy==1.26.4로 고정하세요.
③ egl\_probe 빌드 실패 — 먼저 CMake를 설치해야 합니다(pip가 아니라 conda 사용). CMake 버전이 너무 최신인 경우 CMAKE_POLICY_VERSION_MINIMUM=3.5를 설정하세요. 더 많은 문제는 문서 FAQ와 README의 FAQ 섹션을 참고하세요.
다운로드 명령을 실행하기 전에 hf-mirror 미러를 사용하도록 환경 변수를 설정하면 됩니다: export HF_ENDPOINT="https://hf-mirror.com". 원커맨드 설치 스크립트와 RoboCasa 리소스 다운로드 스크립트는 모두 이 미러 endpoint를 기본적으로 지원합니다.
FluxVLA의 학습 및 평가 스크립트는 torchrun으로 분산 작업을 시작하므로 VSCode의 기본 디버깅 방식과 호환되지 않습니다. 문서 FAQ에는 torchrun을 디버깅 진입점으로 사용하는 완전한 .vscode/launch.json 설정 템플릿이 제공되어 breakpoint debugging을 수행할 수 있습니다(디버깅 시 nproc_per_node를 1로 설정하고 wandb 업로드를 비활성화하는 것을 권장합니다). 2차 개발 전에는 먼저 기여 가이드를 읽어주세요. 신규 기능 / 신규 모델은 GitHub Issue를 열어 설계를 먼저 조율하고, upstream/main에서 브랜치를 생성한 뒤 feat/, fix/ 등의 prefix를 사용하세요. 제출 전 pre-commit과 CI가 통과하는지 확인해야 합니다.
세 가지 채널이 있습니다.
① 프로젝트 문서 사이트(fluxvla.limxdynamics.com) 오른쪽 상단의 OpenClaw 지능형 어시스턴트에 직접 질문할 수 있으며, 수집된 질문은 문서 개선에 활용됩니다.
② GitHub Issues(버그 보고 및 기능 요청 전용 템플릿 제공).
③ 공식 maintainer 이메일: mason@limxdynamics.com.
중국어 사용자는 README 상단에 고정된 WeChat 및 Feishu 그룹 QR 코드를 통해 토론에 참여할 수도 있습니다.