TRON1 RL训练部署快速上手（Isaac Lab）

1. IsaacLab2.0安装教程:

使用Anaconda，来管理python虚拟环境
使用IsaacSim 4.5: https://docs.isaacsim.omniverse.nvidia.com/4.5.0/installation/download.html
使用IsaacLab v2.0.2: https://github.com/isaac-sim/IsaacLab
显卡驱动>=535

1.1 解压IsaacSim

下载IsaacSim安装包，推荐使用4.5, https://docs.isaacsim.omniverse.nvidia.com/4.5.0/installation/download.html

解压isaac-sim-standalone@4.5.0-rc.36+release.19112.f59b3005.gl.linux-x86_64.release.zip

建议将文件名改成isaacsim，并放到${HOME}下

1.2 Clone IsaacLab

git clone -b v2.1.0 https://github.com/isaac-sim/IsaacLab.git

1.3 构建软链接

# enter the cloned repository
cd IsaacLab
# create a symbolic link
ln -s path_to_isaac_sim _isaac_sim
# path_to_isaac_sim是指本地的isaac_sim的存放路径，需注意！！！
# recommended: ln -s ~/isaacsim _isaac_sim

1.4 配置conda环境

在已手动创建的conda环境中安装isaaclab可能报错，建议使用./isaaclab.sh脚本创建新的conda环境

Option 1: 默认的环境名称 'isaaclab'，如果你有就会显示你有这个环境，如果没有会帮您创建这个环境

./isaaclab.sh --conda  # or "./isaaclab.sh -c"
source activate my_env

Option 2: 如果不想叫这个名字，也可以创建一个其他的名字

./isaaclab.sh --conda my_env  # or "./isaaclab.sh -c my_env"
source activate my_env

1.5 使用apt来安装依赖（只适用于Linux）

sudo apt install cmake build-essential

1.6 运行安装命令，安装source/extensions目录中的所有扩展

./isaaclab.sh -i

如果安装时报错，大概率是因为网络不稳定导致，重新执行指令即可完整安装！

1.7 安装验证

按照nvidia官网上的测试用例，验证isaacsim是否正常运行，以app界面正常打开，且鼠标操作有响应未卡顿为准

export ISAACSIM_PATH="${HOME}/isaacsim"
export ISAACSIM_PYTHON_EXE="${ISAACSIM_PATH}/python.sh"
# 以上两句话可以写入到.bashrc中
${ISAACSIM_PATH}/isaac-sim.sh

2. 训练工程使用教程:

2.1 代码结构展示

pointfoot-Isaaclab-4.5.0/
├── .gitignore
├── LICENCE
├── README.md
├── pyproject.toml
├── rsl_rl/
│   ├── __init__.py
│   ├── pyproject.toml
│   ├── rsl_rl/
│   │   ├── __init__.py
│   │   ├── algorithm/
│   │   │   └── ppo.py
│   │   └── runner/
│   │       └── on_policy_runner.py
│   └── setup.py
├── run_train_sequence.sh
├── scripts/
│   └── rsl_rl/
│       ├── cli_args.py
│       ├── play.py
│       └── train.py
├── start.sh
└── exts/
    └── bipedal_locomotion/
        ├── __init__.py
        ├── assets/
        │   ├── __init__.py
        │   ├── config/
        │   └── usd/
        │       ├── PF_TRON1A/
        │       │   └── .asset_hash
        │       ├── SF_TRON1A/
        │       │   └── .asset_hash
        │       ├── WF_TRON1A/
        │       │   └── .asset_hash
        │       └── .asset_hash
        ├── docs/
        │   └── CHANGELOG.rst
        └── tasks/
            ├── __init__.py
            └── locomotion/
                ├── __init__.py
                ├── agents/
                │   └── __init__.py
                ├── cfg/
                │   ├── __init__.py
                │   ├── PF/
                │   │   ├── __init__.py
                │   │   ├── limx_base_env_cfg.py
                │   │   └── terrains_cfg.py
                │   ├── SF/
                │   │   ├── __init__.py
                │   │   ├── limx_base_env_cfg.py
                │   │   └── terrains_cfg.py
                │   └── WF/
                │       ├── __init__.py
                │       ├── limx_base_env_cfg.py
                │       └── terrains_cfg.py
                ├── mdp/
                │   ├── __init__.py
                │   ├── commands/
                │   │   ├── __init__.py
                │   │   ├── commands_cfg.py
                │   │   └── gait_command.py
                │   ├── curriculums.py
                │   └── rewards.py
                └── robots/
                    ├── __init__.py
                    ├── limx_solefoot_env_cfg.py
                    ├── limx_pointfoot_env_cfg.py
                    └── limx_wheelfoot_env_cfg.py

2.2 克隆本次开源的IsaacLab训练工程: https://github.com/limxdynamics/tron1-rl-isaaclab

git clone https://github.com/limxdynamics/tron1-rl-isaaclab.git

2.3 安装本次开源的IsaacLab训练工程:

python -m pip install -e exts/bipedal_locomotion/

2.4 安装rl工程

python -m pip install -e rsl_rl/

需要卸载IsaacLab安装时，默认安装的rsl_rl依赖
pip uninstall rsl-rl-lib

2.5 Train and Play

启动训练脚本开始训练：

python scripts/rsl_rl/train.py --task=Isaac-Limx-PF-Blind-Flat-v0 --headless
python scripts/rsl_rl/train.py --task=Isaac-Limx-WF-Blind-Flat-v0 --headless
python scripts/rsl_rl/train.py --task=Isaac-Limx-SF-Blind-Flat-v0 --headless

如果命令行打印出如下信息并持续更新，说明训练已正常运行

启动验证脚本开始验证:

python scripts/rsl_rl/play.py --task=Isaac-Limx-PF-Blind-Flat-Play-v0 --headless --load_run={} --num_env 10
python scripts/rsl_rl/play.py --task=Isaac-Limx-WF-Blind-Flat-Play-v0 --headless --load_run={} --num_env 10
python scripts/rsl_rl/play.py --task=Isaac-Limx-SF-Blind-Flat-Play-v0 --headless --load_run={} --num_env 10

若碰到以下错误时：

ModuleNotFoundError: No module named 'isaaclab'

需在你的执行shell窗口下执行以下操作：

source {your_isaaclab_path}/_isaac_sim/setup_conda_env.sh

3. 部署

3.1 policy文件

在play验证之后训练的.pt模型会被自动导出为encoder.onnx和policy.onnx，位置如下（以PF为例）

pointfoot-Isaaclab-4.5.0/
├── logs/
│   ├── pf_tron_1a_flat/
│   │   ├── 2025-07-10_10-29-18（该名称为示例，实际情况根据训练的时间点而定）
│   │       ├── exported
│   │       │   └── encoder.onnx
│   │       │   └── policy.onnx
│   │       │   └── policy.pt
│   │       ├── model_10000.pt
│   ├── sf_tron_1a_flat/
│   ├── wf_tron_1a_flat/
├── rsl_rl

3.2 下载仿真工程代码

详情见 TRON1 SDK开发指南 8.1~8.2章节，将训练好的encoder.onnx和policy.onnx按照对应章节的说明移动到相应位置，即可将训练好的模型进行仿真和真机运行

4. Known Issue

在 RTX 4070 + Ubuntu 20.04 + NVIDIA Driver 570 + CUDA 12.8 的环境下安装环境时报错，提示 Python 库不兼容

该问题通常由于部分 Python 库版本与当前 CUDA 及显卡驱动不完全兼容所致。建议按以下版本重新安装相关依赖库以解决兼容性问题：

pip install numpy==1.26.4
pip install usd-core==23.2
pip install lxml==5.4.0
pip install pydantic==2.11.3
pip install pydantic-core==2.33.1
pip uninstall torchaudio
pip install opencv-python==4.11.0.86
pip uninstall nvidia-srl-usd-to-urdf
pip install setuptools==75.8.0

在 RTX 5070 + Ubuntu 20.04 + NVIDIA Driver 570 + CUDA 12.8 的环境下，按照推荐方式安装 PyTorch 后无法正常运行

该问题可能由于 RTX 50 系列显卡与 PyTorch 2.5 兼容性问题导致。尽管按照常规方法安装了符合 CUDA 12.8 的 PyTorch 版本，但在该硬件组合下仍会出现运行异常。建议尝试升级至 PyTorch 2.7 版本，该版本在实际测试中表现出更好的兼容性，能够解决此类问题。

如何兼容IsaacSim5.x仿真软件
1. 首先需要指出的是，系统需要Ubuntu22.04及以上；
2. 安装方式可以直接执行以下shell脚本（或在附件中找到install_isaaclab.sh），脚本中可修改IsaacSim版本以及IsaacLab版本；
3. 本次安装完全弃用了Anaconda 虚拟环境，直接使用venv环境来安装，避免侵权问题；

#!/bin/bash
# Isaac Sim 5.1 + Isaac Lab 2.2.1 完整安装脚本
# 使用 venv + Python 3.11.13 + PyTorch 2.7.0

set -e  # 遇到错误立即退出

echo "=========================================="
echo "Isaac Sim 5.1 + Isaac Lab 2.2.1 安装脚本"
echo "=========================================="

# 检查 Python 3.11 是否已安装
if ! command -v python3.11 &> /dev/null; then
    echo "错误: Python 3.11 未安装"
    echo "请先运行: bash install_python311.sh"
    exit 1
fi

echo "✓ Python 3.11 已安装: $(python3.11 --version)"

# 设置环境变量
VENV_DIR="$HOME/.venvs/isaaclab"
ISAACLAB_DIR="$HOME/robot/tool/IsaacLab"

# 1. 创建 venv
echo ""
echo "步骤 1/7: 创建 venv 环境..."
if [ -d "$VENV_DIR" ]; then
    echo "venv 已存在，跳过创建"
else
    python3.11 -m venv "$VENV_DIR"
    echo "✓ venv 创建完成: $VENV_DIR"
fi

# 2. 激活 venv
echo ""
echo "步骤 2/7: 激活 venv 并升级 pip..."
source "$VENV_DIR/bin/activate"
python --version
pip install --upgrade pip

# 3. 安装 PyTorch 2.7.0
echo ""
echo "步骤 3/7: 安装 PyTorch 2.7.0..."
pip install "torch==2.7.0" "torchvision==0.22.0" --index-url https://download.pytorch.org/whl/cu128
python -c "import torch; print(f'✓ PyTorch {torch.__version__} 安装成功')"

# 4. 安装 Isaac Sim 5.1（强制统一版本）
echo ""
echo "步骤 4/7: 安装 Isaac Sim 5.1..."

# 如已安装旧版本 isaacsim，则先卸载，避免多个版本混在一起
if python -m pip show isaacsim &> /dev/null; then
    CUR_VER=$(python -m pip show isaacsim | awk '/Version:/ {print $2}')
    echo "检测到已安装的 isaacsim 版本: $CUR_VER，先卸载..."
    pip uninstall -y isaacsim
fi

echo "开始安装 isaacsim==5.1.0..."
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
echo "✓ Isaac Sim 5.1.0 安装成功"

# 5. 检查系统依赖
echo ""
echo "步骤 5/7: 检查系统依赖..."
if ! command -v cmake &> /dev/null || ! command -v g++ &> /dev/null; then
    echo "警告: cmake 或 build-essential 未安装"
    echo "请运行: sudo apt install -y cmake build-essential"
else
    echo "✓ 系统依赖已满足"
fi

# 6. 克隆 Isaac Lab
echo ""
echo "步骤 6/7: 克隆 Isaac Lab 2.2.1..."
if [ -d "$ISAACLAB_DIR" ]; then
    echo "Isaac Lab 目录已存在，切换到 v2.2.1..."
    cd "$ISAACLAB_DIR"
    git fetch
    git checkout v2.2.1
else
    cd "$HOME"
    git clone https://github.com/isaac-sim/IsaacLab.git
    cd "$ISAACLAB_DIR"
    git checkout v2.2.1
fi
echo "✓ Isaac Lab 2.2.1 已就绪"

# 7. 安装 Isaac Lab
echo ""
echo "步骤 7/7: 安装 Isaac Lab 扩展..."
echo "这可能需要几分钟..."
./isaaclab.sh --install

echo ""
echo "=========================================="
echo "安装完成！"
echo "=========================================="
echo ""
echo "使用方法:"
echo "1. 激活环境: source $VENV_DIR/bin/activate"
echo "2. 进入目录: cd $ISAACLAB_DIR"
echo "3. 运行示例: ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py"
echo ""