Isaac Sim 机器人仿真器介绍、安装与 Docker [1]

前言与参考

此文书写于： January 6, 2023， 更新于 January 6, 2023 ；可能会随着时间的变化 此教程会有过时概念哦

Isaac Sim 相关参考链接：

1. 官方文档地址
2. 官方docker image 镜像地址
3. 官方讨论 论坛链接，建议没啥事就可以逛逛，看问题和回答也是件很有意思的事

本篇主要是根据参考1，相当部分文字直接翻译而来

---

Test computer and System:

• Desktop setting: i9-12900KF, GPU 3090, CUDA 11.3
• System setting: Ubuntu 20.04, ROS noetic (Python 3.8)

Introduction 介绍

Isaac Sim是什么勒？是一个针对于机器人的仿真器；之前我有写过一系列的CARLA仿真器教程，而这里为什么要新开仿真器呢？主要就是CARLA的定位是针对于室外无人驾驶的，而Isaac Sim更多针对于室内的机器人系列，包括AGV， 车上带个机械臂，其实更靠近 CoppeliaSim VREP 的使用方向。

官方截图

既然介绍到了仿真器，那一口气都说一下好了 【我和小伙伴已知的】：

Some simulators for robotics or autonomous driving scenarios

• CARLA focus on autonomous driving 无人驾驶场景；http://carla.org/
• CoppeliaSim focuses on robotics 机器人场景；https://www.coppeliarobotics.com/ 【usually on Robotic Arms 机械臂常用】
• Isaac Sim focuses on robotics 机器人场景；https://developer.nvidia.com/isaac-sim
• Issac Gym is the same as the above one but has more RL setting here; 同上，RL环境更多；https://developer.nvidia.com/isaac-gym
• RaiSim focuses on robotics 机器人场景， official introduction: a cross-platform multi-body physics engine for robotics and AI；https://raisim.com/

Isaac Sim背靠NVIDIA 英伟达！所以对比与coppeliasim 它对于传感器和世界的仿真更更为真实一点【我没非常仔细对比过 说错了不怪我 纯肉眼看的感觉】，然后是对于GPU的支持，只要GPU到位 仿真收数据速度什么的都应该可以很快

官方介绍翻译：

Isaac Sim 具有构建虚拟机器人世界和实验的基本功能。它为研究人员和从业者提供了创建稳健、物理上准确的模拟和合成数据集所需的工具和工作流程。Isaac Sim 通过 ROS/ROS2 支持导航和操作应用程序。它模拟来自 RGB-D、激光雷达和 IMU 等传感器的传感器数据，用于各种计算机视觉技术，例如域随机化、地面实况标记、分割和边界框。

开发工作流程图

从图里能看出来 整个workflow，UI、Python API、ROS等 均可以通信

看官方文档 应该是熟悉一下UI 比如添加物品之类的

本机环境

Install 安装

点击Download，然后填写信息后就可以选择下载Window or Linux了，安装完成后进入Running 运行部分；前提提要 安装显卡及显卡驱动，详情点击此文字 见博客

2. Workstation Installation - Omniverse Robotics documentation

此为Ubuntu示例，WIndow内置有nvidia官方拍的视频

1. 下载 Download the Omniverse Launcher.

2. 安装运行 Install Omniverse Launcher

   sudo chmod +x omniverse-launcher-linux.AppImage
   ./omniverse-launcher-linux.AppImage
   

3. 下载 Isaac Sim；如图 【全UI操作】 下载 Isaac Sim 需要 7.49G

   

Running 运行

如图 安装完成后会出现 isaac sim 然后点一下launch，然后再按个start；后续可以从LIBRARY处点击launch

右键随便加了一个圆锥 顺便截图有指明显存耗的情况【显示器是1080p的】

Docker及云端

Install 安装

3. Container Installation - Omniverse Robotics documentation

Docker 安装见 详情点击此进入对应博客文章

如下 需要像dockerhub一下注册账号等

docker login nvcr.io

docker pull nvcr.io/nvidia/isaac-sim:2022.2.0

然后呢 需要用 Omniverse Streaming Client 来进行窗口展示

注意如果是服务器！！大部分服务器为了安全着想 只会开几个固定端口进行链接，所以一定要确保自己以下端口打开并可以连接：

Should the host be located on the infrastructure of a third-party Cloud provider,
it may additionally be required that the following ports be opened, and that
firewall rules allow traffic inbound and outbound traffic:

TCP: 47995 to 48012
TCP: 49000 to 49007
TCP: 49100
UDP: 47995 to 48012
UDP: 49000 to 49007

更多可见 官方给的提示，点击此跳转官方网页

Running 运行

因为手头没有可用服务器，所以就展示一下Docker的用法，主要是--net=host后一切都好办

1. 用image开一个container

   docker run --name isaac-sim --entrypoint bash -it --gpus all -e "ACCEPT_EULA=Y" --rm --network=host \
       -v /usr/share/vulkan/icd.d/nvidia_icd.json:/etc/vulkan/icd.d/nvidia_icd.json \
       -v /usr/share/vulkan/implicit_layer.d/nvidia_layers.json:/etc/vulkan/implicit_layer.d/nvidia_layers.json \
       -v /usr/share/glvnd/egl_vendor.d/10_nvidia.json:/usr/share/glvnd/egl_vendor.d/10_nvidia.json \
       -v ~/docker/isaac-sim/cache/ov:/root/.cache/ov:rw \
       -v ~/docker/isaac-sim/cache/pip:/root/.cache/pip:rw \
       -v ~/docker/isaac-sim/cache/glcache:/root/.cache/nvidia/GLCache:rw \
       -v ~/docker/isaac-sim/cache/computecache:/root/.nv/ComputeCache:rw \
       -v ~/docker/isaac-sim/logs:/root/.nvidia-omniverse/logs:rw \
       -v ~/docker/isaac-sim/config:/root/.nvidia-omniverse/config:rw \
       -v ~/docker/isaac-sim/data:/root/.local/share/ov/data:rw \
       -v ~/docker/isaac-sim/documents:/root/Documents:rw \
       nvcr.io/nvidia/isaac-sim:2022.2.0
   

   唯一一个需要注意的点【因为官方默认的不适配我的环境 上述已经是变了的】 找到自己nvidia_icd.json 文件地址；可能地址如下：

   # 官方默认
   -v /etc/vulkan/icd.d/nvidia_icd.json:/etc/vulkan/icd.d/nvidia_icd.json \
   -v /etc/vulkan/implicit_layer.d/nvidia_layers.json:/etc/vulkan/implicit_layer.d/nvidia_layers.json \
   
   # 我的环境
   -v /usr/share/vulkan/icd.d/nvidia_icd.json:/etc/vulkan/icd.d/nvidia_icd.json \
   -v /usr/share/vulkan/implicit_layer.d/nvidia_layers.json:/etc/vulkan/implicit_layer.d/nvidia_layers.json \
   

2. 在container运行一行

   # inside container
   ./runheadless.native.sh
   

   请遵循官方的手册 等到终端打印出 再进行下面的窗口展示 【第一次一般慢一点 官方文字：It may take a few minutes for Isaac Sim to be completely loaded.】

   Isaac Sim Headless Native App is loaded.
   # 实际上我显示的是这个
   [22.315s] app ready
   

   

3. 用 Omniverse Streaming Client 来进行窗口展示

   

   然后注意这一步 一开始可能显示的是RTX Loading 就是还在编译 ray tracing shaders，这一点官方也有提示 第一次的时候 一般需要几分钟，比如我的配置 耗时了212s去完成这个显示

   The first time loading Isaac Sim will take a while for the shaders to be cached. Subsequent runs of Isaac Sim with be quick once the shaders are cached and the cache is mounted when the container runs.

   在如右RTX ready后 随手加了create 两个mesh shape

最后在docker内 窗口好像有点没法变 这一点好像得设置一下 restart 具体见官方链接操作吧

# Default value is set to `1.0`, and can be adjusted for best results:
--/app/window/dpiScaleOverride=1.5

还有docker运行里 随手开了一个example的场景也还行：

总结

以上 为 Isaac 相关介绍啦~ 包括一系列的安装 后续可能再来一个放个小机器人 搞几个传感器 开收数据 差不多就结束了 API可以对着官方文档看就行

---

赠人点赞 手有余香 ；正向回馈 才能更好开放记录 hhh