无人机深度学习虚拟现实平台构建

yangwei850622

利用虚拟现实技术构建无人机虚拟现实平台有两大优势。第一个优势，是传统的无人机培训方式，如视频教学模式、安装培训模式，存在效率低、成本高的缺陷。通过无人机虚拟平台，教练员可以进行无限制的飞行测试，即使无人机“坠毁”也不会造成真正的无人机损毁和人员伤亡，可以提高训练效率，节省训练成本。第二个优势是该平台可以帮助研究人员更好更快地研究深度学习。通过无人机虚拟平台，研究人员可以收集大量的训练数据和图像，能够以低成本的方式为无人机飞行过程中的无人机航路规划和自阻提供支持。无人机深度学习虚拟现实系统可以生成大量训练数据，提高人工智能系统的训练效率，有利于工程应用。迄今为止，已经开发了许多建模语言和建模软件，从而出现了许多无人机虚拟现实仿真平台。下面对主流无人机虚拟平台类型、优缺点进行分析。

基于Vrml的无人机虚拟现实平台的实现

VRML是一种建模语言，也是最早构建无人机虚拟现实平台的编程语言。由于编程简单，应用前景十分广阔。但后来因为语言功能不是很强，所以在后期普及上有一定的局限性。

基于Wtk的无人机虚拟现实平台的实现

Creator是一款功能强大的专业3D 建模软件，可以为应用程序实时生成3D模型和地形。Creator和Vega结合构建无人机虚拟现实平台方便快捷，但缺点是开发不完整且成本高。

基于Creator/vega的无人机虚拟现实平台的实现

Creator是一款功能强大的专业3D 建模软件，可以为应用程序实时生成3D模型和地形。Creator和Vega结合构建无人机虚拟现实平台方便快捷，但缺点是开发不完整且成本高。

基于Opengl的无人机虚拟现实平台的实现

OpenGL主要用于定义二维和三维图形。功能更强大，具有建模、纹理映射、大气环境效果等丰富的场景设置，但缺点是开发周期长、编程复杂、需要底层模型。目前基于 OpenGL开发的flightgear 基本包含了飞行器三维视觉模拟所需的全部功能，但显示效果很差，场景渲染不够精细。

现阶段所有主流的无人机虚拟现实平台都有自己的不足。2017年，微软在Github上发布了一款基于虚幻引擎的无人机模拟器（AirSim）。该模拟器是一个开源项目，用户可以直接从网站获取源代码。这个由AirSim构建的用于训练无人机深度学习的虚拟仿真平台，采用最新的图形处理技术，实现了更逼真的场景，准确还原了阴影、阳光、烟雾、路水等细节。AirSim构建的虚拟仿真平台克服了其他平台的不足，尤其是在无人机深度学习方面，还可以以极少的成本获得海量的人工智能训练数据。

Airsim的模块组成

  AirSim模块库由 AirLib、AirLibUnitTests、DroneServe、DroneShell、Examples 等组成。模块解释如下：

图1 Airsim模块库

AirLib模块主要包含传感器、机架和环境的模型库，以头文件的形式提供。其中传感器测量的原始值是从Unreal Engine 4中获取的，原始值通过降噪输出到飞控。AirLib模块还包含障碍物图的功能子模块，将无人机飞行区域的周边区域划分为若干个tick，判断Unreal Engine 4提供的场景中是否存在障碍物。无人机视觉障碍物研究可以通过这种方法来完成。



图2 Airlib 模块

无人机深度学习虚拟现实平台构建

无人机虚拟现实平台场景的构建基于Unreal Engine 4，Unreal Engine 4相比其他引擎在光照和物理渲染方面更胜一筹。无人机深度学习需要准确呈现阴影和光反射等细微的东西，Unreal Engine 4可以更好的实现。EPIC的虚幻商店有很多场景（如：山、街、海平面）可供选择。本文选择了有利于无人机深度学习的“风景山”，“风景山”可以通过虚幻商店免费获取。



图3 无人机虚拟现实平台场景

获取AirSim源码并在Visual Studio 2015上编译，打开Visual Studio 2015，在Team Explorer中点击clone，在URL输入“https://github.com/Microsoft/AirSim”，设置项目目录，然后点击克隆，可以获得AirSim源代码，如图4所示。



图4 Airsim 源代码

获取源码运行cmd，进入工程目录，运行build.cmd编译，编译成功如图5所示。AirSim编译成功后，需要将编译好的“Plugins”文件夹复制到“Myproject”工程中，此时AirSim源代码的获取和编译就完成了。最后更新飞控，下载QGroundControl，连接PX，选择HIL Quadrocopter X机架，连接Remote Control，无人机虚拟现实平台就可以成功运行。



图5 Airsim编译成功界面

通过深度学习训练无人机进行图像分类时，需要提取图像特征。在图像特征的视觉特征提取中，还需要分析图像的轮廓边缘特征、颜色特征、纹理特征和形状特征。基于Unreal Engine 4的AirSim平台运行时，屏幕下方有3个子屏幕，分别是无人机视图、实时深度视图和实时对象分割。无人机深度学习图像分类可以通过这三个视角支持。



图6 无人机虚拟现实平台操作

无人机人工智能是无人机发展的一个趋势，无人机人工智能的实现主要是通过深度学习来完成。无人机通过深度学习算法从大量数据中学习潜在特征和规律，智能识别新样本，还可以预测未来信息的可能性。采用基于Unreal Engine 4的AirSim，通过虚拟现实技术模拟无人机飞行，可以实时获取无人机各帧的姿态和图像。该平台可以满足无人机深度学习的需求，具有很大的工程价值。

源自：2017 Chinese Automation Congress (CAC), 2017, pp. 3912-3916, doi: 10.1109/CAC.2017.8243463.
往期推荐阅读
往期热文（点击文章标题即可直接阅读）：

英国挪威向乌发出900万美元的微型黑峰无人机。国产白菜价

我国首架35克超微侦察无人机-蜂鸟惊艳阿布扎比防务展

国产外贸激光炮大放异彩，一举击落13架无人机，沙特宣布颁发嘉奖

重载型高层灭火系留无人机XD150完成150kg负载飞行验证！

还有人敢在俄军闪电战前吹无人机吗？

我国首个实用化无人机“蜂群”,中电科单车发射48架巡飞弹

寻光学精确引导降落技术 （顺便提一下黑蜂微型机场）