目标检测和跟踪作为遥感领域的一个重要研究课题，已被广泛地调查并应用到各种民用和军事任务中，如环境监测，地质灾害检测，精准农业，城市规划等。通常在固定轨道上运行或沿预设的规则路径运行，缺乏灵活性的沿着不规则的规划路线，或临时修改路线并根据任务进行悬停（如：岛上城市规划、小城市地图），亦或是在恶劣、危险的环境中进行目标观察（如：极地遥感、火山）。此外，卫星和有人驾驶飞机的成本以及飞行员的安全也限制了这两种平台的使用。

随着微电子软硬件的发展、导航与通讯技术的更新、材料及能源科技的突破，无人机迅速突起，成为遥感领域的热点。无人机(Unmanned Arial Vehicle, UAV) 是一种无人驾驶飞行器，凭借其不受时间地域限制，可获得大范围、多角度、高分辨率数据等优势,在军事侦查、空间遥感、智慧城市、灾害监测等方面发挥着愈加重要的作用。使用无人机搭载遥感器作业和数据处理构成了无人机遥感工作的主要内容，目标检测和跟踪进入无人机遥感大众化时代.另外，鉴于其灵活性、可操作性、经济性、安全性和按需数据采集等独特的优势，无人机已被公认为是对传统平台的有效补充。

深度学习的爆炸式发展，使得深度学习方法成为无人机目标检测的主流框架。实验室首先概述了无人机的分类情况以及无人机目标检测和跟踪的挑战。其次，从深度学习模型的视角详细讨论了现有的静态图像目标检测，视频序列目标检测和视频序列目标跟踪三个方向之间的关系，以及各自的发展现状。1）静态图像目标检测：鉴于无人机视频中的目标受到各种成像条件的影响，包括视角特殊性、背景复杂性、尺度和方向多样性、小目标等问题，实验室主要从数据预处理、尺度变化、方向变化、弱小目标、检测速度等问题方面展开回顾。 2）视频目标检测：目标在某些视频序列帧上会存在散焦和运动模糊、分辨率较低、遮挡等问题，导致相应帧失效，直接利用单帧（静态）图像目标检测的模型，检测的结果会存在漏检或错检，而视频中的时序上下文信息能够弥补以上问题。具体地，实验室主要从早期的基于两步网络的方法到基于端对端网络方法逐步对无人机视频序列目标检测展开详细回顾，其中，基于端对端的方法我们又细分为基于光流的网络，基于记忆的网络，以及基于跟踪的网络三个方面。3）视频目标跟踪：视频序列目标跟踪跟视频序列目标检测相同的点在于都需要对每帧图像中的目标精准定位，不同点在于目标跟踪不考虑目标的识别问题，通常可分为单目标跟踪和多目标跟踪两类。实验室主要讨论多目标跟踪，从基于检测的跟踪、单目标跟踪辅助的跟踪、以及基于记忆网络的跟踪三个方面进行详细回顾。之后，实验室统计了目前常用的无人机目标检测公开数据集，并给出了相应的下载链接，实验部分详细统计了已发表无人机相关论文中，基于深度学习方法在公开数据集上的量化指标，并给出了相应的分析。最后，实验室从无人机数据、深度学习方法、计算平台等方面进行总结和展望。

该综述是由北京理工大学信息与电子学院博士后吴鑫、李伟教授、陶然教授、德国宇航中心研究员洪丹枫、以及美国密西西比州立大学杜谦教授共同合作完成。论文成果《Deep Learning for UAV-based Object Detection and Tracking: A Survey》被接收于IEEE遥感类顶级期刊 [ IEEE Geoscience and Remote Sensing Magazine, 2021 ] (影响因子IF: 8.225)。

图1. 论文中所给出的复杂城市场景下无人机目标检测和跟踪示意图

论文链接：https://doi.org/10.1109/MGRS.2021.3115137