第一周读的七篇论文。下一周准备了解端到端、安全性、集群、巡检等概念。

多旋翼无人机运动规划的几何方法

问题：算力约束下实时求解能力不足。

研究适用于多旋翼的轨迹规划求解器。

利用平坦特性实施动力学-运动学的约束。

关于运动规划：

  • Sarmiento 等提出基于采样的方法，需对整个参数空间进行采样，多次求解凸包问题。
  • Deits 等提出 IRIS 算法，以椭球为种子进行重复膨胀迭代。需对障碍物数值求解二次规划，对新生成的凸多面体计算半正定规划，效率较低。
  • Liu 等提出 RILS 算法，以线段为种子不断计算包含该线段且排除所有障碍物的最大椭球。计算速度较高，计算结果较为保守。
  • Gao 等设计了计算凸可行域的 PCCI 算法，以某一不被占据的体素为种子，逐层增长并检查新体素到已有体素集合的可视性。计算复杂度较高。
  • Savin 提出一种空间翻转算法，以种子点为中心，对所有障碍物点集作球极映射变换。计算结果可能极度保守。Zhong 等提出采用球面翻转映射代替球极映射。仍具有效率问题和保守性问题。

基于采样的运动规划

对环境信息进行不断探索和利用得到全局最优解。

  • Karaman 和 Frazzoli 分别给出了渐进最优版本的算法，即 PRM* 和 RRT* 算法。
  • Karaman 随后给出了 RRT* 的在线即时扩展版本。
  • Jordan 等提出了双向 RRT*，从初末点同时执行树的增长，可快速获得可行解。
  • Janson 等提出了 FMT* 算法，将图搜索类算法扩展到基于采样的算法中，提升了最优路径搜索的效率，也达到了渐进意义下的分辨率最优。
  • Alterovitz等人提出了快速探索随机路线图算法，权衡了可行域探索和解的质量。

为提高基于采样的运动规划算法收敛于最优解的速度，不同的启发式算法被相继提出。

  • Nasir 等提出 RRT*-Smart 算法，尽可能产生和障碍物顶点相近的节点。
  • Otte 等提出 C-Forest 算法实现并行最优运动规划。
  • Gammell 等提出了 Informed-RRT* 算法，显著提高从已有可行路径向最优路径收敛的速率，但寻找第一条可行路径耗时较长。
  • BIT* 算法
  • Li 提出 SST* 算法，解决将 RRT* 算法推广到运动学-动力学规划中时过于依赖于对非平凡的两点边值问题的求解调用。

利用基于采样的方法生成低维度可行路径，规划出与该路径同拓扑的飞行轨迹。

‍

基于优化的运动规划

利用问题的高阶信息实现对高质量局部运动轨迹的快速收敛。

求解器：

  • GPOPS-II 基于伪谱法
  • ACADO 基于打靶法

将轨迹优化问题通过直接或间接法离散成具有大量优化变量和等式约束的非线性规划问题。

通用非线性规划器：

  • SNOPT
  • IPOPT

获得平滑机器人导航轨迹：

  • Quinlan 等提出 Elastic Band 方法，但轨迹不一定满足机器人的动力学约束。
  • Zucker 等提出 CHOMP 算法，计算效率不高。
  • STOMP 和 ITOMP 算法对上述算法做了一定增强。提升了轨迹规划成功率和计算效率。
  • Shulman 等将多刚体机器人的轨迹规划构建成了一个带 $L_1$ 惩罚项的序列凸规划，极大提升了多自由度机器人轨迹规划的成功率和计算效率。

对于微分平坦的多旋翼无人机，运动规划可以被转换为低维平坦输出轨迹的优化问题。

  • Mellinger 和 Kumar 采用固定时长的样条来表征四旋翼的平坦轨迹，问题求解复杂度较高，且仅支持过度简化的动力学约束。
  • Bry 等采用 RRT* 算法作为可行路径生成的前端，在后端无约束轨迹发生碰撞时从该可行路径上去除路径点作为后端轨迹生成的航点。此方法难以在障碍物稠密的环境中生成高质量的轨迹，无法显式纳入动力学约束，且未讨论清逆矩阵的奇异性。
  • Deits 和 Tedrake 用凸多面体来近似可行空间。效率仅适合离线计算。采用混合整数二阶锥规划求解轨迹各段的分配与优化问题。计算效率略低。
  • Gao 等同样采用凸多面体描述可行区域，交替对轨迹的几何形状以及时域特性进行优化。安全性通过 Bézier 曲线控制点上的线性约束得到保障。时域信息利用时间最优路径重参数化完成。
  • Detis 等将多项式平方和条件替换为了 Bézier 控制点的线性约束，避免了二阶锥约束。
  • Sun 等人采用双层规划的灵敏度分析来获得轨迹各段时间关于底层约束二次规划最优值的解析灵敏度，做到直接时域优化。

上述方法通畅采用基于样条的连续时间轨迹参数化方法来避免大量变量、约束和算力需求，但仍不能支持高精细度无人机动力学的全状态和控制输入层面的约束。

本文研究内容

  1. 提出快速迭代区域膨胀的求解框架和其子问题利用几何特性的快速求解算法，实现对移动机器人高质量凸多面体近似。
  2. 研究了平坦空间中积分链系统的多阶段无约束最小控制问题，利用该问题的充要最优性条件设计了一种轨迹时空参数化方法。
  3. 证明了非线性风阻效应下的高速多旋翼动力学模型的平坦特性，并设计了利用惩罚泛函实现轨迹时空形变以获得高质量可行轨迹的优化框架。

基于深度强化学习的旋翼无人机敏捷飞行控制与运动规划

为提升无人机在复杂扰动环境中的敏捷飞行性能，需要研究更为鲁棒的无人机底层敏捷飞行控制算法，使得无人机的自主飞行控制得到提升。

基于深度强化学习的控制策略可以摆脱复杂的数学假设与近似，提升鲁棒性且降低运算复杂度。

国内外研究现状与分析

无人机的飞行敏捷性体现了其底层飞行控制算法的动态性能，而无人机的自主飞行及实时动态性能则反映了其上层运动规划与决策算法的实时性表现。

控制策略是实现无人机飞行控制的核心，主要分为：

  • 以经典控制理论为基础的传统方法
  • 以自主学习为基础的智能算法

传统无人机底层控制算法

多环路线性 PID 算法

控制效果尚可，但易出现积分饱和、响应速度慢且鲁棒性差。对于多输入多输出只能采用级联控制器，各控制器间难以相互耦合。

线性二次型调节器（LQR）算法

将无人机动力学模型线性化，构建可直接求解的线性飞行控制器，利用代数黎卡提方程计算得到多变量无人机控制律，实现相对精准的无人机控制效果。但仅能针对线性模型求解，且对控制量无约束，可能会出现不符合系统可运行范围的可能，也没有考虑实际系统运行过程中存在的误差。

模型预测控制（MPC）算法

通过有限时域滚动优化方式将系统实时运行状态与控制器的优化结合起来，考虑了系统模型误差，鲁棒性较强。但需转化为带有约束的二次规划问题，在计算实时性方面挑战较大。而且一般需要额外的角速度控制器与 MPC 结合。实现完全实时控制。还需要精确的无人机动力学模型。

基于学习的无人机底层控制算法

基于数据驱动的自主学习算法，通过学习的方式来改进其控制组件可有效提升控制精度。

Torrente 通过数据驱动的高斯过程学习得到了建模过程中难以描述的空气动力学参差模型，提升了精确性。

Song 等利用强化学习技术对参数化 MPC 控制器进行了实时优化调节，实现了无人机在动态环境下的敏捷飞行控制。

  • 基于强化学习的控制算法
    • 深度确定性策略梯度 DDPG
    • 信赖域策略优化 TRPO
    • 近端策略优化 PPO
  • 端到端底层控制策略
  • 软动作－评价（SAC）随机策略优化算法

无人机运动规划

传统规划方法

将整个无人机看做一个质点模型。

  • 基于分段多项式的无人机轨迹规划
  • 基于 B 样条曲线的无人机轨迹规划
  • 基于抛物线的无人机轨迹规划
  • 基于高阶多项式的无人机轨迹规划
  • 耦合运动规划与底层控制的无人机轨迹规划与控制
  • 基于闭式解的无人机轨迹规划
基于学习的端到端无人机运动控制方法

将轨迹规划与底层控制耦合在一起看做一个最优问题。

  • 优化神经网络
  • 基于模仿学习与强化学习
  • 基于强化学习
  • 基于课程学习
  • 基于好奇心机制

安全性研究

传统基于模型的控制方法定义一系列安全性约束，再并入控制策略优化算法中构成带有约束的最优控制问题进行求解。

与最优控制方法类似，安全强化学习是在传统强化学习的基础上将安全性约束并入其中来保证控制策略安全性的另一类方法。

多无人车守界路径规划问题研究

国内外研究现状

多无人车重复覆盖路径规划研究现状

根据分解目标区域类型不同分为：启发式和随机方法、近似单元分解法、精确单元分解法和半近似单元分解法。

精确单元分解法：

  • 梯形分解法
  • 牛耕式分解法
  • Morse 分解法

近似单元分解法，需更高内存和更精确定位能力：

  • 栅格图法（正方形、三角形、六边形、菱形）

    • 波前算法
    • 生成树算法
    • 神经网络算法

  • 基于单位圆分解的覆盖路径规划方法

  • 基于仿生行为的启发式覆盖路径规划方法

  • 基于群的算法

多无人车巡逻路径规划研究现状

  • 根据 Maklin 图论得到一种基于蚁群算法的规划方法
  • 快速重复访问路径规划方法
  • 适用于逻辑路径分配的平衡路径规划算法
  • 基于改进 A* 算法和遗传算法的最优巡逻路径规划算法

文章主要研究内容

  • 区域地图复杂、无人车数量少、扫描半径小：基于改进波前算法和基于信息素的重复覆盖路径规划算法
  • 区域地图简单、无人车数量多、扫描半径大：基于规则的巡逻路径规划算法

研究内容包括多无人车守界路径问题的数学模型、多无人车重复覆盖路径规划算法设计与多无人车巡逻路径规划算法设计。

无人机集群高速大机动协同规划算法研究

无人机集群高速大机动协同规划算法研究的难点与挑战：

  1. 在障碍物环境下保证飞行轨迹的时间最优性
  2. 保证无人机集群飞行的时间最优性
  3. 兼顾集群轨迹规划的时间最优和能量损耗最优

国内外研究现状

无人机的轨迹规划

连续时间多项式描述方法

  • 最小化 snap 轨迹生成算法
  • 模型预测控制（MPC）
  • 线性二次型控制 （LQR）
  • 基于霍普夫纤维化的几何控制算法
  • 半定规划迭代区域膨胀（IRIS）方法
  • 快速图搜索
  • B 样条曲线，结合欧几里得符号距离场
  • 最小控制（MINCO）

离散时间状态空间描述方法

基于采样和搜索的方法

基于采样的方法专注于搜索来获得全局解决方案，复杂性主要源于配置空间。

  • 概率路图算法
  • 快速探索随机数算法（RRT）
  • 快速行进树算法（FMT*）
  • RRT*-Smart 算法
  • Informed-RRT* 算法
  • 加权启发式 RRT （IWH-RRT）方法
基于机器学习的方法
  • 基于卷积神经网络（CNN）
  • 基于 G&CNets 网络的在线规划控制方法
  • 深度强化学习和相对门观察
  • 基于学习的感知轨迹规划器 Deep-PANTHER
  • 利用深度强化学习和经典拓扑路径规划训练鲁棒的神经网络控制器
  • 利用强化学习训练出神经网络控制器

需要真机飞行数据进行训练，且仍无法保证时间最优性。

基于优化的方法
  • 二次规划问题
  • 基于顺序凸规划的（SCP）轨迹算法
  • 运动规划协变哈密顿优化（CHOMP）算法
  • 基于 SCP 和凸碰撞检测的轨迹算法
  • 基于数值优化算法的算法
  • 基于采样的知情路径搜索方法寻找通过障碍物的安全路径，并通过基于优化的方法来优化轨迹
  • 高速闭环局部轨迹规划与控制的在线方法
  • 融合欧几里得符号距离场（ESDF）梯度的规划框架
  • 基于 MINCO 轨迹的运动规划方法
  • 将航点约束作为优化变量，建立非线性优化模型，得到时间最优的轨迹规划

无人机集群的协同轨迹规划

  • 速度障碍法（VO）
  • 底层运动避障算法王府速度障碍法（RVO）
  • 最优相互避免碰撞算法（ORCA）
  • 基于 LQR-Obstacles 的线性动力学机器人避障算法
  • 基于 SCP 的多无人机路径规划算法
  • 结合 MPC 和冲突解决策略
  • 基于分布式模型预测控制（DMPC）的多智能体离线轨迹生成算法
  • 基于伯恩斯坦多项式的高效多智能体轨迹生成算法
  • 利用稀疏参数优化和约束转录的标准求解器
  • 在线多智能体协同轨迹规划算法，利用线性安全走廊（LSC）来构建仅具有可行约束的分布式轨迹优化问题
  • 基于 DMPC，通过非线性约束进行泰勒展开得到易于求解的二次规划问题
  • 基于新型 DMPC 的多机器人协同算法
  • 基于优化的的无人机集群分布式轨迹规划算法
  • 基于梯度的分布式异步规划框架

文章研究内容

  1. 针对无人机时间最优的轨迹规划难以处理障碍物环境下的复杂约束问题，引入了障碍物进度变量。
  2. 构建了固定离散时间步长来优化集群飞行总时间的非线性优化模型，设计了基于微分平坦性的前馈反馈控制器进行轨迹跟踪控制。
  3. 引入了能量缩放因子和动态航路点，保证了飞行轨迹的时间最优性。

时空/运动混合约束的多无人系统任务规划方法研究

多无人系统时空运动混合约束的任务规划技术研究现状

强化学习算法：

  • 在线策略 Q 学习的 Sarsa 算法
  • 模糊 Q 学习算法
  • 基于模型及平均强化型的 H-Learning 算法
  • 极大极小 Q 学习算法

多目标约束覆盖任务规划研究现状

第一类任务规划为巡逻覆盖，有效的任务聚类方法可以提高多机任务执行效率。

  • 基于聚类的直方图方法，称为等强度 K-均值空间聚类算法
  • 多机协同的空间目标分类方法
  • 基于任务聚类方法

任务调度算法研究：

  • 蚁群算法（ACO）和蚁群系统（ACS）
    • 基于多种群协同进化的多目标蚁群算法
    • 机器人自主导航的高效双层蚁群算法
  • ACO-A* 算法（蚁群算法与 A* 算法结合）
  • 三维多机协同速度感知运动规划算法
  • 概率路线图算法（PRM）
  • 渐进最优运动规划器
  • PRM-RL 算法

多无人系统集群编队研究现状

第二类任务规划为无人系统集群编队。

  • 可抑制外部干扰的无人机集群队形变换策略
  • 仿鸿雁群编队的无人机集群自主协同控制方法
  • 混合遗传模拟退火算法

固定时间一致性控制问题：

  • 使用固定时间控制和改进的分布式观测器
  • 基于固定时间分布式观测器的级联控制结构
  • 两个固定时间事件触发的一致性控制器
  • 无奇异的固定时间同步一致性控制律

多机群应同时考虑运动约束。

  • 基于终端滑膜控制算法的柔性无人系统姿态固定时间稳定系统
  • 固定时间镇定的非线性反馈方法

避障路径规划算法问题：

  • 基于 RRT 的启发式运动规划算法
  • 最优轨迹生成分解框架
  • MPC 设计机动和轨迹规划的通用框架
  • 圆柱体快速探索随机数算法
  • 基于观测器的非线性系统的固定时间编队神经网络求解方法

可利用 Dubins 路径算法平滑路径。

多无人机突防任务规划研究现状

第三类任务规划为博弈场景下的多无人机突防任务规划。

  • 莱维随机机动轨迹
  • 改进的动态编码粒子群算法
  • 改进的飞蛾扑火算法
  • 基于深度优先搜索构建转移矩阵
  • 基于改进的粒子群优化的三维路径规划算法
  • 基于多样性的多无人车协同路径规划

搜索最短路径：

  • 多目标 D* 算法
  • 类 $\theta *$ 算法
  • Dijkstra 算法
  • A* 算法
  • 改进的 RRT 算法
  • 改进的 PRM 算法
  • 基于卷积神经网络的最优路径规划 NRRT* 算法

多无人机数据收集任务规划研究现状

  • 深度神经网络
  • 深度强化学习
  • 贪婪学习聚类算法和人工势场图算法
  • 模糊 K-means 算法
  • 基于先验信息的局部搜索多群体蚁群算法

考虑禁飞区的高速无人机运动规划方法研究

高速无人机运动规划问题研究现状

大规模、全状态的规划仍是一个亟待解决的问题。

基于图搜索和采样的运动规划

  • Dijkstra 算法
  • A* 算法
  • JPS 算法
  • JPS+ 算法（带有预处理）
  • 增量式启发搜索方法 D*
  • PRM 方法
  • RRT 方法
  • PRM* 方法（渐近最优）
  • RRT* 方法（渐近最优）
  • Informed-RRT*
  • Hybrid A* 算法
  • Kinodynamic RRT* 算法

生成低维可行路径。

基于最优控制的运动规划

将最优控制问题（OCP）转化为非线性规划问题（NLP）。

直接法：

  • 打靶法（SM）
    • 单次打靶法（SSM）
    • 多次打靶法（MSM）
  • 伪谱法（PM）
  • 序列凸优化（SCM）

最小控制作用（MINCO）

高速无人机运动学与动力学约束的处理方式

  • 引入剩余射程
  • 引入飞行路径角的稳定控制器

主要研究内容

围绕飞行器运动学与动力学模型、禁飞约束的处理方法、运动学与动力学约束处理方式、变量的时空参数化方法展开。

无人机-无人车协同路径规划与控制研究

国内外研究现状

无人机视觉的目标检测与单目深度估计研究现状

目标检测算法：

  • 两阶段检测
    • R-CNN
    • Fast R-CNN
  • 单阶段检测
    • SSD
    • CenterNet
    • YOLO

深度估计方法：

  • Markov 随机场
  • CNN
  • Transformer

无人车路径规划方法研究现状

传统算法
  1. 基于图的方法
    1. Dijkstra
    2. A*
    3. 反向 Dijkstra
    4. IA*-DWA
  2. 基于采样的方法
    1. RRT
    2. SB-SQB
    3. APF-Informed-RRT*
  3. 基于梯度的方法
    1. 人工势场法
    2. 预测人工势场（PAPF）算法
  4. 基于优化的方法
    1. MPC
    2. 二次规划
  5. 基于插值曲线
    1. 贝塞尔曲线
    2. 回旋曲线
    3. 样条曲线
    4. 五次三角贝兹曲线（QTBC）
元启发式优化算法

可作为通用求解器，适用于不同搜索空间并提高质量解。

  • 基于轨迹的算法
  • 进化算法
  • 基于群体的算法
  • 基于自然现象的算法
基于机器和深度强化学习的技术
  • IDQNPER-ETE
  • DRL-GAT-SA
无人车编队控制策略研究现状
  1. 基于虚拟结构
  2. 基于领导-跟随
  3. 基于行为
  4. 基于图
  5. 人工势场法

文章研究内容

  1. 研究基于无人机视觉的地面目标检测与定位技术
  2. 设计协同工作下的无人车路径规划算法
  3. 制定无人车轨迹跟踪与编队控制策略
  4. 搭建协同实验平台做算法验证