文|娱栀
编辑|娱栀
介绍
无人机的（UAV）通信是一种固有优势，特别是作为一项新的前沿技术，它提高导航自主性，敏捷部署以及易于建立面向地面用户的视线。
在搜索和救援（SAR）无线网络中，无人机通信在传感和测量，地图构建和目标检测方面发挥着重要作用，特别是当SAR任务缺乏用于远程通信的地面基础设施时 。
对于无人机群物联网网络，它的通信和感应范围有限，需要延迟灵敏度控制。在部署无人机时，大多数现有工作都建议通过通信链路将多架无人机的全球信息发送到中央控制单元。
然而这样的控制框架会导致一些无线通信成本和延迟，从安全和隐私的角度来看，全球信息的传输会增加无线信息泄露的风险。
在合作任务方面，需要考虑三个重要特征，首先合作框架应以分布式方式设计，互联的参与者可以依靠局部状态信息，在可容忍的通信延迟内获得全局优化的解决方案。
其次参与者可以实现自动操作，即移动和避障，通信和感知能力有限，第三需要构建该框架以提供对内部和外部环境的适应性和鲁棒性，尤其是在面临未知任务和系统故障时。
协同无线覆盖可以释放无人机群在执行SAR任务时具有更大的潜力，具有低延迟，低能耗和高鲁棒性。
系统模型和问题制定
根据无人机群的时延灵敏度和有限的通信范围，考虑了一种分布式控制策略，其中每架无人机都可以利用相邻的信息交换来最大化任务区域的无线覆盖。
基于此，将无线覆盖问题分解为几个分布式优化子问题， 这些子问题是整数非凸优化问题，无法通过标准凸优化方法解决。
特别考虑到无人机间通信链路中的信道衰落和噪声，将无人机群网络建模为无向随机图，并通过制定无人机群无线覆盖博弈来解决问题。
结果表明，当所提算法在有限迭代内收敛时，任务区无线覆盖范围可以有效扩展，由于协作任务的前景优势，已经有几项工作致力于扩大无人机群的协作无线覆盖范围 。
研究过通过分布式多无人机轨迹规划Q -覆盖面的学习方法，这些方法高度依赖于全局状态空间、全局操作空间和局部Q -函数近似，因此缺乏鲁棒性。
博弈论起源于现代数学的一个分支，然后在金融、计算机科学和军事场景中得到了广泛的应用 。
在实践中当集群无人机交换信息以估计其状态信息，然后进行共识控制时，无人机之间的通信链路会受到信道衰落和噪声的影响。
这种自然现象会导致信息交换中的随机无线链路故障，即链路中断或数据包丢失。
对于每架无人机，从不可靠的信息交换中获得对无人机状态信息的偏估计，从而降低覆盖控制的性能 。
然而，这些方法主要关注群体本身的连接，需要通过已建立的链接向所有/集群无人机广播自我修复信息，而不考虑上述随机无线链路故障，这与我们的工作不同。
总体而言，基于游戏的潜在方法能够以完全分布式的方式有效地解决协作无线覆盖问题 ，但 信道衰落和噪声引发的随机无线链路故障尚未得到很好的考虑。
问题转换和博弈分析
每架无人机都必须最大化自身和邻居的无线覆盖区域， 但是每个优化子问题是非凸的，并且具有一系列非线性约束。
我们将两个相邻的无人机表示为m 和n ，无线覆盖区域Sm和Sn可以相互耦合，这增加了优化的难度。
作为一个整数非凸优化问题，很难通过标准凸优化求解器求解，为了解决这个问题，我们制定了一个特定的博弈模型，并使用势博弈论求解优化子问题。
通过将无人机群视为多智能体系统，每个无人机都将其他无人机视为环境的组成部分。
它将感知环境，获取效用反馈，并建立最佳控制策略以完成复杂的任务，在每个时隙中，获取环境信息，相邻无人机在通信图中Gc基于边缘共享本地信息，与邻居连接的概率为m无人机可以通过以下方式计算：
由于假设两个不同无人机对的无人机到无人机连接概率是独立的，而每个无人机对无人机对的连接概率本身取决于所涉及的两个无人机所采取的行动。
因此在当前时隙中，无人机之间的连接概率m和n可以写成：
获得最佳纳什均衡是基于一个有趣的性质，即有限改进性质，它指出如果恰好有一架无人机计划在每个时隙中改变其控制策略，并具有最佳回复过程，则势函数的值可以不断增加。
基于这一性质，经过有限的迭代次数后，控制策略可以收敛到纯纳什均衡，势函数可以通过一些学习算法收敛到纯纳什均衡，例如最佳响应动态，空间自适应游戏，虚构游戏等。
然而，这些算法实现的纯纳什均衡通常是局部最优解， 受二元对数线性学习的启发，提出了一种分布式无人机群无线覆盖学习算法，以获得公式博弈的最佳纳什均衡。
开发所提出的算法的一个重要考虑因素是避免无人机之间的冲突，由于动作空间对应于离散位置选择， ， 无人机不能在动作空间中自由选择动作。
如果可用的通信距离约束禁止无人机可以选择的备用位置，则此类操作将限制在当前时隙内。
在这种情况下，此受限操作空间写为一个分辨率m(一个m)⊆一个m ，无人机在当前时间段的动作选择取决于它们之前的动作。因此，受限操作空间具有以下两个属性 。
最佳纳什均衡实现过程仅取决于相邻无人机之间的局部信息交换，每架无人机都自私地寻求最大化自己的效用，从而提高无人机群的整体效用。
在每个时隙中， 所选无人机只需要计算其先前动作和试验动作的效用，计算开销较低，该算法适用于时延敏感且能量受限的无线物联网网络。
仿真结果
在模拟设置中，任务区域未知且没有边界，为了计算无人机群的无线覆盖面积，我们使用蒙特卡洛方法在1000m的正方形区域，进行200次模拟无人机群的初始无线覆盖区域。
在此图中，无人机的初始位置是随机选择的，其遵循均匀分布。 如图所示，蓝色区域为无人机群的初始无线覆盖区域，红色菱形表示无人机在x -y 维度平面。
图4显示了动作选择策略相对于迭代次数的概率变化， 可以观察到在前0次迭代中，选择旧操作的概率在5.30左右波动，然后在1次迭代后大约收敛到100。
无人机在探索新动作和利用算法开始时的先前动作方面获得了几乎相等的效用， 原因是无人机一开始比较集中，动作变化对无人机群的无线覆盖区域影响不大。
随着迭代次数的增加，所提出的算法更喜欢前一个动作，当所提算法近似收敛到1时，由于浮点数据格式的精度，理论上仍存在非常小的探索速率，但模拟中仍存在零探索速率。
图4 相对于迭代次数的操作选择策略的概率
在图5 中，我们将开发的算法的性能与基准方法进行了比较：最佳响应动态和随机响应策略，直观地表明，所提算法优于基准方法。
具体来说，在44次迭代后大约可以收敛到80个点，这些结果表明，所提算法能够成功地提高各无人机的效用，从而最大化相对于无人机群总无线覆盖区域的潜在功能。
图5 每架无人机在150次迭代中的效用，有三种不同的方法：所提出的算法，最佳响应动态和随机响应策略
对于基准方法，最佳响应动态的效用也可以在50次迭代后收敛到固定效用值，尽管最佳响应动态的收敛速度快于所提算法，但采用我们提出的算法有明显的提高。
原因是最佳响应动态总是在每次迭代中选择较大效用的动作，以便容易收敛到局部最优解， 随机响应策略的效用在23点到36点之间波动，表明无人机无法做出一致的动作选择策略。
在图6中分析了初始学习率和步长对算法性能的影响，从这个图中，发现这两个参数确实对算法性能有影响。
具体来说当初始学习率固定为β0m=0.001 ，小步长收敛到比大步长更大的效用，当步长增加两个数量级时，性能会显著下降。
图6
原因是小步长可以在仿真中探测速率达到零之前，为无人机带来更多探索环境的机会。
当步长固定为Δβm=0.0009 ，我们可以发现，大的初始学习率最终会导致一个小效用，此外，我们看到合适的初始学习率和步长降低了收敛成本。
这些见解与分析图4中的结论一致，揭示了选择合适的首字母的重要性β0m 和步长Δβm 学习最佳纳什均衡。
本次分析了每架无人机在500次迭代中的选择情况，观察到每架无人机被多次选择以在整个算法中调整其动作。
从这个子图中， 可以看到无人机的选择频率大致遵循均匀分布，这意味着可以在每次迭代中以相同的优先级选择每架无人机。
也就是说， 每架无人机在算法运行中几乎消耗相同的机载能量，因此，所提算法可以节省无人机群的能耗，延长无人机的飞行时间。
最后比较了初始无人机群和最终无人机群之间的总无线覆盖区域， 研究发现，使用所提算法后无线覆盖的性能提高了约58%。结果表明，所提算法对提高无人机群的无线覆盖是有效的。
结论
对于研究无人机群的下行链路无线覆盖，以最大限度地覆盖未知任务区域，在覆盖控制*特中**别考虑了无人机间通信链路信道衰落和噪声引起的随机无线链路故障。
由于时延灵敏度和机载能量限制，考虑了一种分布式控制策略，其中每架无人机仅利用本地信息交换来最大化无线覆盖，并将无线覆盖问题划分为几个分布式优化子问题。
为了解决每个子问题的非凸性质以及它们之间的耦合，通过公式化的无人机群无线覆盖游戏解决了优化子问题，玩随机图，使用所提出的算法得到了最佳纳什均衡。
此外还分析了所提算法的收敛性和计算复杂度，通过大量仿真，从不同方面分析了所提算法的性能，结果表明，所提算法能够将能量成本分散到集群无人机之间，延长无人机飞行时间。
结果表面某些级别的随机无线链路故障对收敛没有影响，从初始和最终无线覆盖区域性能的显著提升中，我们生动地表明，所提算法的有效性具有约58%的覆盖提升。
参考文献：
移动无线传感器协作网络的中断概率性能研究. 王涵;杜文才;万倩倩.传感技术学报,2020
无线传感器网络无标度容错拓扑的连锁故障诊断算法. 杨祥.计算机应用研究,2016
基于匹配博弈的无人机群多跳中继路径优选算法. 曾弘扬;安思璇.通信技术,2020
如果你也喜欢我的文章，不妨点个“关注”吧！小生在此谢过了！
END