这是Google「气球互联网」项目“Project Loon”交回的最新成绩单。
Google母公司Alphabet于2013年6月正式启动Project Loon计划，该计划旨在将AI技术与超压气球相结合，为更多地区提供低价且高速的无线互联网服务，尤其是与市中心相距甚远的偏远地区。
前段时间，Loon顺利完成了最新一轮飞行测试。
昨日，最新分析结果显示，在飞跃太平洋的39天里，Loon气球表现出了比以往更好的性能——基于最新人工智能系统，它能够更快地计算出气球的最佳导航路径；在目标区域上飞行的时间更长，消耗的能量更少，更关键的是，它还提出了研究团队此前未曾想到过的新的导航动作。
而这一最新人工智能系统正是基于强化学习（ Reinforcement-Learnin，RL）算法的AI系统。
研究人员称，这是他们首次将RL系统应用到航空航天产品中。Loon取得的成绩，表明RL可以作为解决现实世界自主控制问题的有效解决方案。
目前，有关这项研究发现的论文成果已经登上了《Nature》杂志。
接下来，我们来具体聊一下：Google为什么要开展「气球互联网」计划，以及强化学习系统到底解决了哪些难题。
「气球互联网」计划
你可能难以想象，在互联网如此普及的当下，全球还有一半的以上的用户无法享受到这项服务。
2013年，为了让30多亿用户所在的偏远地区覆盖互联网，Alphabet正式启动了高空互联网服务项目。之后几年，陆续有不少科技公司也加入了这个队伍，比如SpaceX、OneWeb等。
其中最值得一提的，是马斯克的“太空互联网”计划，他计划向太空发射42000颗通信卫星，在地球低空轨道形成一个巨型星座来完成与地面的通信任务。目前他已经成功发射了近900颗卫星。
相比于马斯克的「太空卫星」，Alpbet则把通信业务的核心放在了「高空气球」上。
具体来说，用「高空气球」实现地面通信的过程如下：当气球上升到高空平流层后（超过云层12英里高），利用“太阳能技术”吸收能量以作为电力支持，然后通过“算法系统控制（ Algorithmic Control）”让气球上下飘动，并根据风向捕捉风流信号，将气球稳定在一个固定区域。
最后通过“网状回路（Mesh Networking）技术”，将互联网数据包从一个气球传输至另一个气球；从气球传输至在屋顶建立天线的家庭和企业用户；最后将这些用户的数据传输出去。
这一过程中，如果气球在平流层飞行的时间越长，意味着Loon越可以在较低成本下为目标区域提供更长久的连通性，这也意味着互联网服务将不仅可以覆盖到更偏远的地区，而且它的价格也会更便宜。
在近几年的飞行测试中，Loon的平流层飞行时长不断刷新着世界纪录，目前最高成绩已经达到312天，接近一整年。
这项最高飞行纪录开始于2019年5月，Loon从波多黎各（Puerto Rico）起飞，进入秘鲁（Peru），然后在那里进行为期三个月的飞行测试。测试结束后，向南越过太平洋，于今年3月在墨西哥的巴哈（Baja）登录。
这项记录刷新了当时223天的最高记录，Loon首席技术官Sal Candido在博客中表示，创纪录的飞行成绩是该公司努力发展技术，并以创新的方式推动硬件和软件向不断升级的结果。
当时Loon的软件系统还并未引入RL。
目前，Loon已经在澳大利亚、昆士兰、肯尼亚、新西兰、加州中央峡谷以及巴西利亚东北部等多个地区提供了Loon测试服务。去年，因受到飓风袭击的影响，美国电信运营商还利用Project Loon为超过25万的灾民提供了网络连接。
不过，在以上服务过程中，Loon的平流层导航问题依然面临很大的挑战。
此次，基于RL系统的提出为解决当前的挑战提供了一种全新的解决方案，与原有的气球导航系统相比，RL算法改善了飞行过程中的决策时间问题。
谷歌加拿大公司的研究科学家、论文一作马克·贝勒马尔（Marc Bellemare）表示，
通过强化学习，我们可以根据数据决定该如何操作，AI不仅可以做出决策，而且可以根据移动的时间做出实时决策。
Loon：强化学习飞行控制器
如果在一个区域提供完全的网络覆盖，Loon一次至少要运行5到10个气球。如果覆盖范围扩大，需要调用周围的备用气球，在空中组建一个更大的网状网络。
在这一过程中，气球一般会出现以下状况：一是因电池报废等因素，导致气球寿命缩短并自动降落。二是受飓风等恶劣天气影响，气球被吹出固定服务区；
三是最关键也是难度最高的气球导航。
上文已经提到过，Loon的气球导航是通过球体上下移动，寻找合适的气流来进行导航。
如下图（a）气球通过在不同高度的风之间移动来接近它的指定位置。（b）显示了气球的飞行线路，蓝色圆直径代表50公里，为气球之间的最佳距离。
但气流是不稳定的东西。靠风在天空中移动就像使用一个道路网，在那里街道会改变方向、车道数和速度限制，甚至在不可预知的时间完全消失。
因此要做到这一点就需要一套更复杂的算法—强化学习。通过训练飞行控制器，RL可以形成一套控制策略，以处理高维的、异质的输入，并优化长期目标。比如，RL已经在Dota 2等即时策略性游戏中多次战胜人类顶级玩家，而且在长远策略方面表现惊人。
而对于一个好的飞行控制器，需要确保三点：精准且丰富和数据集，最低负载消耗以及低计算成本。
在数据集方面，研究人员根据欧洲中期天气预报中心（ECMWF）的全球再分析数据（ERA5）创建了可信的风数据集，并通过数据集的模型训练重新解释历史天气观测的结果。（ERA5提供了用程序噪声修改的基准风，通过产生高分辨率风场改变驱动程序噪声的随机种子，可以提高控制器建模误差的鲁棒性。）
在最低负载消耗方面，研究人员将部署控制器的平均功率控制在了StationSeeker之下（之前的风控制系统），同时使用奖励r对目标进行了编码。当气球距离保持在50公里范围内时，r=1为最大值。当然这种奖励也与气球的状态有关，也就是说，它的响应随时间t的变化而提供不同的指示（上升、下降或停留）
当系数小于1时，最优控制器将使未来回报的预测折现总和最大化，即“回报”。
其中E表示期望值。Rs表示飞行控制器从初始状态形成的长期值。
最后，计算成本主要体现在风的测量上，研究人员使用高斯过程将气球的测量结果与ECMWF的预报结果相结合，将风预报作为先验平均值。后验分布的方差量化了不同风估计的不确定性。作为控制器的输入，对气球正上方和下方的风大小和相对方位进行编码，在181个气压等级下，范围为5 kPa到14 kPa。
太平洋高空测试
基于以上RL控制器，研究人员在太平洋上空进行了为期39天的气球导航测试。
从2019年12月17日—2020年1月25日，Loon累计飞行了约2884小时。这些数据被划分为851个三小时时间，每个时间段作为一个独立样本。最终测试结果显示，
RL控制器在平流层内飞行的时间更长（TWR50 79%对72%；U=850, 410.5，P<10-4）；高度控制使用的功率更少（29w对33w，U=1048,814，P<10-4）。
与StationSeeker相比，在50公里射程内，RL控制器根据风况使用不同的策略，可以使其在25-50km射程内花费更多的时间（图4b）；通过主动移动以返回目标区域，缩短了偏移时间（图4c）。同时也让它节省了更多能耗（图d）最后，RL控制器利用海拔高度将电池容量过剩的太阳能转化为了势能（图4e）。
这些结果表明，强化学习是解决现实世界中自主控制问题的有效解决方案，在传统控制方法（StationSeeker）无法满足要求的情况下，需要创建与真实动态环境持续交互的人工智能体。
更多论文内容可参见：https://www.gwern.net/docs/rl/2020-bellemare.pdf#google
