荷兰政府用大数据预测天气预防自然灾害

你是否对天气预报电视报道的背后的运作感到好奇?是谁在管理政府卫星?也许你会思考关于传感器的一个问题——数据会流向何处?

在荷兰，这些数据是由KNMI或政府的气象部门-(Kininklijk Nederlands Meteorologisch Instituut)收集和管理的。KNMI预报天气，研究气候变化并监视地震活动，他们的影响力远远超出了荷兰。

2017年，由KNMI制造的TROPOMI随Sentinel-5 Precursor卫星发射升空。最近，TROPOMI测量并绘制了由于COVID-19导致的12月至3月中国二氧化氮浓度下降的图表。

但是如何收集这些数据?TROPOMI和其他传感器任何将数据传到KNMI?收到后如何处理?

最近，TNW与Saskia Wagenaar和Roy Engelen进行了交谈，他们两个是为KNMI进行数据收集和分发的开发人员。

1、从传感器到天气室

云工程师Roy Engelen告诉我们：“KNMI由几个部门组成。有些部门负责研究工作，有的部门在现场进行实地工作，更换传感器并进行测试。而气象学家，他们实际上负责向荷兰人发出预警。”

如果我们要简单描绘一下数据如何在KNMI中从A到B，现场传感器将是起点。Engelen在IT迁移团队中担任云工程师，该团队负责整个信息链，从传感器一直到天气室。他说：“我的部门是使整条链保持运行和信息运行的助手。因此涉及更多IT相关的工作。”

这些传感器可以完成人类数百年来的工作-观察天气。但现在，他们会自动收集温度，降雨量和气压等数据。

Engelen说：“因此，在荷兰，拥有48个传感场地，其中陆地上34个，海上14个”。当地还有一些人，他们的花园里有一个小型传感场地，或者是农民，他们的田里也有传感器，所有这些数据在KNMI得到收集。”

Engelen猜测：“这些人大多数都是个人志愿者。该国大约有300名志愿者。但是，愿意帮助的志愿者人数有所减少，因为这是需要每日都进行的工作。”Engelen告诉我们，这是KNMI要解决的一个问题，因为当地志愿者非常重要：“这300个额外的数据点对于获得清晰的画面确实至关重要，因为预测模型需要高分辨率。”更多数据意味着更准确的天气预报。

现场传感器收集到数据后，将通过KNMI的模型运行数据。“所有这些数据输出都会生成地图，视频等。”

Engelen说，“还收集了来自雷达和卫星的原始数据，并将这些数据用作预测模型的输入，并生成实时地图。然后将这些地图发送给气象室(以及着名的布恩拉达尔)中的气象学家，气象学家给出有关天气的警告和信息。原始数据得到存档，以便研究气候变化并建立更好的天气预报模型的研究人员可以使用。”

该数据一直在收集，理论上是如此。有时，传感器会在现场掉落。

Engelen继续说：“例如，使用激光测量鸟群的多云度，或鸟在传感器上筑巢都可以影响传感器。而且，由于测量雨水，在很久以前(带有传感器)的田地还没有关闭，所以任何人都可以越过它们。喝醉了的人会在里面排尿，所以突然那里有很多降雨。”但是，Engelen保证：“传感器将不断得到改进，类似的事情过去曾发生过。”

2、数据会如何处理?

Saskia Wagenaar是从事KNMI数据平台(KPD)的软件工程师，该平台可通过API访问所有KNMI的开放数据和许可数据。Wagenaar的团队使用Engelen建立的云基础架构。

Wagenaar告诉TNW：“我的责任是真正收集数据并使之可用。“我作为数据分发者的角色的好处在于，不仅KNMI的科学家可以将其用于研究;每个人都有访问权限。因为我们是政府机构，所以我们必须免费提供开放数据。”

最常访问此开放数据的人员是学者、政府研究人员，还有商业公司，例如史基浦机场和荷航，他们使用这些数据来根据天气情况安排飞行航班。

管理如此众多的开放访问数据并非没有挑战。除了人工和数据存储的成本外，还要确保以一种有效的方式提供数据：“如何为用户提供如此庞大的数据量，以便他们可以正确使用它们?这就是我的团队正在努力的事情。我们从许多不同的领域收集数据，例如雷达测量，风向测量或卫星数据等，我们必须以不同的方式处理所有这些数据。

因此，我们一直在向量身定制的API开发迈进，这些API可访问这些不同域的数据。我们正在积极地收集用户的意见，询问他们如何使用数据。根据他们的使用经验，我们可以确保API有用。

KNMI的研究不仅仅对荷兰有重要意义。Wagenaar从事的项目旨在合并欧洲国家的数据，这些数据均以不同的方式收集和提供。Wagenaar说：“这使得在重大事件发生时很难迅速地了解清楚情况。”

3、自然灾害与气候变化

“重大事件”包括自然灾害，例如冰岛火山Eyjafjallaj?kull于2010年爆发。Wagenaar告诉TNW，欧洲中部的数据宝库将提高“预警能力和态势感知”，这可能至关重要。在欧洲的合作中，确保将地面测量和卫星测量都集中在一个中心点，以便欧洲每个人都可以访问数据，如果类似事件再次发生，人们可以使用它来提前预知。”

Wagenaar表示：“尽管在该领域收集的大多数数据都用于天气预报，但数据存档对于研究气候变化也至关重要。存档之后，(数据)对于气候变化研究变得非常重要。要查看气候变化趋势，传感器始终位于同样的位置非常重要，这样预测的结果才更贴近。”

如前面所说的，最近发生的一次导致趋势发生变化的事件是COVID-19：“我认为最有趣的是我们实际上在世界上某些地方看到空气质量正在改善。我们可以通过卫星看到，封城的上空的空气中的微粒更少。”

4、充满希望

政府开发人员的工作并不是最独立或最具创造力的，尤其是在涉及天气的情况下，这是人类无法控制的。但是Engelen表示，他在IT迁移团队中担任云工程师的工作具有很大的自由度。实际上，这就是他最初来KNMI工作的方式。Engelen说：“会鼓励你在整个IT流程中积极提出意见。”

Wagenaar被使用KNMI数据平台的机会所吸引，因为有机会与研究人员紧密合作，并采用了新技术：“我已经来这里三年了，我认为这是一个非常有活力的环境。当我开始在KNMI工作时，所有工作都是通过本地服务完成的。我们现在正在走向云端技术。另外，我们将使用不断更新的技术，这是一个非常有趣的过程。” Wagenaar总结道：“它使我们能够学习和发展自己，以及改进我们的工作方式。”