气象大数据的建设与应用分析

    宋媛  

             甘肃省气象局信息与技术装备保障中心 甘肃省兰州市 730020

摘 要 随着大数据时代的到来以及快速发展，大数据已经成为信息技术产业的又一次重要的变革，而气象大数据的应用及研究价值都非常高。文章介绍了气象大数据的建设包括数据采集、数据平台、数据分析等，并对气象大数据的应用进行了相应的分析。

关键词：气象大数据；气象大数据的建设;气象服务

随着社会的高速发展和天气气象的愈渐复杂，气象中心的工作量日益增大，越来越多的数据和信息处理成为发展现代化气象业务所面临的重要问题，面对越来越庞大的观测数据和越来越专业的社会需求，一般的数据库已经无法有效的完成大型综合性数据分析的需要，提供专业的气象服务。所以在大数据时代，如何科学地进行数据分析，为气象中心提供更立体、更全面、更精准的服务，如何充分发挥大数据的优势，提升气象服务能力，已经成为气象科研工作要探究的重要课题。

1. 气象大数据

目前，我国国家气象局历史积累的气象数据达到PB级的总存量，单纯年新增量，也将达PB 级这样一个数值。气象数据种类丰富，有地面观测、卫星、雷达和数值预报产品等内容，全部由观测站点来完成收集任务。全国2000多个地面站、120多个高空探测站、440多个雷达站、６颗在轨卫星 、５万多个自动监测站、600多个农业监测站、90多个酸雨监测站^[1],

这些数据包含了地面观测 、卫星 、雷达和数据预报产品等几大类，每天逐小时甚至逐分钟 扫描着全国各地的天气数据。以这些数据为主，构成了气象部门的大数据，即“气象大数据”^[2]。气象大数据的应用和研究都有极高的价值，可以提供各类气象服务，如气象数据查询，也可以是为预报产品制作提供数据，还有就是将气象数据处理入库；气象科研需要，主要是开展气象大数据数值分析，提供气象灾害风险评估所需数据；公共气象处理和分析工作主要集中在对气象观测大数据方面。同时还兼顾到人们日常生产、生活、海洋、农业和交通等领域。

2. 气象大数据的建设

2.1 气象大数据的采集

目前的气象数据采集已经呈现出显著的大数据特点。数据量的爆增，还不是真正意义上的大数据。实际上，大数据更侧重于研究非气象类数据、或者是看起来与气象毫无关系的数据，在这些数量超大、而单个数据有效价值低的数据中挖掘出有价值的信息。因此，气象大数据采集不仅包括传统的气象数据，还包括其他任何可能用到的数据。如：哪些人在什么时间关注哪一类天气信息，某一类商品的销售信息，航班信息，用户访问气象网站的时间、地点、浏览内容、滞留时间，网络社区交流内容，手机应用使用情况等。气象大数据采集的一般特征表现为：自动、客观、单个监测点成本低、实时性强、数据量大、数据质量不高、间接性等，同时还具有物联网的特征。例如，2011年，美国国家气象局在美国2000辆客运大巴上安装了传感器，随着巴士的移动，这些传感器可以搜集沿途所有地点的温度、湿度、光照度等数据，并立即传回国家气象局数据中心。数据采集每10秒一次，每天每个传感器要采集10万次以上的数据。与此情况类似，该国邮政局计划在他们的邮政车上安装传感器，实时采集空气质量、污染指数、噪声等数据。

2.2 气象大数据的存储

大数据存取面临两个方面的问题。一是存储容量问题，当前省级气象部门应达到PB级水平。二是存取速度问题，要满足“１秒钟输出结果”定律。这两个问题既相互矛盾，又相互关联，必须统筹解决。解决这两个问题的关键不在于存储系统扩容，而在于系统架构设计和数据分析算法。需要应用分布式存储、分布式计算、云计算、非结构化数据存储等新技术，改造现有的信息系统，建设满足大数据需求的数据中心。

2.3 气象大数据平台

平台主要是利用云计算中的主要技术在数据采集的基础上实现平台的搭建。可以使用 Hadoop 分布式文件系统实现分布式文件冗余存储；使用分布式数据库HBase 实现动态气象大数据分布式数据索引；使用分布式计算模型 MapＲeduce 实现数据并行计算；使用数据仓库Hive实现静态气象数据的存储与便捷索引。平台层搭建完成后，能够为气象大数据应用分析提供技术支撑。

3. 气象大数据的应用分析

3.1天气预测

大数据的核心是 “预测”。大数据之所以能预测未来，靠的是对相关关系的把握，通过相关关系分析过去，获得对未来的预测。大数据分析不是一种传统的统计学分析，传统统计学方法对样本数据的正态性假设、变量的独立性、变量个数、假设检验等要求较高，而大数据分析（即数据挖掘） 则是对传统统计学方法的扩展和延伸，侧重于应用高维建模、多模式建模、复杂网络建模、非参数模型等新技术，从种类繁多、数量庞大的数据中快速获取有价值的信息。“多维”和 “混搭”是大数据分析的重要特征。许多成功的大数据应用案例，都是从似乎毫不相干的数据中找到了相互之间的相关关系。美国天气预报公司长期以来都在向航空公司和能源交易商销售天气预报服务。而现在，他们不仅仅能够提供天气预报，还能依据人们查看天气的时间、地点和频次等情况，预测人们的消费行为。借助大数据分析技

术，该公司帮助广告主投放高度精准的广告，如空气干燥时推销保湿型洗发水等。大数据与 “预防性维修模式”。美国一家运输公司通过 “任何数据都不能少”计划，从成千上万的货车运输系统中搜集了900个数据元素，包括轮胎和汽油使用的传感器、引擎运行、GPS定位数据，以及货车司机在博客上的抱怨等。通过对这些数据的集成分析处理，可以预测哪辆车的哪个部件什么时候可能出现故障，建立了 “预防性维修模式”，取代了过去出现故障后再进行抢修的“救火维修模式”，取得了很好的效果。这个案例对综合气象观测系统的运行保障有很好的借鉴意义。

3.2防灾减灾

“ 立足体量巨大、类型繁多的数据载体与云计算、感知方案和分布式处理技术的大数据预测”^[3] ,有利于深层次地探讨气象决策服务。同时，防灾减灾也是气象部门的重要职责之一 ， 尤其是灾害防御工作的高效完成具有非常重要的社会价值。引入大数据技术进行充分的数据融合和数据挖掘，综合地区性历史气候数据与灾害统计数据、相应区域的地形地貌数据以及人口条件等相关数据，能够科学合理的指导房屋建造以及建筑设施选址等灾害防御工作。 类似的示例还有对农业和气象信息的融合结果是调整农作物结构的重要依据，机场和航班历史天气特征的持续挖掘有利于提高航班延误预测的准确率等。

例如通过应用气象大数据，能够指导农户合理安排农业生产工作，尽量降低由于气象因素所造成的农业生产损失。以某地西瓜种植为例，由于西瓜喜热，该地 2015 年开春后出现倒春寒天气，导致大量西瓜苗受到冻害影响。另外，在西瓜上市期，某地连续降雨十几天，对西瓜政策销售造成了严重影响，农管家的交易平台上西瓜周均价一直处于下行。对此，可以通过气象数据分析，将未来天气预警信息推送给农业用户，有效地指导农户安排生产销售计划， 尽量减少农户因天气原因带来的经济损失，促进农户增收。

3.3其他潜在应用

大数据时代，天气预报不仅影响人们的出行，还将给人们生活带来巨大变化。气象大数据与社会诸多商业行为的结合，会展示出全新的价值。例如，中国气象局公共气象服务中心与日均数据处理能力达到上百PB的阿里云达成战略合作，共建专业气象服务以挖掘气象数据的深层价值,将之转变为可时分析应用的“活数据”^[4]，例如，将卫生部门门诊量、药品销量与当地天气等数据进行融合分析，有助于预测某些疾病的发病趋势。

4.结束语

大数据对气象部门的影响远远不止上述几点。从政府层面说，气象数据向社会开放是大势所趋，数据开放能够大大驱动全社会参与创新^［5］。从管理层面说，要学会以数据为基础，进行决策、管理和工作。从公共服务层面说，要学会应用大数据分析用户需求,持续改进服务质量。当然，大数据并不尽善尽美，信息安全和保护个人隐私将是大数据时代面临的严峻挑战。大数据时代已经来临，一场改变世界格局和人类生活的大数据革命即将引爆。谁掌握了大数据，谁就将在这个时代胜出。谁漠视大数据，等待他的只有落后。

[参考文献]

[1]纪晓峰.气象大数据的商业服务与研究［Ｊ］．IT专家网,2014．

[2] “气象大数据”以何种方式在气象领域蔓延［EB/OL］.http://www．Chinawuliu.com.cn/zhxw/201402/18/278296.shtml.2014-02-21.

[3] 蒋洁 ．大数据预测的伦理困境与出路[J].图书与情报,2014,(5). 

[4] 中国天气网.国家部委首次采用民营科技公司提供的云计算和大数据服务[EB/OL].http://www.weather.com.cn/index/2014/05/qxxw/2126167.shtml.2015-09-10.

[5] 涂子沛 ．大数据［Ｍ］．南宁：广西师范大学出版社,2012.