气象大模型评测

气象大模型评测基准WeatherEval

气象大模型在气象预测与科学研究中的应用正日益受到重视，其中对气象大模型的评测成为了一个关键的研究方向。气象大模型作为大气运动、天气变化等现象的数学模拟工具，广泛应用于气象预报、气候分析、环境科学等多个领域。随着深度学习技术的飞速发展，气象大模型凭借其强大的数据处理能力和复杂的模型结构，展现了巨大的应用潜力。

气象大模型的应用背后，离不开强大的计算能力和精细的模型设计。这些模型能够捕捉大气系统中的复杂非线性关系，并模拟出各种天气现象和气候变化趋势。与传统的气象预测方法相比，气象大模型具备更高的精度和更广泛的适用性，特别是在处理大规模数据和复杂气象系统时，它们展现出了独特的优势。

气象大模型的核心是深度学习网络架构，不同的网络结构适用于不同的气象预测任务，如降水预测、风场模拟、温度预测等。此外，还有基于生成对抗网络（GANs）的数据增强模型，可以生成更多的气象数据，进一步提高模型的泛化能力。

本课题将深入探究气象大模型在气象预测与科学研究中的应用，并详细评估不同模型架构在气象预测中的性能。以全面了解模型的适用范围和限制。

最后，本课题将讨论如何有效评估气象大模型的性能，包括精度、计算效率等关键指标。通过与其他气象预测方法的对比，我们将揭示气象大模型在气象预测中的优势和不足，为气象科学研究和气象预报服务的改进提供有力支持。

2.1.1.1 数据集ERA5介绍

ECMWF的再分析数据集是通过定期使用其预测模型和数据同化系统对已存档的观测数据进行重新分析，从而创建出描述大气、陆地和海洋近期历史的全球数据集。这个过程为我们提供了一致且无缝的“无间隙地图”，以便于更全面地了解气候和天气变化。

最新的ECMWF再分析数据集是由欧洲气候变化服务（C3S）生产的ERA5。ERA5提供了从1979年（最终延伸到1950年）以来的每小时大气、陆地表面和海浪的快照。它不仅提供高分辨率的数据，还包含不确定性估计，强调了再分析产品依赖的观测系统在历史上的显著发展。

ERA5数据包括ERA5-Land每小时和每月平均数据（自2001年至今），以及ERA5每小时和每月平均数据（从1979年至今）。这些数据集按压力层和单一层次进行划分，能够满足不同研究需求。“分析和预测”涉及对大气条件的分析和未来条件的预测。分析结合了观测结果和以前的预测，提供瞬时参数（如特定时间点的温度），而预测从特定时间的分析开始，通过模型计算未来条件，提供瞬时参数、累积参数、平均速率和最小/最大参数。“时间和步长”描述了参数的时间属性，将每个参数分为瞬时、累积、平均速率或最小/最大四类。例如，瞬时参数指特定时间点的数据，累积参数是特定时间段内的累积值，平均速率参数表示特定时间段内的平均速率，最小/最大参数则指特定时间段内的最小或最大瞬时值。

ERA5为气候和天气研究提供了重要的资源，支持科学家和研究人员更好地理解和预测气候变化和天气模式。气象大模型也是基于ERA5数据集进行训练以及推理。

2.1.1.2 评测大模型

采用七个气象大模型进行评测。

1. 英伟达“FourCastNet”以及英伟达“FourCastNet-v2”

实现前所未有的天气预报准确率 FourCastNet结合傅立叶神经算子（FNO）来降低计算复杂度，实现了高分辨率预测。该模型在2秒内生成一周长度的高分辨率（0.25度）天气预报，其速度相比传统数值预报方法提升了45000倍。FourCastNet采用“预训练+微调”范式，扩展到降水预报等下游任务。

2. 华为“盘古”

首次预报效果超过传统数值模式 盘古天气大模型通过纯数据驱动的AI方法，取代了传统数值模式（NWP）中的动力核心和参数化方案，实现了比传统数值模式更高的预报效果，同时速度提升了10000倍。然而，盘古天气大模型基于欧洲中期天气预报中心（ECMWF）的ERA5再分析数据，不直接基于观测数据进行预报，其AI方法未替代数据同化过程。盘古天气大模型以3D Swin Transformer为骨干网络，输入初始大气状态，输出与初始状态结构相同的未来大气状态，并使用层次化时域聚合策略减少预报的迭代次数，从而减少迭代误差。

3. DeepMind“GraphCast”

大部分变量预报超过数值预报方法 GraphCast使用图神经网络（GNN）创建自回归模型，将原始经纬度网格的输入数据映射到多网格上的学习特征中，实现了对复杂天气模式的精准预测。该模型在60秒内预测10天内的天气，在252个变量中有99.2%超过了现有最准确的机器学习天气预报模型，在2760个变量中有90%超过了欧洲气象中心的高精度预报（ECMWF HRES Forecast）。

4. 上海人工智能实验室“风乌”以及“风乌v2”

全球气象有效预报时间首破10天 风乌采用多模态神经网络和多任务自动均衡权重解决多种大气变量表征和相互影响的问题，30秒即可生成未来10天全球高精度预报结果。为了优化多步预测结果，风乌使用缓存回放（replay buffer）策略，减少自回归预测误差，提高长期预测的性能。

5. 复旦“伏羲”

首次将AI天气预报精度提升到ECMWF集合平均预报水平 伏羲基于U-Transformer结构，并通过级联方式提升预报精度和时长，实现了在评测集上达到欧洲中期天气预报中心（ECMWF）集合预报的集合平均水平，并在预报中显著领先于欧洲中心的确定性预报。该模型参数量达到了45亿。

2.1.1.3 评测指标

为全面评估大模型模型的表现，WeatherEval设置了性能和功能两个维度的评测指标。在性能维度中，包括精度指标和效率指标。

1.均方根误差 (Root Mean Square Error, RMSE)

均方根误差 (RMSE) 是一种衡量预测模型在㭉个时间段内预测值与实际观测值之间差异的指标。

2.异常相关系数 (Anomaly Correlation Coefficient, ACC)

异常相关系数 (ACC) 是衡量预测值与实际观测值之间相关性的指标,通常用于评估天气预报模型的准确性。

3. 偏差 (Bias)

偏差 (Bias) 是衡量预测值相对于观测值的系统性误差, 表示预测值的平均误差。

4. 花费总时间

计算加载大模型时间、推理时间计算得到总时间。

2.1.1.4 大模型排行榜

本章节将给出相关的排行榜计算规则以及评测的结果