MatUQ
MatUQ 是一个专注于评估图神经网络（GNNs）在分布外（OOD）材料属性预测任务中不确定性量化（UQ）能力的基准框架。其目标是为材料信息学领域提供统一的评估标准，指导模型在真实场景（如新材料发现）中的可靠应用。以下是框架的核心设计：
评测数据
- 数据集来源：
- 包含 6 个材料科学数据集，涵盖光学（折射率）、力学（剪切模量）、热力学（形成能）、电子（带隙）和超导（临界温度）等属性。
- 数据源自权威平台（如 Materials Project、JARVIS DFT 2D）和文献（如 SuperCon3D）。
- OOD 任务生成：
- 1,375 个 OOD 预测任务，通过 5 种基于 OFM 的划分策略（LOCO、SXC 等）和 新型 SOAP-LOCO 策略 构建。
- SOAP-LOCO 创新点：基于原子局部环境描述符（SOAP）动态聚类，生成更具挑战性的结构分布偏移任务。
评测方法
模型分类与选取
评测 12 个代表性 GNN 模型（2018–2025），按架构分为两类：
- 卷积架构（Convolution-Based）：
- 早期模型：CGCNN（2018）、SchNet（2018）、MEGNet（2019）。
- 进阶模型：DimeNet++（2020）、ALIGNN（2021）、PotNet（2023）、eComFormer（2024）。
- 特点：依赖局部化学环境建模（如距离/角度编码）。
- 注意力架构（Attention-Based）：
- 主流模型：DeeperGATGNN（2022）、Matformer（2022）、iComFormer（2024）、SODNet（2024）、CrystalFramer（2025）。
- 特点：引入自注意力机制，捕捉长程依赖与周期性（如 SE(3) 等变性）。
训练协议
- 不确定性感知训练：结合蒙特卡洛Dropout（Monte Carlo Dropout, MCD）和深度证据回归（Deep Evidential Regression, DER）。
- 显著降低 OOD 预测误差（平均 70.6%）。
评测指标
MatUQ 的评测指标分为两大核心类别：精度指标（评估预测准确性）和不确定性指标（评估预测可靠性）。以下为详细说明：
- 精度指标（Accuracy Metrics）衡量模型预测值与真实值的偏差程度。
- MAE（平均绝对误差）
- 计算方式：对确定性推理（单次前向传播）的预测结果，计算所有样本绝对误差的平均值。
- 意义：反映模型在标准推理模式下的基础预测精度。
- D-MAE（基于Dropout的MAE）
- 计算方式：通过MCD进行 T=50 次随机采样，取预测均值后计算MAE。
- 意义：评估引入随机性后的鲁棒精度，更贴近实际OOD场景的波动性。
- 不确定性指标（Uncertainty Metrics）评估模型对预测可信度的量化能力。
- EviU（证据不确定性）
- 计算方式：基于深度证据回归（DER）输出的正态逆伽马分布参数 (γ,ν,α,β)，计算认知与偶然不确定性的加权和。
- 意义：在确定性推理下直接估计总不确定性。
- D-Unc（Dropout不确定性）
- 计算方式：通过 T=50 次MCD采样，计算预测均值的方差。
- 意义：量化模型参数本身的认知不确定性。
- D-EviU（核心创新指标）
- 计算方式：对 T 次MCD采样的DER参数 (ν,α,β) 取平均，再代入EviU公式计算。
- 意义：融合随机推理与证据理论，同时捕获认知不确定性和数据噪声（偶然不确定性）。
总结
MatUQ 通过严格的 OOD 任务设计、统一的不确定性训练协议和多维度评估指标，首次系统评估了 GNN 在材料属性预测中的分布偏移鲁棒性。其核心结论包括：
- 几何感知模型（如 CrystalFramer、ALIGNN）在多数任务中领先。
- 早期模型（如 SchNet）在特定属性（力学）仍具竞争力。
- D-EviU 指标为不确定性量化提供可靠标准。
- 该框架为材料发现中的模型选择提供了实用指南，代码已开源。
