山西大学在贝叶斯误差率估计研究方面取得重要进展

近日，山西大学智能信息处理研究所研究团队在贝叶斯误差率估计的理论与方法研究方面取得了重要进展，相关成果以“Evaluating Classification Model Against BayesError Rate”为题发表在人工智能领域国际顶级期刊《IEEE Transactions on Pattern Analysis andMachine Intelligence》（简称TPAMI，影响因子：24.314）。该论文第一作者为2019级博士生陈庆强，通讯作者为曹付元教授和梁吉业教授，合作者为2019级博士生邢颖。 8R z=)J  
+:t1PV;l  
如何精准估计贝叶斯误差率是机器学习中的一个研究难题。贝叶斯误差率是分类器所能达到的最低误差率，可为模型性能提升提供理论上的参照标准。近年来，基于散度估计贝叶斯误差率的方法受到了较多的关注，但这些方法只能提供贝叶斯误差率的上下界，并不能为模型性能提升提供精准的参照。 Y'Af I^K  
}FK6o 6  
针对贝叶斯误差率不可精准计算面临的挑战，该研究提出了一种基于贝叶斯决策理论和渗透理论的贝叶斯误差率计算方法。具体地，基于贝叶斯决策理论，证明了贝叶斯误差率与贝叶斯分类器误分类样本占所有样本的比例具有统计一致性。 t (1z+  
5M(?_qj  
基于随机环境中聚簇现象理论（渗透理论），建立了误分样本与聚簇大小的关系。基于标签传播算法和聚簇构建算法，提出了可直接估计贝叶斯误差率的方法。研究成果突破了基于散度估计贝叶斯误差率上下界的传统思维，为精准的贝叶斯误差率估计提供了有效的计算方法。 qB&*"gf  
{L+?n*;CA  
在合成数据集和真实数据集上的对比实验验证了所提方法（BN-BER）的有效性。除模型评估外，BN-BER还可以用于刻画神经网络的表达能力，对确定神经网络训练的迭代次数具有重要的指导意义。 s)N1@RBR  
OO$<Wgh  
该研究工作得到计算智能与中文信息处理教育部重点实验室、科技创新2030-“新一代人工智能”重大项目、国家自然科学基金面上项目的支持。