Kappa系数（Cohen's Kappa）是一种用于评估分类模型性能的统计指标，特别是在处理具有两个以上类别的分类问题时。它考虑了随机一致性的因素，因此比简单的准确率更能反映模型的性能。Kappa系数的值范围从-1到1，其中1表示完全一致性，0表示与随机一致性相同，-1表示完全不一致性。
Kappa系数的计算公式
Cohen's Kappa的计算公式如下：
[ \kappa = \frac{p_o - p_e}{1 - p_e} ]
其中：
- (p_o) 是观察一致性概率，即实际分类中相同的比例。
- (p_e) 是期望一致性概率，即在随机情况下预期会相同的比例。
计算步骤
- 创建混淆矩阵：首先，你需要有一个混淆矩阵，它显示了每个类别预测和实际结果的分布情况。
- 计算(p_o)：这是混淆矩阵对角线上的元素之和除以总样本数。
- 计算(p_e)：这是每行和每列的边缘频率乘积之和再除以总样本数的平方。
- 代入公式计算(\kappa)。
例子
假设我们有一个关于天气预测的混淆矩阵，如下所示：
晴 20 5 0 25 雨 4 16 3 23 雪 0 2 12 14 总计 24 23 15 62- 计算(p_o)：
[ p_o = \frac{20 + 16 + 12}{62} = \frac{48}{62} \approx 0.7742 ]
- 计算(p_e)：
边缘频率（行总计）：
- 晴: 25
- 雨: 23
- 雪: 14
边缘频率（列总计）：
- 晴: 24
- 雨: 23
- 雪: 15
[ p_e = \frac{(25/62) * (24/62) + (23/62) * (23/62) + (14/62) * (15/62)}{(62/62)^2} ]
[ = \frac{\left(\frac{600}{3844}\right) + \left(\frac{529}{3844}\right) + \left(\frac{210}{3844}\right)}{1} ]
[ = \frac{1339}{3844} \approx 0.3483 ]
- 计算(\kappa)：
[ \kappa = \frac{0.7742 - 0.3483}{1 - 0.3483} \approx 0.6154 ]
因此，这个天气预测模型的Kappa系数为0.6154，表明模型具有较好的一致性，超过了随机一致性的水平。
