气候声明事实核查: 混合检索与 NLI 聚合分类
在单张 GPU 上构建气候声明事实核查系统,从 120 万条段落中检索证据,再结合 NLI 特征完成四分类。
“地球气候敏感度极低,大气 CO2 浓度翻倍只会导致约 1°C 的升温。”
这句话对不对,得先找证据。项目的证据库里,有段落引用了 IPCC 给出的 1.5 到 4.5°C,也有论文估计在 5 到 6°C。两个数都和声明对不上。但要下结论,还得确认它们讨论的是不是同一种条件下的气候敏感度。
人做事实核查是这个流程,自动化系统也一样:先检索证据,再判断证据和声明是什么关系。
这个项目做的是气候领域的事实核查。输入一条气候声明,系统要从 120 万条证据段落里找出相关的几条,再把声明归入四类之一:SUPPORTS(支持)、REFUTES(反驳)、NOT_ENOUGH_INFO(证据不足)、DISPUTED(有争议)。
最难的是 DISPUTED。判断 SUPPORTS 或 REFUTES,看的是证据支持还是反驳声明。DISPUTED 看的是证据之间有没有分歧:检索回来的五条证据里,有的支持声明,有的反驳声明。单独看其中任何一条,都看不出争议。系统必须把五条放在一起比较。后面检索、特征和分类器的很多设计,都是围绕这一类做的。
分阶段管线#
对 120 万条段落逐条做精细推理,计算成本承受不起。所以我把处理过程拆成几段:先用开销低的检索方法缩小候选范围,再用重排序模型挑出五条证据,交给后面的推理步骤。
一共四个阶段。
第一阶段是稀疏检索加稠密检索。BM25 按词频匹配取 top-100,微调过的 Dense Retriever 做语义检索,也取 top-100。两个列表再用 Reciprocal Rank Fusion(RRF)合并成一个排序。
第二阶段是交叉编码器重排序。微调过的 CrossEncoder 给融合后的候选逐条打分,留下 top-5。
第三阶段是 NLI 特征提取。每条声明和它的五条证据分别做一次自然语言推理,得到概率分布。
第四阶段是分类。NLI 概率和重排序分数拼成一个 37 维特征向量,由 XGBoost 做四分类。
检索层#
BM25: 词频基线#
BM25 用的是 bm25s 库,评分方式沿用 Lucene 的实现,配合 Stemmer 做英文词干提取。索引建在 120 万条段落上,第一次构建后缓存到磁盘。
BM25 单独取 top-100,召回率 54.3%,精确率只有 1.6%。精确率低在这里可以接受。这一阶段的任务是尽量将相关证据纳入候选集,筛选留给后面的重排序。
Dense Retriever: 补充语义检索#
BM25 靠词汇匹配。声明里写“全球变暖”,证据里写“气候变化”,相关段落就可能漏掉。Dense Retriever 用编码器把文本映射到向量空间,按语义相似度检索,能补上这类结果。
基座模型是 codefuse-ai/F2LLM-v2-160M,一个 160M 参数的编码器。选它是因为小,一张消费级 GPU 就能跑推理和微调。微调用的是 MultipleNegativesRanking loss。正样本是训练集里的声明和标注证据对,负样本直接用同一个 batch 里其他声明的正样本,也就是 in-batch negatives。
微调完之后,120 万条段落预先编码成向量存进 ChromaDB,检索时直接查向量索引。HNSW 的 construction_ef 和 search_ef 都调到 200,M 调到 32,用更高的构建开销换索引质量。编码是整条管线里最耗时的一步,在 T4 GPU 上第一次跑要好几个小时。
Dense Retriever 单独取 top-100,召回率 69.1%,比 BM25 高了将近 15 个百分点。
RRF 融合#
两个检索器的 top-100 用 RRF 合并。RRF 按排名给每个候选打分:,k 取 60。实际融合时,我给 BM25 和 Dense Retriever 分别设了 0.5 和 1.0 的权重,更偏向语义检索的结果。
融合后 top-100 召回率 71.0%,比两个检索器单独用都高。两边找到的证据有一部分不重叠,合并后能把单个检索器漏掉的段落找回来一些。
BM25 的边际收益#
Dense Retriever 单独就有 69.1% 的召回率,加上 BM25 后,召回率提高了不到两个百分点。
我保留了 BM25,因为它的额外开销很低。BM25 在 CPU 上就能跑,RRF 也只是合并两个列表,和模型推理比起来可以忽略。以这点开销换取将近两个百分点的召回率提升,是可以接受的。另外,稠密检索不可用时,BM25 还能当备用方案。
CrossEncoder 重排序#
融合后的 top-100 还要再筛一轮。BM25 按词项匹配打分,Dense Retriever 把声明和证据分别编码后算相似度。两者都适合在大规模语料上检索,但都没有把声明和证据放在一起细看。
CrossEncoder 把声明和证据拼成一个序列输入,两段文本的 token 在 attention 层里可以直接互相比较,相关性判断更细。代价是每一对声明和候选证据都要单独跑一次模型,所以只适合放在检索之后。
基座模型是 cross-encoder/ms-marco-MiniLM-L-6-v2,一个 22M 参数的轻量交叉编码器,我在训练集上做了微调。正样本是声明和标注证据对。负样本从 RRF 的融合结果里挑:每条声明取 10 个排名靠前、但不在标注证据里的段落,作为 hard negatives。这些段落和声明话题接近,比随机负样本难分得多。用它们训练,模型才能学会分辨哪些段落只是话题相关,哪些真正能用来核查。
微调跑了 3 个 epoch,batch size 16。训练样本一共约 16,400 个,其中正样本 4,122 个,hard negatives 12,280 个。
重排序后取 top-5,证据检索的 F 值从融合阶段的 0.041 升到 0.239。提升主要来自精确率,从 2.1% 涨到了 19.7%。
NLI 特征提取#
到这一步,每条声明都有了五条重排序后的证据,以及对应的排名分数。接下来要解决的是怎么用这些信息做四分类。
NLI 标签与目标类别的映射#
最直接的做法是对每对声明和证据跑一次 NLI 模型,得到 entailment、contradiction、neutral 三个概率,取最大的那个,再映射到目标标签。
这条路走不通。NLI 只有三个类别,SUPPORTS、REFUTES、NOT_ENOUGH_INFO 可以分别对应 entailment、contradiction 和 neutral,DISPUTED 找不到对应项。
判断 DISPUTED 要同时看多条证据,确认既有证据支持声明,也有证据反驳它。单条证据的 NLI 标签表达不了这种分歧。取 argmax 还会把概率的大小丢掉。
所以 NLI 模型在这里只当特征提取器用,最终判断交给下游分类器。每对声明和证据产生一个三维概率向量 [p_ent, p_con, p_neu],五条证据拼起来是一个 5×3 的矩阵。分类器从这个矩阵里学习四分类的映射。
NLI 模型#
用的是 DeBERTa-v3-large 的 MNLI checkpoint,具体是 MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli。它是一个 304M 参数的编码器,在五个 NLI 数据集上微调过。我直接零样本使用,没有在当前数据上额外训练。
原因是训练集只有 1,228 条声明。用这么少的数据微调一个 304M 参数的模型,过拟合风险很高,不如先保留预训练模型原有的推理能力。
实现时需要处理一个细节:不同 MNLI checkpoint 的 label2id 顺序不一样。有的模型 entailment 是 id 0,有的是 id 2。代码在运行时读取模型的 label2id 配置,先把 logit 重排成统一的 [entailment, contradiction, neutral] 顺序,再做 softmax。少了这一步,换一个 NLI checkpoint,整条管线就可能在不报错的情况下输出错误结果。
37 维特征向量#
五条证据各有三个 NLI 概率,加上五个重排序分数,直接拼接是 20 维。但这样拼,证据之间的关系并没有显式表达出来。
以 DISPUTED 为例,我希望看到的信号是五条证据里同时出现较高的 entailment 概率和较高的 contradiction 概率。如果只是把矩阵展开,分类器得自己学会这种跨位置的组合,比如第 1 条证据 entailment 高,同时第 3 条证据 contradiction 高。训练集只有 1,228 条声明,学这种组合很难。
所以我加了几组统计特征,把这类信号直接算出来交给分类器。最终的 37 维向量由七部分拼成:
- flatten(P),15 维。5×3 矩阵直接展开,保留每个排名位置上证据的推理结果。
- s,5 维。原始重排序分数,告诉分类器每条证据和声明有多相关。
- softmax(s),5 维。对重排序分数做 softmax,归一化成概率分布。
- max-pool,3 维。沿证据轴取 NLI 概率的最大值。max(p_ent) 和 max(p_con) 同时很高,说明有证据强烈支持,也有证据强烈反驳,这正是 DISPUTED 的信号。
- min-pool,3 维。沿证据轴取最小值,和 max-pool 一起刻画证据之间的分歧有多大。
- mean-pool,3 维。NLI 概率的均值,反映整体倾向。
- rerank 加权 NLI 均值,3 维。用 softmax(s) 作权重对 NLI 概率加权平均,重排序分数越高的证据权重越大。
max-pool 和 min-pool 是专门为 DISPUTED 加的。它们保留了每类 NLI 概率在五条证据之间的变化范围,分类器判断分歧时,不必只依赖每条证据概率最高的那个标签。
分类头的选择#
MLP 基线与消融实验#
第一版用的是 scikit-learn 的 MLPClassifier:一个 64 单元的 ReLU 隐藏层,Adam 优化器,L2 正则 10^-4,留 10% 做内部验证集,patience 20 早停。
MLP V1 用完整的 37 维特征,在 154 条验证声明上准确率 0.461,macro-F1 0.315,DISPUTED F1 只有 0.100。
我想知道重排序分数到底有多重要,就做了一个消融实验。MLP V2 去掉所有和 rerank 相关的特征块,包括原始分数、softmax 分数和加权均值,只留下 NLI 概率和位置特征。输入维度从 37 降到 26。
结果出乎意料。MLP V2 的准确率升到 0.481,macro-F1 也从 0.315 小幅升到 0.330,DISPUTED 的 F1 却掉到了 0。macro-F1 没降,是因为 REFUTES 的 F1 从 0.211 涨到了 0.409,抵消了 DISPUTED 下降对均值的影响。
两个汇总指标都在涨,模型却一条 DISPUTED 都没认出来,这些样本被分到了 SUPPORTS 和 NOT_ENOUGH_INFO。从这以后,我比较模型时都会逐类看指标。在类别不平衡的数据上,准确率和 macro-F1 都代替不了逐类检查。
XGBoost 分类器#
同样的 37 维特征换成 XGBoost,准确率 0.474,macro-F1 0.423,DISPUTED F1 0.303。macro-F1 比 MLP V1 高了十个百分点。
选 XGBoost 也和特征本身有关。这 37 维里,NLI 概率在 0 到 1 之间,原始重排序分数可以是负数。树模型对特征缩放不敏感,适合处理这种数值范围不一的表格特征。训练样本只有 1,228 条,它值得一试,验证结果也确实比 MLP V1 好。
XGBoost 的配置是 300 棵树,最大深度 4,学习率 0.05,subsample 和 colsample_bytree 都是 0.8,L1 正则 0.1,L2 正则 1.0,objective 用 multi:softprob。DISPUTED 是明显的少数类,训练集里只有 124 条,占 10%。所以我给每个样本加了类别平衡权重,按类别频率的倒数计算,上限设为 3 倍,防止极端少数类主导损失。
早停设 30 轮,实际在第 116 轮停下。训练不到 1 秒。
证据数量: Top-3 与 Top-5#
我还试了一个变体 XGBoost Top-3,只用排名前三的证据构造特征,输入维度 27。准确率 0.461,macro-F1 0.394,DISPUTED F1 0.229。
三个指标都比 Top-5 低。至少在这次实验里,排名第四、第五的两条证据仍然有用。加权均值特征会用 softmax 权重压低低分证据的影响,其他特征则完整保留了它们的 NLI 输出,由分类器决定怎么用。
最终结果#
| 分类器 | 维度 | 准确率 | macro-F1 | DISPUTED F1 |
|---|---|---|---|---|
| MLP V1 | 37 | 0.461 | 0.315 | 0.100 |
| MLP V2(无 rerank 特征) | 26 | 0.481 | 0.330 | 0.000 |
| XGBoost Top-3 | 27 | 0.461 | 0.394 | 0.229 |
| XGBoost Top-5 | 37 | 0.474 | 0.423 | 0.303 |
最终系统用的是 XGBoost Top-5。
端到端指标:检索 F = 0.239,分类准确率 A = 0.474,两者的调和均值 H = 0.318。
端到端瓶颈分析#
H = 2FA / (F + A)。调和均值对两个值里较小的那个更敏感。
现在 F = 0.239,A = 0.474。两边各提高 5 个百分点对比一下:F 提到 0.289,H 约为 0.36;A 提到 0.524,H 只有 0.33 左右。
从这组数字看,应该优先改进检索。
检索精确率尤其是短板。重排序后 top-5 的精确率是 19.7%,也就是五条结果里平均只有一条命中标注证据。剩下的段落不一定完全无关,但很可能不足以支撑分类。DISPUTED 对检索的要求更高,因为支持和反驳的证据都得找到。反驳证据如果在检索阶段就漏掉了,后面的分类器也很难看出分歧。
举个例子,一条声明的真实标签是 DISPUTED,但检索回来的证据全都支持它。NLI 的输出会偏向 entailment,分类器就可能把它判成 SUPPORTS。
开发过程中的几次修正#
有几次尝试直接影响了最后的实现。
一开始我直接用 NLI 的 argmax 做分类,但 DISPUTED 没有对应的 NLI 标签,四分类做不下去。后来改成让 NLI 只提供概率特征,由下游分类器综合多条证据来判断,最终方案的 DISPUTED F1 到了 0.303。
MLP V2 的消融实验也改变了我的看法。我原本以为去掉 rerank 特征只会让性能小幅下降,结果 DISPUTED 的 F1 直接掉到 0。在当前的模型和数据下,重排序特征对识别这一类帮助很大。有了它,分类器读 NLI 概率时,还能参考每段证据和声明有多相关。
还有一次问题出在 NLI checkpoint 的标签顺序上。换了 checkpoint 之后,整条管线的准确率大幅下降。排查后才发现,entailment 和 contradiction 的 logit 顺序反了。加上运行时的标签对齐,问题才解决。
后续方向#
如果继续做,我会先试两个方向。
第一个是改进检索方式。现在的检索器没有专门为 DISPUTED 找证据。一种思路是从不同角度构造查询,主动去找可能反驳声明的段落。比如先对声明做否定改写,再用改写后的句子检索,补充反驳证据。
第二个是 NLI 模型的领域适配。现在用的是通用领域的 NLI checkpoint,气候文本里的数值差异它未必分得清。比如在条件相同的前提下,“CO2 浓度翻倍导致 1°C 升温”和“CO2 浓度翻倍导致 2.5°C 升温”是两个不同的估计,模型却可能因为措辞接近判成 entailment。可以考虑用气候领域的 NLI 数据微调,前提是能拿到足够可靠的标注。