Yuanhao Feng

返回

“地球气候敏感度极低,大气 CO2 浓度翻倍只会导致约 1°C 的升温。”

这句话对不对,得先找证据。项目的证据库里,有段落引用了 IPCC 给出的 1.5 到 4.5°C,也有论文估计在 5 到 6°C。两个数都和声明对不上。但要下结论,还得确认它们讨论的是不是同一种条件下的气候敏感度。

人做事实核查是这个流程,自动化系统也一样:先检索证据,再判断证据和声明是什么关系。

这个项目做的是气候领域的事实核查。输入一条气候声明,系统要从 120 万条证据段落里找出相关的几条,再把声明归入四类之一:SUPPORTS(支持)、REFUTES(反驳)、NOT_ENOUGH_INFO(证据不足)、DISPUTED(有争议)。

最难的是 DISPUTED。判断 SUPPORTS 或 REFUTES,看的是证据支持还是反驳声明。DISPUTED 看的是证据之间有没有分歧:检索回来的五条证据里,有的支持声明,有的反驳声明。单独看其中任何一条,都看不出争议。系统必须把五条放在一起比较。后面检索、特征和分类器的很多设计,都是围绕这一类做的。

气候声明事实核查管线 STAGE 1 检索 气候声明 claim BM25 词干化 + Lucene Dense Retriever F2LLM-v2 微调 RRF 融合 top-100 两路各取 top-100 证据语料 120 万段落,两路检索共享同一份索引 STAGE 2 重排序 CrossEncoder 重排序 ms-marco-MiniLM 微调 · hard negatives STAGE 3 NLI 特征提取 + 分类 top-5 证据 DeBERTa-v3 NLI 零样本推理 · 5 条证据 × 3 维概率 特征聚合 37 维向量 XGBoost 300 棵树 SUPPORTS REFUTES | NEI | DISPUTED rerank 分数并入特征 F = 0.239 (检索) A = 0.474 (分类) H = 0.318 (调和均值)

分阶段管线#

对 120 万条段落逐条做精细推理,计算成本承受不起。所以我把处理过程拆成几段:先用开销低的检索方法缩小候选范围,再用重排序模型挑出五条证据,交给后面的推理步骤。

一共四个阶段。

第一阶段是稀疏检索加稠密检索。BM25 按词频匹配取 top-100,微调过的 Dense Retriever 做语义检索,也取 top-100。两个列表再用 Reciprocal Rank Fusion(RRF)合并成一个排序。

第二阶段是交叉编码器重排序。微调过的 CrossEncoder 给融合后的候选逐条打分,留下 top-5。

第三阶段是 NLI 特征提取。每条声明和它的五条证据分别做一次自然语言推理,得到概率分布。

第四阶段是分类。NLI 概率和重排序分数拼成一个 37 维特征向量,由 XGBoost 做四分类。

检索层#

BM25: 词频基线#

BM25 用的是 bm25s 库,评分方式沿用 Lucene 的实现,配合 Stemmer 做英文词干提取。索引建在 120 万条段落上,第一次构建后缓存到磁盘。

BM25 单独取 top-100,召回率 54.3%,精确率只有 1.6%。精确率低在这里可以接受。这一阶段的任务是尽量将相关证据纳入候选集,筛选留给后面的重排序。

Dense Retriever: 补充语义检索#

BM25 靠词汇匹配。声明里写“全球变暖”,证据里写“气候变化”,相关段落就可能漏掉。Dense Retriever 用编码器把文本映射到向量空间,按语义相似度检索,能补上这类结果。

基座模型是 codefuse-ai/F2LLM-v2-160M,一个 160M 参数的编码器。选它是因为小,一张消费级 GPU 就能跑推理和微调。微调用的是 MultipleNegativesRanking loss。正样本是训练集里的声明和标注证据对,负样本直接用同一个 batch 里其他声明的正样本,也就是 in-batch negatives。

微调完之后,120 万条段落预先编码成向量存进 ChromaDB,检索时直接查向量索引。HNSW 的 construction_ef 和 search_ef 都调到 200,M 调到 32,用更高的构建开销换索引质量。编码是整条管线里最耗时的一步,在 T4 GPU 上第一次跑要好几个小时。

Dense Retriever 单独取 top-100,召回率 69.1%,比 BM25 高了将近 15 个百分点。

RRF 融合#

两个检索器的 top-100 用 RRF 合并。RRF 按排名给每个候选打分:score(d)=∑r1k+rankr(d)\text{score}(d) = \sum_r \frac{1}{k + \text{rank}_r(d)},k 取 60。实际融合时,我给 BM25 和 Dense Retriever 分别设了 0.5 和 1.0 的权重,更偏向语义检索的结果。

融合后 top-100 召回率 71.0%,比两个检索器单独用都高。两边找到的证据有一部分不重叠,合并后能把单个检索器漏掉的段落找回来一些。

BM25 的边际收益#

Dense Retriever 单独就有 69.1% 的召回率,加上 BM25 后,召回率提高了不到两个百分点。

我保留了 BM25,因为它的额外开销很低。BM25 在 CPU 上就能跑,RRF 也只是合并两个列表,和模型推理比起来可以忽略。以这点开销换取将近两个百分点的召回率提升,是可以接受的。另外,稠密检索不可用时,BM25 还能当备用方案。

CrossEncoder 重排序#

融合后的 top-100 还要再筛一轮。BM25 按词项匹配打分,Dense Retriever 把声明和证据分别编码后算相似度。两者都适合在大规模语料上检索,但都没有把声明和证据放在一起细看。

CrossEncoder 把声明和证据拼成一个序列输入,两段文本的 token 在 attention 层里可以直接互相比较,相关性判断更细。代价是每一对声明和候选证据都要单独跑一次模型,所以只适合放在检索之后。

基座模型是 cross-encoder/ms-marco-MiniLM-L-6-v2,一个 22M 参数的轻量交叉编码器,我在训练集上做了微调。正样本是声明和标注证据对。负样本从 RRF 的融合结果里挑:每条声明取 10 个排名靠前、但不在标注证据里的段落,作为 hard negatives。这些段落和声明话题接近,比随机负样本难分得多。用它们训练,模型才能学会分辨哪些段落只是话题相关,哪些真正能用来核查。

微调跑了 3 个 epoch,batch size 16。训练样本一共约 16,400 个,其中正样本 4,122 个,hard negatives 12,280 个。

重排序后取 top-5,证据检索的 F 值从融合阶段的 0.041 升到 0.239。提升主要来自精确率,从 2.1% 涨到了 19.7%。

检索各阶段的精确率、召回率与 F 值 1.0 0.8 0.6 0.4 0.2 0 0.03 BM25 0.04 Dense (F2LLM) 0.04 RRF 融合 (top-100) 0.20 RRF 融合 (top-6) 0.24 Rerank (top-5) 0.25 Rerank (top-3) 精确率 (P) 召回率 (R) F 值 BM25 + Dense 融合后,召回率从 54% / 69% 提高到 71%。 截断到 top-6 并重排序后,精确率从 2% 跃升到 20%,F 值从 0.04 提高到 0.24。 但 F = 0.24 仍然偏低,成为整个管线的瓶颈。

NLI 特征提取#

到这一步,每条声明都有了五条重排序后的证据,以及对应的排名分数。接下来要解决的是怎么用这些信息做四分类。

NLI 标签与目标类别的映射#

最直接的做法是对每对声明和证据跑一次 NLI 模型,得到 entailment、contradiction、neutral 三个概率,取最大的那个,再映射到目标标签。

这条路走不通。NLI 只有三个类别,SUPPORTS、REFUTES、NOT_ENOUGH_INFO 可以分别对应 entailment、contradiction 和 neutral,DISPUTED 找不到对应项。

判断 DISPUTED 要同时看多条证据,确认既有证据支持声明,也有证据反驳它。单条证据的 NLI 标签表达不了这种分歧。取 argmax 还会把概率的大小丢掉。

所以 NLI 模型在这里只当特征提取器用,最终判断交给下游分类器。每对声明和证据产生一个三维概率向量 [p_ent, p_con, p_neu],五条证据拼起来是一个 5×3 的矩阵。分类器从这个矩阵里学习四分类的映射。

NLI 模型#

用的是 DeBERTa-v3-large 的 MNLI checkpoint,具体是 MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli。它是一个 304M 参数的编码器,在五个 NLI 数据集上微调过。我直接零样本使用,没有在当前数据上额外训练。

原因是训练集只有 1,228 条声明。用这么少的数据微调一个 304M 参数的模型,过拟合风险很高,不如先保留预训练模型原有的推理能力。

实现时需要处理一个细节:不同 MNLI checkpoint 的 label2id 顺序不一样。有的模型 entailment 是 id 0,有的是 id 2。代码在运行时读取模型的 label2id 配置,先把 logit 重排成统一的 [entailment, contradiction, neutral] 顺序,再做 softmax。少了这一步,换一个 NLI checkpoint,整条管线就可能在不报错的情况下输出错误结果。

37 维特征向量#

五条证据各有三个 NLI 概率,加上五个重排序分数,直接拼接是 20 维。但这样拼,证据之间的关系并没有显式表达出来。

以 DISPUTED 为例,我希望看到的信号是五条证据里同时出现较高的 entailment 概率和较高的 contradiction 概率。如果只是把矩阵展开,分类器得自己学会这种跨位置的组合,比如第 1 条证据 entailment 高,同时第 3 条证据 contradiction 高。训练集只有 1,228 条声明,学这种组合很难。

所以我加了几组统计特征,把这类信号直接算出来交给分类器。最终的 37 维向量由七部分拼成:

37 维特征向量的构成 NLI 输出 P [5 × 3] ent con neu e1 e2 e3 e4 e5 Rerank 分数 s [5] 0.92 0.85 0.71 0.63 0.48 flatten(P) 每条证据的 NLI 概率展开 15 s (原始 rerank 分数) 5 softmax(s) 5 max-pool (沿证据轴) 3 min-pool (沿证据轴) 3 mean-pool (沿证据轴) 3 rerank 加权 NLI 均值 以 softmax(s) 为权重对 P 求和 3 = 37 XGBoost 4 分类 各模块捕获的信号 flatten:每条证据的逐位置推理模式 max + min:证据之间的冲突信号 (DISPUTED) rerank 分数:检索置信度校准 加权均值:高排名证据的意见加权 DISPUTED 信号来源 max(p_ent) 与 max(p_con) 同时偏高 = 证据内部存在分歧

  1. flatten(P),15 维。5×3 矩阵直接展开,保留每个排名位置上证据的推理结果。
  2. s,5 维。原始重排序分数,告诉分类器每条证据和声明有多相关。
  3. softmax(s),5 维。对重排序分数做 softmax,归一化成概率分布。
  4. max-pool,3 维。沿证据轴取 NLI 概率的最大值。max(p_ent) 和 max(p_con) 同时很高,说明有证据强烈支持,也有证据强烈反驳,这正是 DISPUTED 的信号。
  5. min-pool,3 维。沿证据轴取最小值,和 max-pool 一起刻画证据之间的分歧有多大。
  6. mean-pool,3 维。NLI 概率的均值,反映整体倾向。
  7. rerank 加权 NLI 均值,3 维。用 softmax(s) 作权重对 NLI 概率加权平均,重排序分数越高的证据权重越大。

max-pool 和 min-pool 是专门为 DISPUTED 加的。它们保留了每类 NLI 概率在五条证据之间的变化范围,分类器判断分歧时,不必只依赖每条证据概率最高的那个标签。

分类头的选择#

MLP 基线与消融实验#

第一版用的是 scikit-learn 的 MLPClassifier:一个 64 单元的 ReLU 隐藏层,Adam 优化器,L2 正则 10^-4,留 10% 做内部验证集,patience 20 早停。

MLP V1 用完整的 37 维特征,在 154 条验证声明上准确率 0.461,macro-F1 0.315,DISPUTED F1 只有 0.100。

我想知道重排序分数到底有多重要,就做了一个消融实验。MLP V2 去掉所有和 rerank 相关的特征块,包括原始分数、softmax 分数和加权均值,只留下 NLI 概率和位置特征。输入维度从 37 降到 26。

结果出乎意料。MLP V2 的准确率升到 0.481,macro-F1 也从 0.315 小幅升到 0.330,DISPUTED 的 F1 却掉到了 0。macro-F1 没降,是因为 REFUTES 的 F1 从 0.211 涨到了 0.409,抵消了 DISPUTED 下降对均值的影响。

两个汇总指标都在涨,模型却一条 DISPUTED 都没认出来,这些样本被分到了 SUPPORTS 和 NOT_ENOUGH_INFO。从这以后,我比较模型时都会逐类看指标。在类别不平衡的数据上,准确率和 macro-F1 都代替不了逐类检查。

XGBoost 分类器#

同样的 37 维特征换成 XGBoost,准确率 0.474,macro-F1 0.423,DISPUTED F1 0.303。macro-F1 比 MLP V1 高了十个百分点。

选 XGBoost 也和特征本身有关。这 37 维里,NLI 概率在 0 到 1 之间,原始重排序分数可以是负数。树模型对特征缩放不敏感,适合处理这种数值范围不一的表格特征。训练样本只有 1,228 条,它值得一试,验证结果也确实比 MLP V1 好。

XGBoost 的配置是 300 棵树,最大深度 4,学习率 0.05,subsample 和 colsample_bytree 都是 0.8,L1 正则 0.1,L2 正则 1.0,objective 用 multi:softprob。DISPUTED 是明显的少数类,训练集里只有 124 条,占 10%。所以我给每个样本加了类别平衡权重,按类别频率的倒数计算,上限设为 3 倍,防止极端少数类主导损失。

早停设 30 轮,实际在第 116 轮停下。训练不到 1 秒。

证据数量: Top-3 与 Top-5#

我还试了一个变体 XGBoost Top-3,只用排名前三的证据构造特征,输入维度 27。准确率 0.461,macro-F1 0.394,DISPUTED F1 0.229。

三个指标都比 Top-5 低。至少在这次实验里,排名第四、第五的两条证据仍然有用。加权均值特征会用 softmax 权重压低低分证据的影响,其他特征则完整保留了它们的 NLI 输出,由分类器决定怎么用。

最终结果#

分类器维度准确率macro-F1DISPUTED F1
MLP V1370.4610.3150.100
MLP V2(无 rerank 特征)260.4810.3300.000
XGBoost Top-3270.4610.3940.229
XGBoost Top-5370.4740.4230.303

最终系统用的是 XGBoost Top-5。

端到端指标:检索 F = 0.239,分类准确率 A = 0.474,两者的调和均值 H = 0.318。

端到端瓶颈分析#

H = 2FA / (F + A)。调和均值对两个值里较小的那个更敏感。

现在 F = 0.239,A = 0.474。两边各提高 5 个百分点对比一下:F 提到 0.289,H 约为 0.36;A 提到 0.524,H 只有 0.33 左右。

从这组数字看,应该优先改进检索。

检索精确率尤其是短板。重排序后 top-5 的精确率是 19.7%,也就是五条结果里平均只有一条命中标注证据。剩下的段落不一定完全无关,但很可能不足以支撑分类。DISPUTED 对检索的要求更高,因为支持和反驳的证据都得找到。反驳证据如果在检索阶段就漏掉了,后面的分类器也很难看出分歧。

举个例子,一条声明的真实标签是 DISPUTED,但检索回来的证据全都支持它。NLI 的输出会偏向 entailment,分类器就可能把它判成 SUPPORTS。

开发过程中的几次修正#

有几次尝试直接影响了最后的实现。

一开始我直接用 NLI 的 argmax 做分类,但 DISPUTED 没有对应的 NLI 标签,四分类做不下去。后来改成让 NLI 只提供概率特征,由下游分类器综合多条证据来判断,最终方案的 DISPUTED F1 到了 0.303。

MLP V2 的消融实验也改变了我的看法。我原本以为去掉 rerank 特征只会让性能小幅下降,结果 DISPUTED 的 F1 直接掉到 0。在当前的模型和数据下,重排序特征对识别这一类帮助很大。有了它,分类器读 NLI 概率时,还能参考每段证据和声明有多相关。

还有一次问题出在 NLI checkpoint 的标签顺序上。换了 checkpoint 之后,整条管线的准确率大幅下降。排查后才发现,entailment 和 contradiction 的 logit 顺序反了。加上运行时的标签对齐,问题才解决。

后续方向#

如果继续做,我会先试两个方向。

第一个是改进检索方式。现在的检索器没有专门为 DISPUTED 找证据。一种思路是从不同角度构造查询,主动去找可能反驳声明的段落。比如先对声明做否定改写,再用改写后的句子检索,补充反驳证据。

第二个是 NLI 模型的领域适配。现在用的是通用领域的 NLI checkpoint,气候文本里的数值差异它未必分得清。比如在条件相同的前提下,“CO2 浓度翻倍导致 1°C 升温”和“CO2 浓度翻倍导致 2.5°C 升温”是两个不同的估计,模型却可能因为措辞接近判成 entailment。可以考虑用气候领域的 NLI 数据微调,前提是能拿到足够可靠的标注。

气候声明事实核查: 混合检索与 NLI 聚合分类
https://me.yuanhaofeng.com/blog/climate-fact-check
作者 Yuanhao Feng
发布于 2026年9月21日