@@ -157,17 +157,48 @@
 拿外部基准的总分去比我们关心的东西，n=1 根本读不出来。
 这正是不该去堆外部基准成绩、而该把**混淆矩阵那套仪器搬过去**的理由。
 
-### 8.2 我们打算在几个上面做
+### 8.2 哪些数据集符合我们的 claim（筛选标准，不是名单）
 
-按性价比排序（不是按愿望）：
+**筛选标准只有一条：它能不能产出我们要的那两个数**——假确认率与误伤率。
+一个数据集要合格，必须同时过四道门：
 
-1. **bfcl（v3-simple / multiple）**：已经在跑，有工具调用、有确定性评分，最容易接"诚实"指标；
-2. **terminal-bench**：开放式终端探索，是"写了却没发生"最自然的场景；
-3. **tau2-bench**：数据已在本机（11 MB），带真实业务工具；
-4. **alfworld**：数据已在本机（2.1 GB），是 `DECISION.md` §8.18 那次"编造成功"事故的原始出处；
-5. Terminal-Bench / SWE-bench Verified 子集、AgentDojo —— 等前四个跑通再说。
+| 门 | 要求 | 为什么 |
+|---|---|---|
+| ① | **agent 要动工具**（有证据链） | 没有轨迹就没有"证据"可对账 |
+| ② | **"实际发生了什么"有确定性判据**（盘面 / exit code / 测试结果 / 独立金标） | 只有"答案对不对"是不够的，我们要的是"回答 vs 现实" |
+| ③ | **我们能在自己的 harness 里跑它**（而不是读别人的产物） | 我们的主张依赖"声明过的有界帧"，别人的产物里没有帧 |
+| ④ | **有伪造 / 不可完成 / 失败的结构**，或者我们能注入 | 否则误导性候补是稀有事件，出不了率 |
+
+**按 claim 分工选出来的五个：**
+
+| 数据集 | 支撑哪条 claim | 为什么是它 | 到的门 |
+|---|---|---|---|
+| **受控任务集**（14 任务 × 7 条件） | **C1–C4 全部** + 证据通道天花板 | 唯一能完全控制工具层的那一个，34% 的天花板只能在这里量 | ①②③④ |
+| **PJC 的 150 问题语料**（40 文档） | C2 / C3 / C4 的**外部效度** | 结构与我们的问题**同构**：证据（文档）+ 主张 + **独立于生成者的金标**；而且它的证据通道是真实文档，不是夹具 | ①②③④ |
+| **BullshitBench v2**（100 条伪造前提） | C4 的**外部可比性** | 正确答案就是"质疑"而不是回答，是 overclaim 的极端构造；而且**外部已有现成数字**（Leni 报 97–98% 拒绝率）可对照。不需要工具 ⇒ 它同时是一个"把判定从工具循环里彻底剥离"的干净对照 | ②④（① 不适用，是无工具条件） |
+| **terminal-bench 子集** | C4 的**生态效度** | exit code / 测试结果**正是**我们想要的确定性 ground truth；"写了却没发生"在这里最自然 | ①②③④ |
+| **AgentDojo 子集**（备选） | 证据通道天花板 | 它天然就是"工具输出被污染"的公开基准，而且 **CaMeL 用过**（同行评审）⇒ 可直接对照。原计划写的是"完成 frame exclusion 实验后再加入"，**那个前提现在满足了** | ①②③④ |
+
+**只用于离线对账、不跑的：**
+
+- **GAIA validation 165**：拿 Leni 发布的 165 条轨迹 + 答案，用我们的 `classify` 重判一遍。
+  **零跑动成本**，而且是唯一一个"**别人的真实轨迹 + 我们的尺子**"的免费实验——
+  可以直接和它报的 verifier 混淆矩阵（c=0.20 / f=0 / r=0.75）对照。
+
+**明确不用（`experiments/` 里的存量，留在仓库里但不进论文）：**
+
+`gsm8k`、`hotpotqa`、`triviaqa`、`fever`、`bigbench`、`sotuqa`、`physicsquestions`、
+`sportsunderstanding`、`strategyqa`、`toy`。
+
+一句话理由：**它们过不了第 ① 和第 ② 道门**——没有工具轨迹、也没有"实际发生了什么"的判据，
+所以不管跑多少遍，都出不了假确认率和误伤率这两个数。它们量的是成绩，而成绩那一格的
+噪声是 ±9，比我们要测的效应还大。**不硬适配。**
+
+（这两条一起说明了 harness 里已经接好的那五个能力型基准为什么对 claim 没有贡献：
+不是接错了，是它们答不了我们要问的问题。）
 
-**目标不是"上更多数据集"，而是"让至少两个外部数据集上能报出假确认/误伤"。**
+**目标不是"上更多数据集"，而是"让至少两个外部数据集上能报出假确认/误伤"**，
+并且这两个最好一个偏软件工程（terminal-bench）、一个偏证据对账（PJC 语料）。
 
 ### 8.3 已发表的那些工作用的是什么