教育评价（一、二）

对应：培养方案 专业基础课 · 学期 4–5 · 4 学分 · 64 学时（42 课堂 + 22 实践）

💡 这是你专业里学分最多的单门基础课，说明学院重视"测量与评价"。
为什么这么重视？因为你专业里其他所有课都在生产"结论"，而测量与评价决定这些结论算不算数。
详见导论第二节。

这份笔记怎么用：核心是 §7 的题目分析，有能跑的代码，你可以自己算一套题。
每一节按「问题 → 为什么重要 → 怎么做 → 能推出什么 → 边界与批评 → 这跟你有什么关系」走。
末尾有练习答案和出处索引。

1 导论：这门课在研究什么（先读这个）

1.1 先说清楚它不是什么

你大概听过下面这四种说法。它们都不是"教育评价"，而且每一种都会让你用错误的方式读后面的内容。

为什么必须先破除这四个误解？因为错误期待会让你用错误的方式读后面的内容。

如果你以为它是"考试学"，那么你读到 §6 那个 $X = T + E$ 的公式时，
会以为那是一个需要背下来的定义，而它其实是一个模型，模型的价值在于"它能推出什么、它在什么条件下不成立"。
如果你以为"评价是主观的、学不了"，那么 §4 里 Messick 那套"效度是整体论证"的说法，
在你眼里就变成了一句正确的废话，你不会有耐心去看"要支持一个分数解释，需要哪几类证据"。
如果你以为它是"教育学、跟认知科学无关"，那么你会把 §8 的 IRT 当一个名词划过去，
而 IRT 恰好是你这个专业里"心理测量"和"数学建模"两条线交汇的地方。
如果你以为它是"出卷技巧"，你会觉得 §7 那张难度/区分度表是一份操作手册。
而它其实是一份"证据清单"：它在告诉你，这套题的哪一部分在真正工作，哪一部分在浪费学生的生命。

这四种误解有一个共同后果，它们都让你把"要判断的东西"当成"要记住的东西"。
而这门课的全部内容，恰恰都是用来做判断的。

1.2 这门课在整个专业里的位置

先说一件事，它回答了你笔记抬头那个问题。

⭐ 为什么学院把这门课排成 4 学分、64 学时（你专业里学分最多的单门基础课）？

因为它是整个专业的"证据关口"。

你其他的专业课会告诉你很多结论："提取练习比重复阅读有效"（学习科学导论）、
"观察学习存在"（教育心理学）、"工作记忆容量约 4 个组块"（普通心理学）。
这些结论全都有一个共同前提：那些研究者"测"了某个东西，并且测对了。
如果测量这一环是坏的，前面所有漂亮的推理都会一起塌掉。

教育评价就是那个负责检查"测量这一环"的岗位。它不是专业里最显眼的课，
但它决定了其他课说的话算不算数，这就是它学分最高的理由。

下面这张图说明它和其他课的关系。注意看它是"夹在中间"的：上面是它的工具来源，下面是它的应用出口。

   ┌───────────────────────────────────────────────────────────┐
   │  上游：它依赖谁                                             │
   │  · 教育统计学 —— 方差、相关、α 全是统计量                    │
   │  · 实验方法论     —— 误差、随机化、可复现性                  │
   │  · 普通心理学 —— 个体差异、智力测验的传统                    │
   └───────────────────────────────────────────────────────────┘
                    │ 提供工具：把"差异"变成"数字"的语言
                    ↓
   ┌───────────────────────────────────────────────────────────┐
   │            ★ 教育评价（测量与评价）（你现在这门）★           │
   │  问三个问题：这个数字稳不稳？它测的是不是它说的那个东西？      │
   │              这些题目里哪些在真正干活？                       │
   └───────────────────────────────────────────────────────────┘
             │ 输出"证据资格"                │ 和它分工不同的邻居
             ↓                                ↓
   ┌──────────────────┐  ┌──────────────────┐  ┌────────────────────┐
   │ 语言教学测评与应用 │  │  学习科学导论     │  │ 课程与教学论：怎么教 │
   │ ICC 计算、语言测试 │  │  怎么证明"学会了" │  │ 教育心理学：人怎么学 │
   └──────────────────┘  └──────────────────┘  │ 教育哲学：应该怎么教 │
                                                └────────────────────┘

这张图要你看懂三件事：

第一，它对上游是"消费者"。§3 算 α 用的是方差（教育统计学），
§7 判断一道题好不好用的是"分组比较"（实验方法论的逻辑），
§2 那套量表理论追根到底是 Stevens 1946 年的一篇 Science 论文。
你在这门课里遇到看不懂的数学，多半能在统计学那门课里找到源头。这属于正常的分工，不是你笨。

第二，它和邻居的分工是"管入口 vs 管出口"。课程与教学论 问"课该怎么上"，
教育哲学 问"教育应该怎样"，教育心理学 问"人实际上怎么学"。
这三门课都在"做事"，只有这门课在问"你怎么知道你做的事起了作用"。
它是那个站在门口验收的人。

第三，它下游的课会直接用到它的技术。语言教学测评与应用 里有另一段可跑代码（ICC 计算），
就是 §3 那个"评分者信度"的实操版；语言测试里的口语评分、作文评分，全部依赖 ICC 来证明"换个考官分数不会变"。
这两门课是一件事的两个深度：这边讲原理，那边讲怎么算。

1.3 这门课真正要教你的能力

如果只能带走一样东西，我希望是这个：

看到一个数字时，能自动问出"这个数字里有多少是真的"。

这不是一句空话，它由两个具体动作组成：

动作一：拿到一个分数（或一个测量结果），能判断它配不配被认真对待。
§3 给你"稳不稳"的判断工具（信度），§4 给你"对不对"的判断工具（效度），
§6 给你一个把两者写成一个公式的模型（$X = T + E$），
§7 给你一套能当场跑起来的题目体检流程。
学完这门课，你看到一个测验的第一反应不再是"满分多少"，而是"信度多少、效度证据是什么"。

动作二：能分清"测量问题"和"真实差异"。
一个学生这次考了 60，上次考了 75。这是他退步了，还是这份卷子不稳？
这个区别看起来简单，但它正是 §6 的标准误（SEM）要量化回答的问题：
如果 SEM 是 ±5 分，那么 15 分的波动大概率有相当一部分只是测量噪声，
你据此去批评这个学生，你批评的其实是你自己那份卷子。

⭐ 这两个动作合起来，是一种很稀缺的态度：对数字既不迷信，也不轻视。
迷信的人会拿一次月考分数给孩子贴标签；轻视的人会说"考试都是瞎考的"。
这门课要你站在中间：知道数字有噪声，也知道噪声可以被估计出来。

1.4 这份笔记的组织逻辑 / 怎么读

这份笔记按"一次测量的完整生命周期"排，不是按"概念清单"排。
你可以把它读成一条流水线：

① 先定义清楚在测什么     → §1（测量/评价/测验）、§2（四种量表）
② 然后问"测得稳不稳"      → §3 信度（含可跑的 α 代码）
③ 再问"测得对不对"        → §4 效度，以及信度/效度的关系
④ 然后看"测评有哪几种用法" → §5 形成性/终结性、常模/标准参照
⑤ 给一个统一的数学模型    → §6 CTT 真分数模型（把信度写成公式）
⑥ 动手：给一套题做体检    → §7 题目分析（⭐ 有可跑代码，本页核心）
⑦ 模型升级              → §8 IRT（题目参数和能力参数分离）
⑧ 看它在大规模上怎么用    → §9 PISA / TIMSS / PIRLS
⑨ 看它的应用场和风险      → §10 语言测试、§11 伦理

符号约定：> ⭐ 核心洞察；> ⚠️ 易错点或有争议的说法；> 💡 类比延伸。

还有一条要提前说：§7 是这个页面唯一"能动手指"的地方。
它有一段完整可运行的代码，你改一个数字重跑，整张难度/区分度表就会跟着变。
这是你第一次可以亲手验证"测量学"不是在纸上讲道理。
笔记里 §3 和 §7 的代码都是实跑过的，输出原样贴在下面，
所以它们是可以被检查的：你跑出来跟笔记不一样，那就是笔记错了，不是你的错。

2 先分清三个概念

这门课的名字里就有两个词：测量、评价。它们的区别是整个学期的地基。
地基没打对，后面每一节你都会用错力气。

注意"测量"的定义里有两个词很容易被跳过：一个是"属性"，一个是"赋值"。

"属性"：测量测的永远是人的某个属性，不是"人"本身。
体重秤测的是"你的体重"这个属性，不是"你"。同理，数学考试测的是"你解这几道题的能力"，
不是"你这个人的价值"。
这一条为什么重要：因为几乎所有评价的滥用，起点都是"把属性当成整个人"。
"他数学这次没考好"变成"他不是学数学的料"，这一步跳跃在逻辑上是不成立的，
而在教育现场它天天发生。§11 的"标签效应"讲的就是它的后果。

"赋值"：测量就是按规则把数字分给属性。
注意"按规则"，没有规则的数字不是测量。
你随手给学生的作业打个"良好"，如果这个"良好"背后没有明确的标准，
它是一次评价，但算不上一次合格的测量。

那评价为什么是另一回事？因为评价必然引入"标准"和"价值"。
"85 分"是一个纯粹的赋值，它本身不含好坏；"85 分算优秀"必须依赖一个标准。
这个标准可能是"全班平均分"（§5 的常模参照），也可能是"教学大纲规定的达标线"（§5 的标准参照）。
换句话说：测量的对象是事实，评价的对象是事实和标准之间的关系。

⭐ 测量 ≠ 评价：
测量是客观赋值，评价涉及价值和标准。
"85 分"是测量；"85 分算优秀"是评价。

一个更狠的例子：体重秤显示 62.5 kg（测量），"你太胖了"（评价）。
秤没错，错的是把秤的读数和一套未必被说出口的标准混在一起，并且假装那是秤在说话。

💡 这跟你有什么关系：以后你看到任何一条教育新闻（"某地学生数学成绩下降 5 分"），
请先在脑子里拆一次：它报的是测量结果，还是评价结论？
是测量结果的话，它用的量表可靠吗（§3）、它测的是自学能力还是应试能力（§4）？
这个拆解动作，就是这门课最省时间的收益。

3 测量的四种水平（Stevens）

这一节回答一个非常具体的问题：你手里的这堆数字，允许你做哪些运算？

为什么这个问题重要：因为做错运算的后果是"结论根本无意义"，远超"不够精确"的程度。
你可以算出"河南和北京的区号平均值是 612"，这个数字算得完全正确，
但它什么也没说明，因为区号只是标签，平均值对它没有意义。

Stevens (1946) 把测量分成了四个水平，每一级都比上一级多允许一些运算：

从下往上读这张表，你会看到"每往上一级，就多解锁一类运算"：

• 命名量表：数字只是名字。学号 2024001 和 2024002 之间没有"大小"关系。
  你唯一能做的是数数（有几个男生）和找众数。
  为什么不能排序：因为"文理科"里，"理科 = 2"和"文科 = 1"这个 1、2 是随手给的，
  换成"理科 = 1、文科 = 2"，排名就反过来了，一个会被你的编码方式改变的结论，当然不是真结论。

• 顺序量表：能排序，但差距不知道。跑步比赛第 1 名、第 2 名、第 3 名。
  第 1 和第 2 之间可能只差 0.01 秒，第 2 和第 3 之间可能差 5 分钟。
  所以"第 3 名是第 1 名的三分之一"这句话是错的，而中位数、"谁比谁高"这类结论是对的。
  对应的统计工具是秩相关（Spearman），它只用顺序信息，不用间距。

• 等距量表：差距相等了，但没有真正的零。摄氏温度是标准例子：
  10°C 到 20°C 的间隔和 20°C 到 30°C 一样大，所以"温差"是有意义的；
  但 0°C 不代表"没有温度"（它只是水的冰点，一个约定），
  所以"20°C 是 10°C 的两倍热"是错的。
  ⚠️ IQ 属于这一档：IQ 的间距大致相等，但 IQ 0 不是"没有智力"，IQ 100 也不是 IQ 50 的两倍。
  这正是为什么"某某的智商是某某的两倍"这种话在专业上是不能说的。

• 比率量表：有绝对零点，0 就是"真的没有"。身高 0 cm 就是没有身高，
  反应时 0 秒就是没有反应。所以乘除在这里才有意义："他的反应时是我的两倍"说得通。

⚠️ 很多人拿"等级"数据算平均值，这在严格意义上是不合法的（顺序量表的间距未知）。
实际研究中常常通融，但你要知道这是一个已知的妥协。

最典型的现场是李克特量表（"非常不同意 1 … 非常同意 5"）。
严格说它是顺序的：你没法证明"5 和 4 的差距"等于"2 和 1 的差距"。
但心理学和教育学几乎人人把它当等距用，算均值、算标准差、算 α。
这算不上骗人，只是一个被广泛接受、也被广泛讨论的妥协。
你需要知道自己在妥协，没必要因此拒绝它，
因为当结论恰好卡在边界上时（比如均值差 0.1 分），这个妥协就可能决定结论的方向。

反应时（RT）是什么量表？比率量表（有绝对零点：0 秒 = 没反应）。
所以 RT 数据可以做各种运算。

💡 这一条对认知科学特别重要：RT 是认知心理学最常用的因变量之一，
而它恰好是最高一级的量表，这意味着你不仅能比较"谁快谁慢"，
还能说"条件 A 下的反应时是条件 B 的 1.3 倍"，甚至能算几何平均、做对数变换。
如果 RT 只是顺序量表，整个认知心理学的数据分析方式都要改写。
你在 认知科学概论 里看到的那些毫秒级结论，
合法性就是从这一行来的。

4 ⭐ 信度：一致性

从这一节开始，我们进入这门课的核心：一个数字到底可不可信。

定义：多次测量结果的一致程度。

先给一个能用的直觉：你站上一台体重秤，下来，再站上去，再下来，再站上去。
三次都显示 62.5 kg。你会觉得这台秤"靠谱"。
如果三次分别是 58、67、61，你会觉得它坏了，尽管它的平均值（62）恰好是对的。
你刚才做的判断，就是信度判断。

4.1 四种信度，和它们各自的麻烦

四种方法，本质上是"在四个不同的方向上问同一句话：换个条件，结果还一样吗？"
重测信度换的是时间；复本信度换的是题目；内部一致性换的是卷子内部的另一半题；
评分者信度换的是打分的人。

这里有一个很容易被忽略的坑：四种信度不能互相替代，它们回答的是不同的问题。
一份卷子可以为内部一致性很高（题目之间很一致），
但重测信度很低（今天考 80，明天考 55），这完全可能，
比如题目全是当天的新闻背景题。内部一致只说明"这些题在测同一个东西"，不说明"这个东西稳定"。
所以报告信度时，写清楚是哪一种信度，是专业底线。

4.2 Cronbach's α（可跑代码）

α 要解决的问题是：一份卷子里有 8 道题，它们真的在朝同一个方向使劲吗？
直观想法很简单：如果这 8 道题测的是同一个能力，
那么"这题做对的人，那题也更容易做对"，题目之间应该正相关。
α 就是把这个"题目之间的一致性"压缩成一个 0 到 1 之间的数。

它的公式（不用背，看结构就行）：

$$\alpha = \frac{k}{k-1}\left(1 - \frac{\sum \sigma^2_{\text{题}}}{\sigma^2_{\text{总分}}}\right)$$

读法：$k$ 是题目数；分子是每道题各自方差的加总（可以理解为"每题内部的噪声"）；
分母是总分的方差（"总分体现出来的差异"）。
如果每道题都在测同一个东西，题目的噪声加总起来就会远小于总分的差异，α 就高。
如果每道题各测各的，题目噪声加起来和总分差异差不多，α 就低。

import numpy as np

# 模拟 20 个学生答 8 道题（1=对 0=错）
np.random.seed(7)
n_stu, n_item = 20, 8
能力 = np.random.normal(0, 1, n_stu)
难度 = np.linspace(-1.2, 1.2, n_item)
prob = 1 / (1 + np.exp(-(能力[:, None] - 难度[None, :])))
作答 = (np.random.random((n_stu, n_item)) < prob).astype(int)

k = n_item
item_var = 作答.var(axis=0, ddof=1).sum()        # 各题方差之和
total_var = 作答.sum(axis=1).var(ddof=1)         # 总分的方差
alpha = k / (k - 1) * (1 - item_var / total_var)
print(f"Cronbach's α = {alpha:.3f}")

实跑输出：

Cronbach's α = 0.471
解读（常用标准）: 差

（说明：上面第二行不是这段脚本打印的，脚本只打印 α 值；
那个"解读"是拿 α 去对照下面那张解读标准表得到的，一并写在这里方便你一次看全。）

⚠️ 这个结果是"差"，但这不是程序 bug，它就是一个真实的教学案例。

α 为什么这么低：
- 样本小（20 人），α 依赖样本的异质性
- 题目少（8 题），题目越多，α 一般越高
- 难度跨度大（−1.2 到 1.2），题目之间"相关"变弱

真实测验里，α 低意味着"这份卷子测得不一致"。
学生这次考好下次可能考差，原因不在他水平变了，在卷子不稳。

这三条理由值得一条一条想清楚，因为它们是 α 最常被误解的地方。

第一条，"样本小"这里其实有两层意思。
一层是抽样不稳定：20 个人的数据，换个随机种子结论就变。
更重要的另一层是"α 依赖样本的异质性"，这句话几乎没人细讲，但它很关键：

⭐ α 衡量的是"题目能不能把人区分开"，所以它必须依赖"人确实有差异"。
假设你拿这份卷子去测一个全校随机抽的 20 人，α 可能是 0.75；
拿去测一个尖子班的 20 人（大家水平几乎一样），
总分方差会变得很小，α 会掉下来，而卷子一个字都没改。

结论：α 是"卷子 + 这批人"的共同属性，不是卷子的固有属性。
所以论文里报 α，必须同时报样本是谁。（这也解释了为什么"样本同质"会压低 α。）

第二条，"题目少"：$k$ 出现在公式最前面那个 $\frac{k}{k-1}$ 里。
8 道题时它是 $8/7 \approx 1.14$；20 道题时是 $20/19 \approx 1.05$。
光看这个系数，题多反而"放大倍数"更小。但真正的效果在括号里：
题目越少，每道题的随机噪声在总分里占的比重越大，
总分的方差就越被噪声主导，括号里的值就越小。两者叠加，短卷子的 α 通常偏低。

第三条，"难度跨度大"（这里是 −1.2 到 1.2）：
一道几乎人人都对的题，和一道几乎人人都错的题，它们之间的相关必然接近 0。
因为没有变异就没有相关（大家都对 = 这题上没有个体差异 = 它跟谁都不相关）。
难度跨度太大，等于在卷子里塞了很多"没有区分力"的题，α 自然被拖下来。
这一条直接连到 §7：卷子 α 低，往往不需要换掉整个卷子，
只要把几道区分度接近 0 的题换掉就行。

α 的常用解读标准（通行出处：George & Mallery, 2003，各教材转述略有出入）：

💡 这张表和末尾「复核」里那段 George & Mallery 的原文表述（>0.9 优／>0.8 好／>0.7 可接受／

0.6 可疑／<0.5 不可接受）切的是同一条数轴，边界都落在 0.6 / 0.7 / 0.8 / 0.9 上，
只是每一段的叫法不同（表里叫"较好"，复核段里叫"可接受"）。
用的时候引一个口径、并注明出处就行，不要两个口径混着用。

⚠️ α 太高（> 0.95）不一定是好事：
可能意味着题目在重复问同一件事，覆盖面反而窄。

这一条背后的机制是 α 的一个隐含假设：它假设所有题目在测同一个单一构念。
如果一份语文卷子同时考阅读、语法、文学常识三件事（这本身是合理的），
那么三组题目之间相关不高，α 会被压低，但这不算缺点，因为这份卷子本来就想测三样东西。
反过来说，如果一份卷子的 α 冲到 0.96，你该问的不是"这卷子真好"，
而是"它是不是把同一道题换了三种说法问了三次"。
那种卷子分数很稳，但学生的能力面被压成了一条线，它把"语文能力"测成了"语文某一点"。

5 效度：测对了

信度问的是"稳不稳"，效度问的是"测对了吗"。
上一节那台体重秤的例子在这里要往前走一步：
一台每次都稳定显示 62.5 kg 的秤，如果你站上去之前手里拎着 5 kg 的东西它也算进去了，
那它很稳，但测错了。这就是效度问题。

效度按"和什么比"分成三类：

这三类的关系是"从表面往深处走"：

内容效度最表面，也最粗，它靠专家判断，没有数字。
它问的是"这份卷子的题目，是不是从该考的内容里合理取样来的"。
注意它是必要但不充分的：一份卷子可以内容覆盖得很全，但每道题都在考记忆、没一道考应用。
内容效度"看起来"没问题，构念效度已经垮了。

效标效度要的是"外部的锚"。分两种：
预测效度（现在测的分数能不能预测未来的表现，如高考→GPA）和
同时效度（新工具和已有的成熟工具测得一致吗）。
它给出一个数字（相关系数），比内容效度硬。
⚠️ 但它有一个软肋：效标本身可能也是错的。
如果高考本身就是个有问题的测量，那"新测验和高考相关高"到底证明了什么？
这说明效标效度只能"传承"可信度，不能"创造"可信度。

构念效度最根本，也最难。
构念（construct）是一个理论概念，"智力""语言能力""创造力"。
它们看不见摸不着，你只能通过它们应该产生的行为去间接推断。
构念效度问的就是：你手上这个测量，凭什么说它测的是那个构念？
难点在于：如果你不清楚"创造力"这个理论构念到底包含什么，你就没有办法证明你测到了它。
所以构念效度的争论，往往最后变成一场理论争论，这也是它最难的地方。

⭐ 现代观点：效度是一个"整体论证"（Messick, 1989）
不只是"某一种效度"，而是"所有证据合起来支持不支持这个解释和用法"。

Messick 这一说法改变了什么？它把"三种效度"从三个并列的标签
变成了三类可以共同支撑一个论证的证据。

而且它带来一个更尖锐的推论：

⚠️ 效度是"测验分数 + 某个具体用法"的属性，不是测验自身的属性。
同一个测验，用来做 A 是有效的，用来做 B 可能完全无效。

比如一份语言水平测验，用来诊断学生下一步该学什么（低风险、允许误差），
和用来决定谁能拿到签证（高风险、必须卡得死），
它需要的效度证据完全不是一个量级，后者必须证明"它没有系统性偏向任何群体"。
测验没变，用法变了，效度论证的对象就变了。

这就是为什么"这个测验有效吗"是一个问得不完整的问题；
完整的问法是"这个测验，用来做这件事，有效吗"。

5.1 信度和效度的关系（必考）

信度低  →  效度必然低（测得都不稳，怎么可能准）
信度高  →  效度不一定高（很稳，但可能测错了）
效度高  →  信度必然高

这张图里中间那条最要紧，它是"高信度低效度"的合法存在证明。
其余两条都是它的推论：

为什么"信度低 → 效度必然低"：效度是用相关系数表达的（你的测验和效标相关多少）。
如果同一个学生每次测出来的分数都在乱跳，那么这个"乱跳的数"不可能稳定地和任何东西相关。
换句话说，噪声之间是没法产生稳定的相关的。
（专业上这叫衰减公式：观测分数的相关，会被测量误差系统性地压低；
所以效度系数的绝对值有上限，上限由信度决定，信度是效度的天花板。）

信度是效度的必要非充分条件。
没有信度，一定没有效度；有了信度，效度还得另外证明。

经典比喻：一把总是短 2cm 的尺子，信度很高（每次都很一致），效度很低（测错了）。

💡 打靶比喻（习题第 3 题的答案，这里先讲透）：
弹孔集中 = 信度（稳）；打中靶心 = 效度（准）。

• 弹孔又集中又在靶心 → 高信度 + 高效度（理想）
• 弹孔集中，但整片偏在左下角 → 高信度 + 低效度（短 2cm 的尺子）
• 弹孔散布满靶，但平均落在靶心 → 低信度，而这时的"平均成绩"已经不可信了
• 弹孔又散、又偏 → 两个都低

第二行才是关键，它是唯一一种"看起来没问题"的坏测量。每次都很一致，你会很放心地用。
短 2cm 的尺子不会让你发现它是坏的，它只会让你把所有人都量矮 2cm。

6 评价的类型

前面三节讲的是"一个分数可不可信"。这一节换一个问题：分数算出来之后，用来干什么？
做法不同，评价的性质就完全不同。

6.1 按时机：形成性 vs 终结性（Scriven 提出）

这两者的区别，常常被简化成"小考 vs 大考"，那是误读。
真正的分界线不在考试的大小，而在"这个分数接下来会被用来干什么"。

⭐ 判断标准只有一条：这个分数会不会改变接下来发生的事？

会 → 形成性。不会（只用来结算）→ 终结性。

举个最容易被搞混的例子：同样是周一早上的 10 分钟小测。
老师批完发现"70% 的人在同一道题上错了"，第二天用半节课重讲那个知识点。
这次小测是形成性评价。
如果这 10 分直接计入期末总评，而老师继续按原计划往下讲。
那它就是一次小型的终结性评价，尽管它长得像"小测"。
同一张卷子，可以是两种评价，取决于信息有没有回流到教学里。

⭐ 形成性评价的教育价值更高。
它能"改变后续的学习"；终结性评价只能"记录已经发生的事"。

⚠️ 但现实中，终结性评价（考试）的权重往往压倒一切。
这个矛盾，"评价是为了改进还是为了筛选"，是教育评价的根本张力。

这个张力为什么是"根本"的：因为它不是一个技术问题，不能靠改考试形式解决。
只要一个分数决定了谁上好学校，它就必然被当成终结性使用，
而一旦它有了这个权力，教学就会围绕它重新组织。

⚠️ 这就是"评价的教育后果"，评价不只是测量，它改变被测量的东西。
社会科学家把这类现象总结为「坎贝尔定律」：当一个指标被用于做决策时，
这个指标本身就会被腐蚀。（和物理学的观察者效应有些像。）

一个具体例子：某地为了提升学生体质，把"800 米跑"列入中考。
结果没变的是体质，变了的是大量学校把体育课改成了 800 米训练课。
指标上去了，指标本来想代表的那个东西（体质）未必上去。
这不属于有人在作弊，它是"用指标做决策"这件事本身的结构性后果。

这也解释了 课程与教学论 里"考什么教什么"的机制。
它是一个激励结构问题，不是一个道德问题（老师偷懒）。

6.2 按参照系：常模 vs 标准

两者的技术差别只是"分数的解释基准不同"，但背后的哲学差得很远：

⭐ 两种参照系的哲学完全不同：
常模参照假设"总有人要被淘汰"（竞争性）；标准参照假设"所有人都可以达标"。
你的教育理想决定了你偏好哪一种（→ 教育哲学）。

为什么说这是哲学问题而不是技术问题？看一个思想实验：
假设某年高考所有人的水平都提高了。
在标准参照下，这是好事，所有人都达标了。
在常模参照下，这几乎不改变任何事，因为录取名额没变，分数线会跟着涨上去，
还是那么多人被淘汰。
同一份数据，两种参照系给出完全相反的评价。

这也带来一个实践上的常见错误：
用常模参照的方式去解读标准参照的分数。
HSK 六级是标准参照的，"过了就是达标"，它不告诉你"你排第几"。
但家长常常追问"你在考生里排多少名"，这个追问本身就是在把标准参照的考试
当成常模参照的考试来用，而它根本不是那样设计的。
（顺带说：还有第三种参照系，和过去的自己比（增值/成长评价），
它回答"这一年他进步了多少"。它在教育政策里越来越常见，本页不展开。）

7 经典测验理论（CTT）：真分数模型

前五节都在讲工具。这一节换一个层次：给"测量"这件事本身建一个数学模型。
有了模型，前面那些零散的结论（信度、误差、效度）就能被推到同一个框架里。

$$X = T + E$$

X = 观测分数，T = 真分数，E = 误差。

核心假设：误差随机，多次测量平均为 0。

这个模型只有一行，但它的力量全部来自那三条假设。把它们写清楚：

1. 误差的期望为 0（$E$ 的平均值是 0），误差是随机上下跳，不是系统性偏高或偏低。
2. 真分数和误差不相关，一个人的真实水平不会系统性地导致我们高估或低估他。
3. 不同测量之间的误差不相关，上一次的随机误差不会影响下一次。

由这三条假设，可以直接推出一个非常有用的等式：

$$\sigma^2_X = \sigma^2_T + \sigma^2_E$$

为什么能这样拆：因为总分的方差 = 真分数方差 + 误差方差 + 两倍的协方差，
而假设 2 说协方差是 0，所以最后一项消失，方差可以简单地相加。

信度的定义（从这个模型来）：

$$\text{信度} = \frac{\sigma_T^2}{\sigma_X^2} = \frac{\text{真分数方差}}{\text{观测分数方差}}$$

读法：在观测到的全部差异里，"真分数"贡献了多大比例。
剩下的部分（$1 - \text{信度}$）就是误差的份额。

⚠️ 一个必须说清的细节：这里的"真分数 $T$"不是"这个人真正的能力"。
它是操作定义下的真分数，在无数次重复测量中，那个被平均出来的极限值。
它仍然带着"这套卷子、这个情境"的限制：
一个数学天才做一份出得极烂的卷子，他的 $T$ 是"在这份烂卷子上的真分数"，
不是"他的数学天赋"。
所以 CTT 的"真"是相对的、有条件的，把它当成形而上学的"真"，是过度解读。

实跑（接 §3 的数据）：

观测分数方差 = 3.053
信度 α      = 0.471
→ 真分数方差 ≈ 1.438
→ 误差方差   ≈ 1.615

这三个数是怎么来的：观测分数方差 $3.053$ 是模拟数据里 20 个学生总分的方差（实跑得出）；
信度取 α = 0.471；于是
真分数方差 = 3.053 × 0.471 ≈ 1.438，
误差方差 = 3.053 × (1 − 0.471) ≈ 1.615。
两项相加正好回到 3.053，这就是上面那个 $\sigma^2_X = \sigma^2_T + \sigma^2_E$ 在具体数字上的样子。

⭐ 读法：观测分数里的变异，只有 47.1% 是"真的"，52.9% 是噪声。
信度就是"运气占多大比例"的度量。

这份卷子测出来的分数，
超过一半的差异不能归因于学生之间的真实差别。
换句话说，如果两个学生总分差 2 分，你几乎不能据此判断谁更强。
这 2 分里可能大部分只是噪声。
（那"差多少分才值得认真对待"？下面那个"标准误"回答的就是这个。）

7.1 ⚠️ 最容易混的地方：标准差 vs 标准误

"标准"这两个字打头的术语在这门课里至少有三个，它们管的事情完全不同。
这是全页最容易记串的地方，单独拆开讲。

为什么 SD 是 1.747：总分方差是 3.053，开根号就是 1.747。
它说的是："这批学生水平参差不齐，总分上下浮动大约 ±1.7 分。"

为什么 SEM 是 1.271：用公式 $\text{SEM} = SD \times \sqrt{1 - \text{信度}}$，
代入 $1.747 \times \sqrt{1 - 0.471} = 1.747 \times 0.727 \approx 1.271$。
它说的是："具体到某一个学生，就算他的真实水平一动不动，
再考一次这份卷子，他的分数也会围绕真分数上下晃约 ±1.3 分。"

⭐ 两者的分界，一句话就够：
SD 是"人与人不一样"；SEM 是"我测不准"。
SD 大是好事（说明有人有差异可测），SEM 大是坏事（说明你测得糙）。

它们的关系也直接：$\text{SEM} = SD\sqrt{1-\text{信度}}$。
信度越高，SEM 越小；信度 = 1 时 SEM = 0（没有测量误差）。
注意 SD 出现在公式里：样本同质（SD 小）会让 SEM 看起来很小，
但那只是因为你把人都挑得差不多了，不是因为你测得准。（和 §3 里"α 依赖样本异质性"是同一个坑。）

这个数怎么用，一个真实的场景：
一个学生这次考了 6/8 分。他"真实的"水平大概在哪？
用 SEM = 1.271 来算：真分数有大约 68% 的可能落在 ±1.27 分内，约 95% 的可能落在 ±2.49 分内
（受满分 8 分截断）。也就是说，他的真分数大约在 3.5 到 8 之间，这个区间宽得几乎没信息。

这就是为什么"一次小测的分数"不能拿来给学生定性。
它的不可靠不是因为不准；它的不确定度已经被算出来，而且很大。
报告分数时把 SEM 一起报出去，是测量学的基本诚实。

8 ⭐ 操作：题目分析（难度 P 与区分度 D）

这是教育测量最实用的技能，它能告诉你"这套题里哪道题该删"。

前面几节的 α、信度、SEM，说的都是"整份卷子"层面的问题。
但卷子是由题目组成的，α 低到底是哪几道题拖的后腿？
题目分析就是把这个诊断做到"题"这一级。

8.1 公式

$$\text{难度} P = \frac{\text{答对人数}}{\text{总人数}}, \qquad \text{区分度} D = P_{\text{高分组}} - P_{\text{低分组}}$$

高分组/低分组通常取总分的前 27% 和后 27%（也有用 35% 的）。

先看两个直觉：

⚠️ "难度"这个词是反着叫的。$P$ 越大，说明答对的人越多，
也就是题目越"容易"。P = 0.85 是一道很简单的题，P = 0.25 才是一道难题。
这不是命名失误，根源在于这个指标的原意是"通过率"。
但考试里所有人都管它叫"难度"，所以你只能自己记住它的方向。

区分度 D 的逻辑：如果一道题能区分强弱，那么总分高的人应该更容易做对它。
所以我们把总分最高的那批人（高分组）和最低的那批人（低分组）挑出来，
看他们在这一题上的得分率差多少。
差距大 = 这题能区分人；差距接近 0 = 这题对谁都不区分。

8.2 代码（可跑）

import numpy as np
import pandas as pd

np.random.seed(7)
n_stu, n_item = 20, 8
能力 = np.random.normal(0, 1, n_stu)
难度 = np.linspace(-1.2, 1.2, n_item)
prob = 1 / (1 + np.exp(-(能力[:, None] - 难度[None, :])))
作答 = (np.random.random((n_stu, n_item)) < prob).astype(int)

总分 = 作答.sum(axis=1)
order = np.argsort(-总分)
高分组, 低分组 = order[:7], order[-7:]          # 前 35% / 后 35%

rows = []
for j in range(n_item):
    P = 作答[:, j].mean()                        # 难度
    D = 作答[高分组, j].mean() - 作答[低分组, j].mean()   # 区分度
    rows.append({"题号": j + 1, "难度P": round(P, 3), "区分度D": round(D, 3)})

tbl = pd.DataFrame(rows)
tbl["评价"] = tbl["区分度D"].apply(
    lambda d: "很好" if d > 0.4 else "尚可" if d > 0.2 else "应修改/删除" if d >= 0 else "题目有问题")
print(tbl.to_string(index=False))

实跑输出：

题号  难度P  区分度D     评价
  1 0.85 0.286     尚可
  2 0.75 0.571     很好
  3 0.55 0.286     尚可
  4 0.40 0.571     很好
  5 0.45 0.857     很好
  6 0.40 0.429     很好
  7 0.25 0.000 应修改/删除
  8 0.35 0.571     很好

先说清楚这份数据是怎么来的，你才能理解这些数：
这 20 个学生每人有一个"能力"值（从正态分布抽的），8 道题的难度依次递增（−1.2 到 1.2）。
每个人每道题答对的概率由"能力 − 题目难度"决定（能力和难度差得越多，答对概率越极端），
然后按这个概率随机决定他对还是错。
所以这份数据里"能力"是真实存在的、已知的。
这恰好让我们可以检查：题目分析能不能把真实存在的能力差异找回来。

8.3 怎么读这张表

逐行看一遍，你会看出一些不是随便编出来的规律：

第 1 题，P = 0.85，20 个人里 17 个都做对了，最难的题（其实是最容易的题）。
它的 D 只有 0.286（尚可）。这不是巧合：

⭐ 难度和区分度之间有结构性的关系：一道题如果几乎人人都能做对，
它在区分度上的"天花板"就被压低了。
想想极端情况：如果 P = 1.0（全对），那么高分组和低分组都是满分，D 必然是 0。
所以"太难"和"太易"的题，问题不在"区分得不好"，在于它"根本没有空间去区分"。
这就是"难度理想在 0.3–0.7"的真正理由。
理由不在于 0.5 这个数字好看，而在于 0.5 附近留给了区分度最大的活动余地。

第 5 题，D = 0.857，高分组全对（1.0），低分组几乎全错（约 0.143），
这是全表最强的区分题。它的难度 P = 0.45，正好落在理想的中间区。两件事是一致的。

第 2、4、6、8 题 D 都在 0.4 以上，属于"很好"档，这套 8 题里有 5 道是好题。

⭐ 看第 7 题：D = 0.000，它完全没有区分力（高分组低分组表现一样）。
这道题对测量毫无贡献，该改或该删。

这就是"题目分析"的价值：它能把"看起来正常但实际没用"的题目找出来。

第 7 题到底发生了什么？它 P = 0.25，是一道难题，但"难"不必然是问题，
"高分组和低分组一样"才是问题。
可能的原因有几种：题目表述有歧义（好学生想多了反而做错）、
考的内容超出范围（所有人都在猜）、或者答案本身有错。
题目分析不能告诉你原因是哪一个，但它能告诉你"这道题需要人去看一眼"。
这就是它的全部价值：把有限的教研时间，从 8 道题里精准地导向那 1 道。

⚠️ 难度和区分度标准（0.3–0.7 / D>0.4）是教科书通行值，
各教材和考试机构的具体标准有差异 → 引用时注明来源。

再说一遍这句话的性质：这些数字不是统计定论，
是几十年实践里形成的经验规则。它们的作用是筛出"值得复核的题"，
不是"宣布一道题的死刑"。判死刑的权力在学科专家手里，不在这一列数字里。

最后，一个必须自己动手才会发现的问题：

⚠️ 这份数据只有 20 人，高分组和低分组各 7 人，D 的抽样误差非常大。
第 7 题的 D = 0.000 可能真的意味着这题有问题，
也可能只是因为这 7 个人里恰好有几个人状态反常。
换一个随机种子重跑（把 np.random.seed(7) 改成别的数），第 7 题的 D 大概率就不是 0 了。

这没有否定题目分析的价值，只是说 D 要在大样本上才稳。
实践里一套题至少要有几百个考生，D 才值得被当真。
（这正是 §8 的 IRT 要解决的问题之一，它用的是整个能力分布上的信息，不是只切头尾两段。）

顺便把这一节和 §3 接上：这套题的 α = 0.471（差），
而"差"的一部分原因就写在第 7 题那一行。
一道 Everyone 都测不出差异的题，对总分的贡献是纯噪声，
它会同时压低 α 和拉低整卷的区分能力。
所以"改卷子"这件事的正确顺序是：先做题目分析，把 D 低的题换掉，再重算 α 看有没有改善。

9 项目反应理论（IRT）简介

CTT 有一个结构性的毛病，这一节讲它是什么、IRT 怎么修。

CTT 的局限：题目难度和考生能力没法分开估计（同一道题，对厉害的人难，对差的人易）。

这句话背后是一个很实际的困局，叫"样本依赖"：

• 同一道题，给尖子班做，它的 P 可能是 0.8（"容易"）；给普通班做，P 可能是 0.3（"难"）。
  那么这道题到底难不难？CTT 给不出答案，它算出来的难度，
  其实是"这道题 + 这批人"的混合物。
• 反方向也一样：同一个学生，做一套简单卷子，他的分数看起来很"高能力"；
  做一套难卷子，看起来很"低能力"。
  他的能力到底是哪个？也说不清。

这种"分不开"有一个直接的后果：不同试卷上的分数不可比。
10 月份的月考 80 分和 12 月份的月考 80 分，可能完全不是一回事（卷子难度不同）。
如果没有额外的技术手段，你没法把它们放到同一把尺子上。

IRT 的突破：用数学模型同时估计"题目参数"和"能力参数"，两者分离。

它怎么做到"分开"的：把两者都放到同一条数轴上。
每个学生有一个能力值 $\theta$，每道题有一个难度值 $b$。
它们被放在同一个刻度上，然后模型说：答对的概率只取决于"你的 $\theta$ 比这道题的 $b$ 高多少"。

三个参数（3PL 模型）：

三个参数各自的含义，用图形想最清楚：

• $b$ 决定曲线在哪往上升，$b$ 大的题，要能力很高才开始有答对的机会。
• $a$ 决定曲线升得多陡，陡 = 这题能干脆地区分"会"和"不会"；
  平 = 能力从低到高，答对概率都差不多（这题没有什么区分力）。
  注意 $a$ 就是 CTT 里 D 的升级版。
• $c$ 是曲线左端的水平，它就是"瞎猜也能对"的概率。
  五选一的选择题，$c$ 大约 0.2。这一条很关键：
  填空题通常 $c \approx 0$，选择题的 $c$ 明显大于 0。

项目特征曲线（ICC）：能力越强，答对概率越高（呈 S 形）。

这个 S 形你其实见过了，它就是 logistic 函数。
把 3PL 写出来是这样的：

$$P(\text{答对}) = c + \frac{1-c}{1 + e^{-a(\theta - b)}}$$

💡 对照 §3 和 §7 里的模拟代码：
prob = 1 / (1 + np.exp(-(能力[:, None] - 难度[None, :])))
这个式子就是上面那个公式在 $a = 1$、$c = 0$ 时的特例（叫 1PL 或 Rasch 模型）。
也就是说，这份笔记里"模拟学生作答"的那段代码，本身就是在用 IRT 生成数据。
你在 §3 算 α、在 §7 算 D 用的那 20 × 8 的答对错矩阵，
背后就是这个 S 形曲线。这不是巧合，现代测量学里，CTT 是 IRT 的一个近似。

⭐ IRT 的两个重要优势：
① 能力估计不依赖具体题目（做不同题也能比较）
② 可以做"等值"（把不同试卷的分数换算到同一量表）

这就是为什么 GRE、PISA 这类考试都用 IRT。
它也和你的数学模块（logistic 函数）直接相关。

把这两个优势讲具体一点，因为它们是 IRT 全部商业价值的来源：

优势①"能力估计不依赖具体题目"，它让"计算机自适应测验"（CAT）成为可能。
既然能力和题目被放在同一把尺子上，那么"你答对了一道 $b = 1.5$ 的题"
就等价于"你的 $\theta$ 大概在 1.5 以上"。
答对什么题，就说明你处在哪个位置，跟你做的是哪几道题无关。
于是测验可以边做边选题：你答对了，下一题给你更难的；答错了，给你简单的。
每个人做的题都不一样，但最后能放在一起比。GRE 机考就是这么运作的。

优势②"等值"，它让大规模测评的排名成为可能。
PISA 不可能让全世界几十万学生都做同一套题（太长），
所以它用题册轮转设计：每个学生只做其中一部分。
然后靠 IRT 把不同题册的分数换算到同一个量表上。
这样"做了 A 卷的学生"和"做了 B 卷的学生"才可能出现在同一张排名表里。
（§9 会看到这件事的实际后果。）

10 大规模测评

IRT 最大的客户就是国际大规模测评。这一节看它们具体在做什么。

这三个的定位值得对比一下：

• TIMSS 和 PIRLS 更接近"课程成就测验"，它们测的是学校教过的内容，
  所以 TIMSS 的排名很大程度上反映"课程覆盖了什么、教得多深"。
• PISA 不同，它明确不测课程内容，它测的是"素养"。

⭐ PISA 的"素养"（literacy）定义很值得注意：
它不考"学了什么"，考"能用知识做什么"，这正是"迁移"！
（→ 学习科学导论 §2 街头数学）

这个区别不是文字游戏，它直接改变题目长什么样。
一道 PISA 数学题可能给你一张真实的公交时刻表，让你规划一条最短的换乘路线。
它不问你"会不会解方程"，它问的是"面对一个真实情境，你能不能调用数学去解决它"。
换句话说：PISA 假设"知识的有用性"体现在"能不能迁移到新情境"，
这和 学习科学导论 里"街头数学"的发现是同一个立场。
知识是在情境里被激活的能力，不是被储存的存量。

⚠️ 读 PISA 排名时要留一个心眼：它是一个抽样调查，不是一个考试。
每个学生只做一部分题（题库轮转），分数是用 IRT 估计出来的（§8 的"等值"）。
所以排名里的差异，一部分来自真实水平，一部分来自抽样误差和题目设计上的取巧空间，
"第 5 名和第 8 名差不多"通常是对的，"第 5 名明显强于第 20 名"才好说。
排名是证据，不是判决。

11 语言测试的特殊困难

你专业是语言学习科学，语言测试是最直接的应用。

这四个问题，恰好是 §4 那三类效度在语言领域的重演。一行一行看：

"会做题 ≠ 会用"，这是构念效度问题。
一个学生语法题全对，但你让他点菜，他说不出来。
那么前面那份语法卷子测的是"语言能力"吗？
如果"语言能力"这个构念（construct）包含交际使用，
那么语法卷子的构念效度就是有问题的。
它测到了语言能力的一部分，然后把这部分的结果当成了整体来报告。
（这也是 §4 那句"构念效度最难"的具体形态：难就难在"语言能力到底包含什么"本身还在争论。）

"口语/作文的信度"，这是全篇最实际的一个问题，也是 语言教学测评与应用 那门课的主战场。
口语和作文没有唯一正确答案，所以必须由人（或模型）打分。
而不同评分者打的分数会有系统差异：

⚠️ 一个很日常的场景：同一篇作文，A 考官给 72 分，B 考官给 65 分。
这不算学生的问题。它是分数的测量误差，而且这部分误差可以量化。
量化的工具就是 §3 表里那个 ICC（评分者信度）：
让两名以上评分者给同一批作文打分，算他们的相关。
如果 ICC 只有 0.6，那说明一个学生最终拿到几分，有很大一部分取决于"他遇到了哪个考官"。

这就是为什么口语和作文评分前必须做"评分员培训"、过程中要做"双评+仲裁"。
这些流程算不上官僚主义，它们是拿来把测量标准误压下去的工程措施。
（具体怎么算 ICC，见 语言教学测评与应用 里的可跑代码。）

"文化公平性"，这不只是伦理问题，它同时是一个效度问题。
一道阅读理解讲"感恩节火鸡"，对一个从没接触过这个文化背景的学生来说，
他答错不是"阅读能力差"造成的，原因在"缺背景知识"。
这时题目测到的是"文化知识"，不是"阅读能力"，构念被污染了。
所以文化公平性检查和效度检查，在技术上是同一件事。

"构念界定"，它是上面三个的总根。
你连"语言能力包含什么"都没界定清楚，就没办法证明你测到了它、也没办法判断对谁公平。
这一条也解释了为什么语言测试领域（如 Bachman 的交际语言能力模型）花了那么大力气做理论建构。
那是在给测量划边界，不是纸上分类。

具体考试的细节见 语言教学测评与应用。

12 评价的伦理

前面十节讲的都是"测得准不准"。这一节问一个不同的问题：测了之后，会发生什么？

前四条属于"测量一旦介入真实世界就必然产生的副作用"，不属于"技术上的疏漏"。
逐条展开：

测验偏见和 §10 的文化公平性是同一件事，只是范围更大。
性别、城乡、方言、家庭背景都可能成为"和要测的能力无关、但影响得分"的因素。
技术上它表现为"某道题在某个子群体上功能异常"（叫 DIF，差别题目功能），
这是一个可以被统计检验出来的东西，不是一个只能靠感觉谈的伦理口号。

标签效应："被评低的学生受到负面预期"，注意这里的因果链，
是"被评低"→"他人预期降低"→"学生表现进一步下降"。
评价本来只是测量，结果它变成了原因。（这和 §5 说的坎贝尔定律是同一类结构：
一个测量结果一旦进入社会流程，它就开始改变被测量的东西。）

⚠️ "应试"值得单独想：
评价本来是为了"了解学习"，但一旦它变成高利害（高考），它就反过来重塑了整个教育。
这是"评价的教育后果"，评价不只是测量，它改变被测量的东西。
（和物理学的观察者效应有些像。）

这也解释了 课程与教学论 里"考什么教什么"的机制。

最后一条是新的，也是你这一代要面对的：

算法评价（用 AI 打分、用模型预测辍学风险、用学习分析给出"能力画像"）
为什么可能带来新的公平问题？（习题第 8 题的答案，这里先讲透）

• 算法是从历史数据里学的，而历史数据本身就带着旧的偏见。
  如果历史上某个群体的评分系统性地偏低，算法会学到这个模式，并且把它放大。
  因为算法的目标函数是"拟合历史数据"，不是"纠正历史的不公"。
• 它看起来更"客观"（"这是模型算出来的，不是我主观决定的"），
  但偏见并没有消失，只是被挪到了数据和目标函数里，而且更难被看见。
• 追责更难："这是算法决定的"比"这是我决定的"更难反驳，
  因为没有一个具体的人可以被质问。

⭐ 这就是 Messick 说的"后果效度"（consequential validity）。
一个测评的社会后果，本身也是效度论证的一部分，不能推给"使用者自己负责"。
换句话说：一个考试如果系统性地伤害了某个群体，它的"效度"就是有问题的，
哪怕它的信度是 0.95。

13 练习（带答案）

先自己写，再对答案。这些题考的是"判断"，不是"记数字"，数字在正文里，随时可以查。

1. 测量和评价有什么区别？"85 分"和"85 分算优秀"分别是哪个？

2. 反应时是什么测量水平？为什么这很重要？

3. 用"打靶"比喻说清信度和效度的关系。

4. Cronbach's α 太低可能因为什么？α 太高又有什么问题？

5. 一套题里某道题 D = 0.000。这道题怎么了？该怎么处理？

6. 难度 P 的理想范围是多少？为什么太难或太易都不好？

7. 常模参照和标准参照的哲学差别是什么？

8. 为什么"用 AI 做教育评价"可能带来新的公平问题？

13.1 参考答案

1. 测量是客观赋值（给出数字），评价是对结果做价值判断（好还是不好）。
   "85 分"是测量；"85 分算优秀"是评价（涉及标准）。

2. 比率量表（有绝对零点：0 秒 = 没反应）。
   为什么重要：比率量表可以乘除（如"反应时减半"有意义），
   而顺序量表不行（"名次减半"没有意义）。所以 RT 数据能做的统计分析更多。

3. 信度 = 稳不稳；效度 = 准不准。
   打靶：弹孔集中是信度，打中靶心是效度。
   弹孔集中但偏了 → 高信度低效度（如总是短 2cm 的尺子）。

4. α 太低可能因为：① 题目太少 ② 样本太小/太同质 ③ 题目之间相关性低
   （可能测的不是同一个构念）④ 题目难度跨度太大。
   α 太高（>0.95）：可能题目冗余，在重复问同一件事，覆盖面反而窄。

5. D = 0 表示这道题完全没有区分力，高分组和低分组表现一样。
   它对测量毫无贡献。处理方式：
   ① 修改（可能太简单/太难/表述有歧义）② 或删除。
   （D 为负更糟，说明高分组反而做错，题目可能有问题。）

6. 理想在 0.3–0.7。
   太难（P 接近 0）：所有人都做错，无法区分水平（只能区分"会不会"）；
   太易（P 接近 1）：所有人都做对，同样无法区分。
   测量需要"有差异"，太难太易都没有差异。

7. 常模参照是"和别人比"，假设总有人要被淘汰（竞争性）；
   标准参照是"和标准比"，假设所有人都可以达标。
   这是两种关于"教育目的"的哲学立场（→ 教育哲学）。

8. 因为算法是从历史数据学的，历史数据里本身就带着旧的偏见：
   - 如果历史上某个群体的评分偏低，算法会学到并放大这个模式
   - 算法看起来"客观"（没有人类的主观偏见），但偏见被藏在数据和目标函数里
   - 而且更难被发现和质疑（"这是算法决定的"比"这是我决定的"更难追责）
   这属于 Messick 说的"后果效度"问题，测评的伦理后果也是效度的一部分。

14 出处索引

💡 怎么看这张表：带 [DOI] 的条目可直接点开核对原文；书/古籍/语料库/官方文件没有 DOI，按题名 + 出版社（或机构）查找。

本页代码的来源说明：§3 的 α 计算、§7 的题目分析都是我自己写的并实跑过，
输出贴在讲义里，你可以改数据重跑核对。
（§6 里的"真分数方差 1.438 / 误差方差 1.615"和 §6 新加的 SEM = 1.271，
也都是从 §3 同一份模拟数据里算出来的，不是另外编的数。）

（2026-09-19 复核）：
- α 的解读标准：已核到通行出处 George & Mallery (2003)
（>0.9 优／>0.8 好／>0.7 可接受／>0.6 可疑／<0.5 不可接受），"各教材略有差异"属实但主口径一致。
- 难度 0.3–0.7 / D > 0.4：这是国内《教育测量与评价》教材的通行经验值，
性质是经验规则而非统计定论，保留此说明即可，不必标"待核"。
- IRT 的具体技术细节：确属本页范围之外（本页只做直观介绍），
需要时请查 Lord & Novick (1968) 或 Embretson & Reise (2000)。

15 相关

• 教育统计学：统计方法
• 语言教学测评与应用：ICC 计算（另一段可跑代码）、语言测试
• 课程与教学论：Bloom 分类学（和评价方式配合）
• 教育哲学：评价的公平与伦理
• 专业学习路线：这门课的位置