语言教学测评与应用

对应：培养方案 专业基础课 · 学期 5 · 2 学分 · 32 学时（20 课堂 + 12 实践）

这门课是 教育评价 在"语言"场景下的应用版。

这份笔记怎么用：核心是一个能上手的工具，算评分者一致性（§5 有可跑代码）。
末尾有练习答案和出处索引。

1 导论：这门课在研究什么（先读这个）

1.1 先说清楚它不是什么

这门课的名字里有"教学""测评""应用"三个词，几乎每一个都会让人猜错方向。下面这四种理解都很常见，它们都不是这门课：

错误期待会让你用错误的方式读后面的内容。

如果你以为这是"出卷技巧课"，那你看到 §5 那 30 行 Python 代码时会觉得莫名其妙，而它其实是这门课最核心的技能，把"两个老师改得一样不一样"变成一个可计算、可报告、可质疑的数字。
如果你以为它"跟认知科学无关"，那 §6 里 Messick 那套"效度是论证不是属性"的说法，在你眼里就变成一句正确的废话，而它恰好是"心理测量"这条线接入"语言"场景的那个接口。
如果你以为"测评是坏东西"，那你在 §4 读反拨效应时，只会把它当成一个需要批判的现象，而它其实是一个可研究、可设计、可被你自己利用的机制。
如果你以为"分数就是能力"，那 §1 那张模型表你会当作名词表划过去，而那张表要教你的，是"拿到任何一个分数，先问它测的是哪个构念"这个动作。

这四种误解有一个共同后果，它们都让你把"要判断的东西"当成"要记住的东西"。
而这门课的全部内容，都是用来做判断的。

1.2 这门课在整个专业里的位置

先回答你笔记抬头那句话背后的疑问。

"这门课是 教育评价 的应用版"到底是什么意思？

教育评价 教的是"原理版"：什么是信度、什么是效度、CTT 怎么分解方差、IRT 是什么模型。它用的是抽象的例子（一道数学题、一份问卷），关心的是"测量"这件事本身的一般规律。

这门课是"实操版"：它把同一套原理按到"语言"这个具体对象上，于是抽象的东西全部长出牙齿。"信度"变成了 §5 的评分者一致性（因为口语和作文是人评的），"效度"变成了 §6 的 Messick 六类证据（因为"语言能力"这个构念特别难界定），"测量的社会影响"变成了 §4 的反拨效应（因为语言考试直接决定人的升学、移民、就业）。

所以要学好这门课，你得先（或同时）知道原理；反过来，如果你觉得 教育评价 里的公式太干，这门课就是它们最好的"落地演示"。

下面这张图说明它和其他课的关系。注意它是"夹在中间"的，上面是它的理论来源，下面是它的应用出口。

              ┌───────────────────────────────────────────────┐
              │  理论来源（"原理版" + 工具 + 语言本体）           │
              │  教育评价（信度/效度/CTT/IRT）  教育统计学        │
              │  第二语言习得概论（语言能力怎么发展）             │
              │  教育哲学（公平与伦理）                          │
              └───────────────────────────────────────────────┘
                                  ↓
        ┌───────────────────────────────────────────────────────────┐
        │        语言教学测评与应用 （你现在这门 · 实操版）             │
        │  构念界定 → 测试类型 → 反拨效应 → 评分者一致性 → 效度论证    │
        └───────────────────────────────────────────────────────────┘
                                  ↓
              ┌───────────────────────────────────────────────┐
              │  应用出口                                       │
              │  语言教育学（测试与教学法同步演变）               │
              │  第二语言习得概论（用测试数据验证习得理论）        │
              │  课程与教学论（评价怎么进课程设计）               │
              └───────────────────────────────────────────────┘

为什么它值得占一个学期：因为语言测评是"人评人"的测评。
数学题可以机器判，但"这段口语流利吗""这篇作文逻辑清楚吗"必须靠人。
一旦靠人，就必然有主观性；一旦有主观性，就必须回答"凭什么相信这个分数"。
这就是这门课全部的压力来源，也是它比一般测量课更有意思的地方。

1.3 这门课真正要教你的能力

如果只能带走两样东西，我希望是这两个：

1. 拿到任何一个语言测试分数，能当场问出三个问题：
   它测的是什么构念？它的评分一致性有多高？它的效度论证走到哪一步了？

2. 能自己动手把"两个评分者改得一致不一致"算出来，并正确地报告和解读它。

第一条是判断力，第二条是手上功夫。
注意第二条的分量，这门课是少数几门"你学完就能自己做一个小研究"的课：
找几个同学、收一份作文、跑一遍 §5 的代码，你手上就有一个真实的一致性系数。
北语的留学生语料和评测渠道就在你手边，这个便利不是每个学校都有的。

1.4 这份笔记的组织逻辑

每一节都按同一个顺序走：

问题     → 这一节要回答什么？
为什么重要 → 它跟"测准"这件事什么关系？
怎么做   → 具体的方法/公式/代码
边界     → 什么情况下它会失效、哪里还有争议
跟你有关 → 你自己能拿它做什么

读法上的三条建议：

1. §5 是这门课的心脏，而且它是唯一一节需要你动手的。不要只看输出，把代码复制到你的 Python 里跑一遍，你会亲眼看到"乱打分"那一组的置信区间下界是负的（§5 会解释为什么这不是 bug）。
2. §1 和 §6 是"两头"：§1 决定"你要测什么"，§6 决定"你测完凭什么说自己测对了"。中间 §2–§5 是具体工具和现象。如果时间紧，先读 §1、§5、§6 三节。
3. §4 的反拨效应里藏着这门课对你个人最有用的一段，如果你以后要考雅思/托福/HSK，知道反拨效应怎么运作，就等于知道那些培训班在赌什么。

2 先解决一个问题：语言能力是什么

测评的第一步永远是"定义你要测什么"。

这个动作有个专门的术语，叫构念界定（construct definition）。
"构念"（construct）指的是你看不见、只能间接推断的心理属性，语言能力、智力、焦虑、动机都是构念。
你没法直接测量"语言能力"，你只能通过"让他做点什么、然后看表现"来推断它。
所以在动手出题之前，你必须先说清楚：我假设语言能力由哪几部分组成？
这个假设一变，整张卷子的样子就全变了。下面是历史上几代人的回答：

顺着表看下来，你会发现这是四次认识的推进：

最早是"技能模型"，语言能力 = 听说读写。它的好处是操作上最省事（分四项考就行），
坏处是它假设这四项是彼此独立的。但真实情况是，你读得懂一篇论文，不代表你能听懂同一段内容的讲座。
也就是说，"读"的能力里混进了"话题知识""背景知识"这些不属于纯语言的东西。
这个困难第一次逼着人承认，语言能力没那么干净的边界。

第二代是 Canale & Swain 的"交际能力模型"（还有更早的 Hymes, 1972 提出交际能力的概念）。
它的洞见是：光会造合语法的句子不够。一个外国人说出"我昨天去北京了"完全合语法，
但如果在葬礼上说"太好了"，语法满分，交际零分。
所以他们把语言能力拆成四块：语法能力（形式对不对）、社会语言能力（场合合不合适）、
话语能力（句子怎么连成段落）、策略能力（不会说时怎么绕过去，比如"那个……就是用来切东西的那个"）。

这就像学开车。"语法能力"是你会踩油门刹车，"社会语言能力"是你会看路况，
技术再好，不懂什么时候该让、什么时候该冲，上路就是灾难。

第三代是 Bachman 的 CLA 模型（Communicative Language Ability，1996 年的书）。
它的推进在于把"情境"正式拉进来了：语言能力不是一颗放在真空里的芯片，
它在特定任务、特定情境下才被激活。也就是说，
同一个人的语言表现，会因为他做的是什么任务而不同（写邮件 vs. 做演讲 vs. 即兴吵架）。
这一条对测评的含义极其直接：你抽到的题目，会决定你测出来的分数。

最新的一代是 CEFR，它换了一个完全不同的思路。前面三个模型都在问"语言能力由什么组成"，CEFR 干脆不回答这个问题，它只问"你能做什么"。这就是下一小节的内容。

语言能力是多维的，不是一个单一的量。
所以"一个分数"永远是对复杂构念的简化。

"雅思 7 分"不能完全代表"英语好"，它只测了那个考试定义的构念。

这句话的实际含义是：当你看到别人说"我雅思 7 分"时，你该想的应该是"他在雅思这个考试定义的构念上拿到了 7"，而不是"他英语好"。这两句话的差别，
就是这门课和"外行看热闹"的差别。

2.1 CEFR 的"能做"描述

CEFR（Common European Framework of Reference，欧洲语言共同参考框架）把语言能力分成六级。
它不用"掌握了多少单词、多少语法点"来分级，只用"能做到什么"来分级：

A1  能理解并使用日常表达
A2  能就熟悉话题交流
B1  能应对旅行中的大部分情况
B2  能与母语者流畅交流          ← 通常对标雅思 6.5
C1  能有效灵活地使用语言
C2  接近母语者水平

注意这套描述的写法：它没有一句是"知道 X 个词""会 Y 个语法结构"，
每一级都是一个可以观察的行为（能理解、能交流、能应对、能灵活使用）。
这是一个可以被测试直接对照的框架，考官不用问"你词汇量多少"，
他只要判断"这人能不能和母语者流畅交流"，就能定级。

"雅思 6.5 = B2"已核实为官方通行对标（British Council / Cambridge English，在线核对）：
B2 对应雅思 5.5–6.5，C1 对应 7–8，所以 6.5 正好是 B2 的上边界。
但"对标有争议"也是真的，不同机构/国家的对标表不同
（如匈牙利表把 6.5 归 C1、部分越南表把 6.0 归 B2）。
务实结论：按官方主流口径 6.5 = B2（上边界）；但用于申请/签证时，
必须以目标院校或国家公布的那张表为准，别只信一个通用对应。

为什么会"各表不同"？因为对标本身就是一次构念的重新界定。
雅思分数是"考试内部的一致刻度"，CEFR 等级是"能力描述的定性档位"，
把前者映射到后者必然要做一次人为判断（在 6.5 这个点上算 B2 还是 C1？）。
不同机构判的位置不同，不代表谁错了，只代表他们用了不同的切法。
这正是 §1 开头那句话的现实版：先定义测什么，才有后面的所有事。

CEFR 用"能做什么"而不是"知道多少"，这是从"知识取向"到"能力取向"的转变（也是 学习科学 里"迁移"的体现）。

为什么这件事对你特别有指导意义：如果你学英语时总在背"单词表、语法点"，
你走的还是旧版路线；CEFR 提醒你，考试的判据是"你能不能做那件事"。
一个自测用的好办法：把你 CEFR 目标等级那句"能做"描述抄下来，
每周问自己一次"我这周做的事，能不能证明这一句话"。这比刷题数更接近考试的真实判据。

3 测试类型

第二个基础问题：测试也是分种类的，用错类型就得不到你想要的结论。
下面这张表是五种基本类型，关键要看清"目的"那一列：

逐条解释一下，因为名字很像但用途完全不同：

水平测试（proficiency test）问的是"你现在会什么"。
它完全不关心你在哪学的、学了多久，你自学三年和上课三年，考出来一样就是一样。
HSK、雅思、托福都是这一类，它们的分数可以直接跨人比较，这正是它们能被用于升学移民的原因。

成绩测试（achievement test）问的是"老师教的你吸收了多少"。
它跟你的课程绑定，考的内容应该是课程教过的内容。
所以成绩测试的分数不能拿来和别人比（别人学的不是这门课），
也不能拿来证明"语言水平高"，你期末考 95 分，可能只是这门课教得浅。

诊断测试（diagnostic test）问的是"具体哪里不行"。
它不给你一个总分就完事，它要细分到具体能力点（比如"你的问题在于弱读听不出来，不在词汇量"）。
特点是比较细、通常不计分入档，因为它的目的是指导下一步学什么。

分班测试（placement test）问的是"你该放哪个班"。
它不需要精确到小数点，只需要在切分点上足够准。
它有一个很特别的容错逻辑：如果分错了，代价不大（换个班就行），
所以分班测试通常比水平测试短、便宜。这是"测量的精度要匹配决策的代价"的一个例子。

学能测试（aptitude test）问的是"你有没有潜力学好"。
注意它测的是你学得多快，而不是你现在会多少，
所以它通常设计成"教一点你没学过的内容，然后立刻测你吸收了多少"。
它跟其他四种有本质区别：它预测的是未来，不是现在。

"水平测试"和"成绩测试"互不能替代：
水平测试不管你怎么学的，只看你现在会什么；成绩测试考的才是"教了什么"。

为什么这条重要：这是最常见的用错测试的例子。
拿期末考成绩去申请留学是无效的，因为你的期末考只证明了"你学会了这门课教的东西"，
不构成"你的语言水平达到某个标准"的证据。
反过来，拿雅思成绩去评价一个老师教得好不好也是无效的，雅思不测"老师教了什么"。
测试的效度是"相对于某个用途"而言的（这条在 §6 会正式展开）。

4 测试史：和教学法是同步演变的

这一节看起来是历史，其实是在讲一条因果链。
请注意下面这张表：左边是测评范式，右边是教学法，两列不是巧合地并列，它们相互驱动。

顺着时间看一遍，你会发现每一代的"毛病"都催生了下一代：

1960s 前是前科学时期，没有理论，每个老师凭自己的经验出题。
你今天如果遇到"我们老师就爱考他上课讲的原句"，那基本就是这个阶段的活化石。

1960s 的"离散点测试"（discrete-point test）是第一次把测量思想引进语言测试。
它的假设是：语言 = 一堆可分离的知识点（语音点、语法点、词汇点）的拼装，
所以把每个点单独考出来，加起来就等于语言能力。
于是题目长成了"选择正确的时态""选出划线词的同义词"这种形式。
它和当时流行的"语法翻译法""听说法"是绝配，那些教学法也把语言当零件教。
它的系统性毛病是：真到用的时候，你会发现自己每道题都会做，但说不出一句完整的话。
为什么？因为它测的"零件"加起来不等于"整机"，这正是 §1 那个"多维构念"问题在历史上的第一次现身。

1970s 的"整合测试"（integrative test）就是对上面那个毛病的反应。
它不再考孤立的点，改成要求你同时调用多种能力，完形填空（cloze）最典型：
一篇文章挖掉若干词，你得同时用语法、词汇、上下文推理才能填空。
听写也是这一类（听、记、拼写、语法一起上）。
它的推进是"整体性"，但它带来一个新问题：它到底测的什么，说不清。
完形填空做得好，可能是因为你词汇大，也可能因为你逻辑推理强，
这又回到构念界定的难题上了。

1980s 之后的"交际测试"（communicative testing）是一次范式转换。
它的主张是：既然语言是用来交际的，那就直接考交际。
所以题目变成写一封信、做一个角色扮演、就一个话题展开讨论。
它的搭档是"交际法"教学。代价是：一旦考真实交际，评分就必须由人来做，
于是"评分者一致性"这个难题就正式登场了，这就是 §5 存在的理由。
可以说，§5 整节内容，是 1980s 交际测试这个转向的直接后果。

2000s 之后的"表现性评价"（performance assessment）把这条路线推到底：
不再用"像不像真实任务"的题，改成直接用真实任务本身，
做一次课堂展示、完成一个项目、写一份真实用途的报告。
它的搭档是"任务型教学"。它把"评分难"的问题又放大了一倍，
同时也提出了新的效度问题：一个项目做得好，到底是语言好还是能力好？（→ §6 的"后果效度"和"泛化"证据）。

注意上下两列的对应关系：
教学理念变了，测评方式必然跟着变，因为你测什么，就会教什么。
这就引出下一节。

把这条链倒过来读也很重要：测评在变，教学也会被动跟着变。
也就是说，考试不只是"测量"教学的结果，它还在"塑造"教学本身。
这个"反向作用"就是下一节的主题。

5 反拨效应（washback）

定义：测试对教学的影响。

这个现象在英语文献里叫 washback（有的地方也叫 impact），中文译作"反拨效应"或"回冲效应"。
它是一种机制，不是一种意见，它客观存在，你只能选择让它是正面的还是负面的。

"测什么，就教什么。"

为什么会有这个机制？因为它背后是一个利益结构：
学生要考的东西，直接决定了他愿意花时间学什么；而学生的选择，又决定了老师和教材跟着做什么。
所以考试这根指挥棒一动，后面整条链条都会动。

注意这张表的左边和右边都是"考 X → 教 X"，区别只在于 X 是什么。
这正是反拨效应最反直觉的地方：它把问题从"考试 vs. 素质"换成了"考试在放大什么"。
如果考试考的是"能不能用英语讨论一个问题"，那反拨效应就会把人推向"练真实的讨论"，
这完全可能是一件好事。

经典案例：雅思/托福的改版会牵动全球英语教学，学生要考的变了，培训班和教材都跟着变。
具体到你能观察到的现象：托福从纸笔考试转向机考之后，
培训班的课程里冒出了"打字速度训练""机考界面适应训练"这种以前不存在的内容；
雅思口语从"人人对话"逐步引入视频通话形式之后，备考材料也跟着调整。
这些变化没有一个来自课程大纲，全部来自考试形式的变化，这就是反拨效应的直观证据。

反拨效应是你专业的一个绝佳研究题目：
- 高考英语改革后，中学英语课怎么变了？
- HSK 改版对汉语教学的影响？

这类问题有真实数据、有政策意义、可做实证研究，而且北语的语料和渠道都在你手边。

为什么说这是"绝佳题目"？因为它同时满足了做研究的三个条件：
① 有自然实验：政策改一次，就等于给全国做了一次大规模处理，前后有清晰的分界点；
② 数据可得：课表、教材版本、课时分配、教师问卷，都是可采集的；
③ 有理论可以检验：你可以去看"反拨效应到底是全面的还是只影响表层"（学界对这一点有争议，
有人主张它只改变"练什么题型"，有人主张它能改变深层教学理念）。
一个本科生如果能在北语拿到 HSK 改版前后的汉语教学数据，这就是一篇有分量的毕业论文的开头。
而且这件事跟你自己有关：你以后如果备考雅思，
你就该意识到你手上的备考材料，是被考试形式反向塑造过的产物，
知道这一点，你就能主动选择是"被牵着走"还是"看清了再决定跟不跟"。

6 操作：怎么算评分者一致性（ICC）

这是语言测评最实用的工具，因为口语和作文都是人评的，一致性是核心质量问题。

6.1 为什么需要它

先看一个具体场景：你和同学一起给一批作文打分。第一篇作文，你给了 6 分，同学给了 7 分。
这算不算"你们评得差不多"？再往下看：你给第二篇打了 5 分，同学打了 6 分；第三篇你 8 分，他 9 分……
你会发现，你们几乎每一篇都差 1 分。那这到底算"高度一致"还是"不一致"？

这个问题不能靠感觉回答。因为"差 1 分"在两种情形下含义完全相反：
- 如果你们俩的分数整体上一直是同向的（你的分高，他的分也高，只是每个都高 1 分），
那你们其实高度一致，因为你们对作文的排序判断完全相同，只是"起评分"习惯差了一档。
- 如果你们的分互不相关（你给高分的那篇他给了低分），那就是彻底不一致。

ICC 就是用来捕捉这种区别的。

回到客观题对比一下：客观题（选择题）机器判，没有一致性问题，
标准答案在那儿，谁判都是同一个结果。
主观题（口语、作文）必须人评，那两个评分者给同一篇作文的分，一致吗？

为什么这个问题是"核心质量问题"而不是"小细节"？因为如果一致性很低，那就意味着"这篇作文得几分"取决于"谁改的"，
那么这个分数就携带了极少的关于考生能力的信息、大量的关于评分者的噪声。
这时候你拿它去做任何判断（录取、分班、发证书）都是不可靠的。
所以在语言测评里，报告一个分数时不同时报告一致性，等于隐瞒了这个分数有多大一部分是噪声。

6.2 有哪些指标

解决"两个人评得一致吗"这个问题的指标，历史上也是逐步升级的：

逐条看它们的毛病和贡献：

最简单的是"一致性百分比"，直接数"两个人给的分完全一样的比例"。
它的问题是没校正"碰巧一致"：假设评分只有"及格/不及格"两档，
那么两个人随便乱给，也会有大约一半的概率碰巧一样。
所以一个 50% 的一致率在这里等于"完全没一致"。这个指标会系统性地高估一致性。

Cohen's Kappa 就是来修这个问题的：它把"碰巧会一致的那部分"从结果里减掉，
所以它的含义是"比随机好多少"。它适用于分类数据（及格/不及格、A/B/C 等级）。

ICC（组内相关系数，intraclass correlation coefficient）是连续性评分（比如 1–9 分）最常用的。
它做的事比前两个更漂亮：它不满足于简单地看"同不同"，它把分数的总变异拆成几块：
考生之间的真实差异（这是我们想测的）、评分者之间的宽严差异（这是噪声）、
以及剩下的残差（这也是噪声）。
然后用"考生真实差异在总变异里占多大比例"来定义一致性。
这个思路跟 教育评价 里信度的那套方差分解是同一个逻辑。

"同一篇作文换一个评分者，分数会变多少？"
如果换人几乎不变 → ICC 高；如果换人分数乱跳 → ICC 低。
它衡量的是分数的"抗评分者扰动能力"。

6.3 代码（已实测可跑）

"""评分者一致性（ICC）计算：只用 numpy + scipy，不装额外统计包。

ICC(2,1) = 双向随机效应、单个评分者、绝对一致性——
两个评分者给同一批作文打分时最常用的那种。
"""
import numpy as np
from scipy.stats import f as fdist


def icc_2_1(scores):
    """scores: n×k 矩阵（n 篇作文，k 个评分者）。返回 (ICC, CI 下界, 上界)。"""
    scores = np.asarray(scores, dtype=float)
    n, k = scores.shape

    grand = scores.mean()
    row_means, col_means = scores.mean(axis=1), scores.mean(axis=0)

    SS_S = k * ((row_means - grand) ** 2).sum()      # 篇间
    SS_R = n * ((col_means - grand) ** 2).sum()      # 评分者间
    SS_E = ((scores - grand) ** 2).sum() - SS_S - SS_R   # 误差

    MS_S = SS_S / (n - 1)
    MS_R = SS_R / (k - 1)
    MS_E = SS_E / ((n - 1) * (k - 1))

    icc = (MS_S - MS_E) / (MS_S + (k - 1) * MS_E + k / n * (MS_R - MS_E))

    nu1, nu2 = n - 1, (n - 1) * (k - 1)
    F_U, F_L = fdist.ppf(0.975, nu1, nu2), fdist.ppf(0.025, nu1, nu2)
    lo = n * (MS_S - F_U * MS_E) / (F_U * (k * MS_R + (k * n - k - n) * MS_E) + n * MS_S)
    hi = n * (MS_S - F_L * MS_E) / (F_L * (k * MS_R + (k * n - k - n) * MS_E) + n * MS_S)
    return icc, lo, hi


def interpret(icc):
    """按 Koo & Li (2016) 的标准解读。"""
    if icc < 0.50:
        return "差 (poor)"
    if icc < 0.75:
        return "中等 (moderate)"
    if icc <= 0.90:
        return "好 (good)"
    return "优秀 (excellent)"


# ---- 演示：10 篇作文，两个评分者 ----
scores = np.array([
    [6.0, 7.0], [5.0, 6.0], [8.0, 9.0], [7.0, 7.5], [4.0, 5.5],
    [9.0, 9.5], [6.5, 7.0], [5.5, 6.5], [7.5, 8.0], [3.0, 4.0],
])

icc, lo, hi = icc_2_1(scores)
print("=== 两个评分者的一致性 ===")
print(f"  ICC(2,1) = {icc:.3f}")
print(f"  95% CI   = [{lo:.3f}, {hi:.3f}]")
print(f"  解读      = {interpret(icc)}")

# 对照：第二个评分者乱打
scores2 = scores.copy()
scores2[:, 1] = [9, 2, 7, 3, 8, 4, 6, 1, 9, 5]
icc2, lo2, hi2 = icc_2_1(scores2)
print("\n=== 对照：第二个评分者乱打 ===")
print(f"  ICC(2,1) = {icc2:.3f}")
print(f"  95% CI   = [{lo2:.3f}, {hi2:.3f}]")
print(f"  解读      = {interpret(icc2)}")

读代码时注意三件事：
① SS_S、SS_R、SS_E 就是"篇间、评分者间、误差"三块方差，ICC 的全部内容就是这三块的比例；
② 代码算的是 ICC(2,1)，选了哪种形式决定了公式长什么样（见下面 ⚠️①）；
③ 最后几行顺便算了 95% 置信区间，为什么必须带它，见 ⚠️③。

6.4 实跑输出

=== 两个评分者的一致性 ===
  ICC(2,1) = 0.878
  95% CI   = [0.635, 0.967]
  解读      = 好 (good)

=== 对照：第二个评分者乱打 ===
  ICC(2,1) = 0.078
  95% CI   = [-0.597, 0.659]
  解读      = 差 (poor)

看这两组输出的对比，能读出三个信息：

1. 第一组（两个评分者都认真评）：ICC = 0.878，"好"。
   注意这个 0.878 不是 1.0，说明这两个评分者并不完全一致，
   但考生之间的真实差异占了绝大部分变异，所以分数是可用的。
2. 第二组（第二个评分者乱打）：ICC 掉到 0.078，几乎归零。
   而且它的置信区间是 [−0.597, 0.659]，下界是负的。
3. 两组的差异只来自"第二个评分者"这一列数字，其余完全相同。
   换句话说，评分者质量直接决定分数的可用性，这就是这门课要教你的最核心的一件事。

6.5 三个必须注意的点

① ICC 有 10 种形式，用错会得出不同答案

这不是夸大，ICC 是一整个家族，不是单一指标。选哪一种，取决于你的研究设计：

三个维度各选一个，理论上有十种左右的组合，每一种的公式和数值都不同。

三个维度分别在问什么：
- 模型：问的是"我的评分者算不算从一个大池子里随机抽的"。
如果这两个评分者只是"我随便找的"，代表所有可能的评分者 → 双向随机；
如果只有这两个人、结论也只针对他们 → 双向固定。
- 类型：问的是"我要的是"一个评分者"的可靠性，还是"多个评分者平均分"的可靠性"。
这一条特别容易搞错：多个评分者的平均值一定比单个更可靠，
所以"用平均分"算出来的 ICC 会更高。报告时不说清楚，读者会误以为你的评分很稳。
- 定义：问的是"我允许不允许评分者有系统性的宽严差异"。
一致性（consistency）只看"排序是否一样"，容忍"一个人普遍严格 1 分"；
绝对一致性（absolute agreement）不允许系统性差异，要求分数本身就能互换。

"两个评分者打分"通常用 ICC(2,1)（双向随机、单个、绝对一致）。
报告时必须写明选了哪种形式。

为什么"通常用 ICC(2,1)"：因为现实里评分者总是有宽严差异的（有人天生给分松），
而你的分数是要拿去直接用的（录取、发证），
所以"不允许系统性差异"（绝对一致性）才是你真正需要的标准，
上面代码演示的正是这一种。

② 同一个 ICC 值，在不同框架下含义不同

ICC 的解读没有唯一的权威分档。下面是两套都在用的框架，请你对照着看它们的差异：

同样一个 ICC = 0.75：
在 Koo & Li 框架下是"好"的边界（优秀要 > 0.90），
在 Landis & Koch 框架下就是"优秀"。

所以你看到一个 ICC 值时，必须同时知道：它用了哪种形式、哪个解读框架、
以及 95% 置信区间是多少。

为什么会有两套框架？因为"多高才算够用"本质上是个判断题，取决于分数的用途。
用在高风险决策上（高考、移民、行医执照），你要的门槛应该更高；
用在低风险的课堂反馈上，0.75 可能就足够了。
这也是为什么 §6 的"后果效度"和这一节关系密切，
你选了哪套标准，其实就是在做一次"这个分数会被怎么用"的判断。

实践建议：
看一个语言测试的评分质量，问三件事：
① 用了哪种 ICC 形式？ ② 哪个解读框架？ ③ 置信区间是多少？

这三问是可以直接拿去用的。以后你读到一篇论文说"我们的评分一致性良好（ICC = 0.82）"，
你就可以照着这三问问下去：是 ICC(2,1) 还是 ICC(2,k)？用的 Koo & Li 还是 Landis & Koch？
置信区间有多宽？如果这三条答不上来，"0.82 良好"这句话几乎没有信息量。

③ 置信区间下界可能是负的

上面"乱打"那组的 CI 下界是 −0.597，这不是 bug。
ICC 的置信区间可以为负（含义是"完全没有一致性，甚至排序相反"）。

为什么会有负值？因为 ICC 是从样本估计出来的，
而样本量小的时候，估计的不确定性就大。
"下界为负"在说：根据这 10 篇作文，我连"一致性是正还是负"都不敢确定。

报告时不能只报点估计，要报 CI。
理由很直接：点估计（0.878）是"我最好的猜测"，置信区间才是"我这份数据能支持到多强的结论"。
只报点估计，等于把不确定性藏起来了。

练习 1

你自己的数据：

1. 找 5–10 个同学，每人给同一批作文（或口语录音）打分
2. 把分数整理成"作文 × 评分者"的矩阵
3. 用上面的代码算 ICC(2,1)
4. 看看你们的评分一致性属于哪一档

如果 ICC 很低，想想问题出在哪：评分量表太粗？标准不统一？没培训？

这个练习的价值在于你会亲身撞上 §5 讲的所有坑：
你会发现"评分者"之间真的有系统性宽严差异（这会让你理解"绝对一致性"为什么重要）；
你会发现样本只有 10 篇时置信区间宽得吓人（这会让你理解 ⚠️③）；
你还会发现分数只差 0.5 分时，到底算一致还是不一致，取决于你的量表有多细，
这条经验在教科书上很难真正感受到。

7 效度论证（Messick 框架）

第 5 节解决了"分数稳不稳"（信度）的问题。这一节解决"分数说明什么"（效度）的问题。
而且它会引入一个你可能没想到的角度：测试的社会后果，也是效度的一部分。

现代语言测评的核心观念：效度是一套"论证"，不是贴在试卷上的"属性"。

这句话跟旧观念的分歧要点在这里：
旧观念认为"效度"是考试身上的一种标签，"这套题效度高"，
仿佛效度是一个可以一次测定、贴在卷子上的东西。
Messick 的看法不同：效度是关于"分数被怎么解释、拿去做什么"的一套论证。

你要论证的是：

基于这个分数的"解释"和"使用"，有没有足够的证据支持？

注意这句话里的两个关键词：
"解释"，你说这个分数代表什么（"85 分意味着他的写作能力达到 B2"）；
"使用"，你拿它做什么（"所以他要分到高级班"）。
Messick 的洞见是：这两件事都要拿证据支持，而且"使用"那一步也要。
这就把"测试本身"和"测试的后果"绑在了一起。

六种证据：

把这六种逐一展开，你会看到它们各自在防什么漏洞：

内容证据问的是"题目覆盖了构念吗"。
回到 §1：如果"语言能力"包含话语能力（句子怎么连成段落），
但你整套卷子只考词汇和语法，那内容证据就不足，你测的东西漏掉了构念的一部分。

实质证据问的是"被试真的在做那个心理过程吗"。
这是一个更微妙的问题：一道"完形填空"题目设计者以为在考"上下文推理"，
但考生其实可能只是靠"固定搭配背过"填对的。
这时候题目形式没变，但它实际在测的构念变了，实质证据就在查这个偏差。
（这在 教育评价 里通常叫"构念无关变异"的问题。）

结构证据问的是"分数内部结构符合理论预期吗"。
比如：如果理论上"听说"和"读写"是两个不同的能力维度，
那么考试数据做因子分析后，应该也浮现出两个维度。
如果数据显示所有题都在一个维度上，那你的理论假设可能有问题，
要么理论错了，要么题目设计让它们混在了一起。

泛化证据问的是"能推广到其他情境吗"。
一个在"课堂作文"上得高分的人，写"申请邮件"是不是也好？
一个在"雅思听力"上得高分的人，听真实播客是不是也听得懂？
推广不过去，说明你的分数只在一个很窄的范围内有效。

外部证据问的是"和外部标准相关吗"。
最经典的例子：把新考试的成绩，和另一个已有公认效度的考试、或和老师长期观察的评定，做相关。
如果相关很低，你就要怀疑这个新考试测的东西是不是偏了。

后果证据是 Messick 最重要的贡献，也是六种证据里最容易被忽略的一种：

"后果效度"是 Messick 的重要贡献：
如果一个测试被用来做"不公平的筛选"，即使它测得很准，它的效度也有问题。
这把"测评伦理"正式纳入了效度框架（和 教育哲学 的"公平"问题相连）。

为什么这一条这么颠覆？因为在旧框架里，"测试准不准"和"测试被怎么用"是两个分开的问题，
测试专家的责任到"准不准"为止，"怎么用"是政策决定，不管他的事。
Messick 把这两件事合并了：如果某个群体因为这个测试被系统性地误判或排斥，
那这个测试在"被这样使用"这件事上就是无效度的，哪怕它的统计指标全都漂亮。

一个具体的例子：假设有个口语考试，评分标准里隐含"标准口音才好"的假设，
结果所有带口音的考生都被系统性压低。
这个测试的 ICC 可能很高（评分者非常一致地压低），但它的后果效度是坏的。
这个例子正好把 §5 和 §6 连起来了：高一致性只是必要条件，不是充分条件。
一个"稳定地不公平"的测试，同样是不合格的。

8 具体考试（作为案例分析）

前面讲的都是框架，这一节看四个真实的考试，把它们当作 §1–§6 的应用例题。

逐个对照前面的框架看：

HSK（汉语水平考试）分为六级，是水平测试的典型（不管你在哪学的汉语）。
它对你来说有双重意义：一方面它是北语的教学科研对象（相关研究多），
另一方面它是你未来可能参与的工作对象，如果做汉语国际教育，
你的学生会考它，你的教学会被它反拨（→ §4）。
注意它可以做 §4 那个研究题目：HSK 改版（比如从旧版到新版 3.0）之后，汉语课堂发生了什么变化？

雅思 IELTS 是九分制，考听说读写四项。
它最好地体现了 §1 那个"多维构念"的现实版本：四项分数是分开报的，
但很多机构只看总分，这就是"单一分数简化复杂构念"的日常操作。
它现在处于机考转型中（纸笔在退场），
这个转型本身就是 §4 反拨效应的现场直播：考试形式一变，备考行为立刻变。

托福 TOEFL 以北美为主要使用场景，是机考。
雅思和托福的关系，是"对标同一个能力框架（CEFR）、但用不同任务采样"的两种方案，
这正是 §1 里"构念界定不同，题目就不同"的实例。

CEFR 要单独强调一句：它本身不是考试，只是一套能力框架（各考试都对标它）。
这个区别很重要：你可以"考"雅思、托福、HSK，但你没法"考" CEFR。
CEFR 是一个共同的坐标系，让不同考试的分数能换算、能比较。
§1 那张"能做"描述的表，它的身份就是这个坐标系。

面试 / 口语测试的特殊困难：

为什么要把口语单独拿出来说？因为它是 §5 那个一致性问题最尖锐的场景：
笔试的评分者可以反复看、可以停下来讨论；口语考官必须在几秒内做完判断。
具体有三类困难：

把这三条展开看：

"即时"：口语是实时流逝的，考官没有"暂停重听"的选项。
这意味着他必须边听边形成判断，而且判断一旦形成就很难回头修正。
（这是它和作文评分最本质的差别。）

"评分者状态影响"：疲劳和顺序效应都在这里起作用。
"顺序效应"指的是：如果考官连续听了三个糟糕的回答，他对第四个普通回答的评价可能偏高
（因为对比产生了），反之亦然。这属于 §6 里那种"构念无关变异"，
你测到的东西里混进了不该有的成分。

"交互性"：口语是双向的，考官的态度、语速、追问方式会改变考生的表现。
同一个考生，遇到一个热情鼓励的考官和一个冷脸沉默的考官，发挥可能完全不同。
这条最麻烦，因为它意味着"考生的表现"里有一部分其实是"考官造成的"。

→ 所以雅思口语的评分员要定期认证。
"定期认证"就是对这些困难的制度化应对：用统一的培训、标准的样带校准、
以及定期的复核，把"评分者变异"压到可控范围内，这正是 §5 那套指标要监测的东西。

9 练习答案

9.1 练习 1

没有标准答案，你自己收数据。
但可以对照的经验值：认真的双评 + 明确量表，ICC 通常能到 0.8 以上；
没有培训、量表模糊时，常在 0.5–0.7。

这两组数字的性质要说清楚：它们是常见说法（经验值），不是文献定论。
因为 ICC 的解读本来就没有唯一权威分档（§5 ⚠️② 已给出 Koo & Li 与 Landis & Koch 两套框架）。
所以这两组数字只能当"大概位置"参考，不能当作标准去卡线。
真正该做的是：报出你自己的 ICC(2,1)、置信区间，然后说明你用的是哪套框架。

10 出处索引

怎么看这张表：带 [DOI] 的条目可直接点开核对原文；书/古籍/语料库/官方文件没有 DOI，按题名 + 出版社（或机构）查找。

本页数字的来源说明：ICC(2,1) 的公式、置信区间公式、Koo & Li 与 Landis & Koch
两套解读框架的具体分档，都查证过原始文献。
§5 的代码是我自己写的并实跑过（输出贴在讲义里）。

（2026-09-19 复核）：
- 雅思 6.5 与 CEFR B2：已核实为官方主流对标（B2 = 5.5–6.5），
但"各机构表不同"属实，申请时以目标院校的表为准。
- 练习 1 的"经验值"（0.8 以上 / 0.5–0.7）：保留"常见说法、非文献定论"这个性质，
ICC 的解读本就没有唯一权威分档，Koo & Li 与 Landis & Koch 两套框架已在 §5 给出。

11 相关

• 教育评价：测量理论基础（信度、效度、IRT）
• 语言教育学：教学法与测试的同步演变、反拨效应
• 第二语言习得概论：语言能力怎么发展
• 教育统计学：统计方法
• 教育哲学：测评的公平与伦理
• 专业学习路线：这门课的位置