统计量一览
本附录汇总 LemmaLoom 各处显示的统计量,例如检查器文本标签页中的可读性指标,以及比较行动派和怀疑派的文本所得的 p 值。各表沿用软件中显示的名称,并注明哪一章用实例讲解过相应的统计量。
其中许多统计量在帮助 ▸ 术语表中也有简短的定义,归在文本统计和关联度量两个类别下。


数字出现在哪里
| 位置 | 数字 | 详见 |
|---|---|---|
| 文本标签页的概览 | 单个文档的计数、可读性、词汇、句法和结构 | 第 10 章“文本检查器” |
| 语法标签页的搭配词 | 四种关联得分;CSV 导出另加三种得分和期望频数 | 第 11 章“语法检查器” |
| 语法标签页的词汇速写;编码标签页的编码速写;词汇速写视图和窗口 | 每个搭配成分的 f(频次)和 logDice | 第 12 章“词汇速写” |
| 多重模式标签页的速写空间;词汇速写的多重模式 | 各关系的计数和占比、* 以及列表中的 logDice | 第 14 章“速写空间” |
| 编码标签页的编码统计 | 每个编码的片段数和覆盖率;重叠编码的 φ 和 * | 第 13 章“编码分析” |
| 项目视图栏中的编码本和编码统计 | 片段、文档、覆盖率 | 第 7 章“编码”;第 13 章“编码分析” |
| 项目视图栏中的编码矩阵 | 计数;使用列分组依据时,为计数或百分比,并对每个编码各做一项检验 | 第 13 章“编码分析” |
| 项目视图栏中的关系 | 每对编码的 φ 和 *,以及重叠次数 | 第 13 章“编码分析” |
| 查询中的数量、比较和随时间变化 | 各种度量、分布范围、DP 和检验 | 第 16 章“查询结果与统计” |
| 查询中的搭配词和关键词 | 七种关联得分;对数似然和对数比 | 第 16 章“查询结果与统计” |
| 按得分排序的查询 | 每个段落的得分 | 第 17 章“查询模式与发现” |
| 查询中的网络 | 每对取值之间相连命中的计数 | 第 16 章“查询结果与统计” |
| 形式 × 功能、语篇、词典部分的类别频率、编码统计中的属性分布 | 单纯的计数 | 第 11 章“语法检查器”;第 19 章“词典”;第 13 章“编码分析” |
基础知识
这部分只要求中学数学知识。其中的例子都取自随应用提供的示例项目“气候辩论”。编码矩阵一例用的是示例项目中真实的编码实例,用文件 ▸ 导入 ▸ 示例项目导入示例项目之后,可以自己核对。其余数字是虚构的,但前后一致,取这些数是为了便于计算。
计数、比例和比率
计数表示某样东西出现的次数,例如“电台辩论”中有 20 处模糊限制语,“行动派”文档集中有 6 个“紧迫性”编码实例。LemmaLoom 中的所有数字都直接或间接来自计数。不过,单看计数不便于比较,因为文档越长,容得下的数量就越多。
比例则是部分与它所属整体之比,取值在 0 到 1 之间,最常以百分数表示。LemmaLoom 中属于比例的有覆盖率、词汇密度、查询的占比度量,以及编码矩阵中的百分比。假设“时间不多了”共有 1,700 个字符,其中“成本”的编码实例覆盖 85 个,那么“成本”的覆盖率就是 ,即 5.0%。
比率和比例一样是两个数之比,但除数是文本的长度。为了便于阅读,比率需要放大:
式中 rate 即比率, 是计数, 是词数。相除得到的是平均每个词的命中数,数值很小。乘以 10,000 之后,比率就变成每 10,000 词的命中数,正是查询中每万词度量所用的单位。
以“电台辩论”和“不必恐慌”为例:前者有 800 个词、20 处模糊限制语,后者有 600 个词、18 处模糊限制语。由此得到:
前者的模糊限制语更多;后者数量较少,比率却更高。助词密度按每 100 个词计算比率,有几个可读性公式也是如此。换成每 100 个词,两个比率分别是 2.5 和 3.0,高低顺序不变。
计算一整组文档的比率时,可以算合并比率,也可以逐个文档计算比率。合并比率用全组的出现总次数除以全组的总词数,因此长篇评论文章比短文章分量更重。查询的各行显示的就是这种比率。另一种方法先算出每个文档各自的比率,再把它们相互排序。比较中的秩检验采用这种方法(见本章后文的检验)。
对数
一个数的对数,是指底数需要取几次方才能得到这个数。LemmaLoom 用到三种底数:
- 以 10 为底,1,000 的对数是 3(),因为 。
- 以 2 为底的对数(记作 )表示翻了几番,所以 ,因为 。
- 自然对数记作 ,以 (开头为 2.718 的那个数)为底,也就是计算器上 ln 键所算的对数。
无论底数是多少,1 的对数总是 0。大于 1 的数,对数为正;大于 0 而小于 1 的数,对数为负。0 和负数都没有对数,因此有些公式会给计数加上 0.5,或者略去所有的 0。
比较比值时,对数很有用。“频率是四倍”和“频率是四分之一”距离“频率相同”一样远,但在线性标度上,4 与 1 相差 3,1 与 0.25 相差还不到 1。取以 2 为底的对数,分别得到 2 和 −2,与 0 的距离相等:
| 比值 | 1/8 | 1/4 | 1/2 | 1 | 2 | 4 | 8 |
|---|---|---|---|---|---|---|---|
| −3 | −2 | −1 | 0 | 1 | 2 | 3 |
对数比、MI 和 logDice 使用以 2 为底的对数(),因为这样一个单位就对应两倍或一半。对数似然使用 。解读对数似然统计量时,可以对照与各个 p 值临界值相对应的卡方值(见下文的p 值)。
如果计算器没有 功能,可以先按 ln 键,再把结果除以 (即 )。例如,,而 ,所以 ,比翻一番略多一点。
期望频数
许多统计量都要把实际观察到的数,与假如各组之间毫无差别时应当观察到的数相比较。后者称为期望频数。
假设行动派的文本共有 4,000 个词,怀疑派的文本共有 3,000 个词,希望一词在前者中出现 12 次,在后者中出现 2 次。列成表格就是:
| 希望 | 其他词 | 词数 | |
|---|---|---|---|
| 行动派 | 12 | 3,988 | 4,000 |
| 怀疑派 | 2 | 2,998 | 3,000 |
| 合计 | 14 | 6,986 | 7,000 |
如果两组使用希望的比率相同,它的 14 次出现就应当按词数的比例分配。行动派的文档占全部词数的七分之四,因此预期有 14 × 4/7 = 8 次希望;怀疑派预期有 6 次。一般来说,某个单元格的期望频数等于它的行合计乘以列合计,再除以总计:
对于行动派的希望,。行动派实际用了 12 次,比期望多 4 次;怀疑派只用了 2 次,比期望少 4 次。期望频数只是一个平均值,所以不一定是整数。
卡方统计量 χ² 把每个单元格的计数 与其期望频数 之差取平方,各自除以 ,再加总:
式中 是单元格的观测计数, 是该单元格的期望频数,符号 表示“对所有单元格求和”。取平方之后,无论偏离朝哪个方向,都会使结果增大。除以期望频数,则使同样的差值在小单元格中比在大单元格中对总分的贡献更大。“其他词”的两个期望频数是 3,992 和 2,994,与实际计数都相差 4。因此,
关键词、搭配词、卡方检验、速写空间中的 * 以及重叠编码的 φ,都从计算期望频数开始,区别在于表格的行和列代表什么。关键词列表的行是两组文档;搭配词的行是窗口内和窗口外的词;重叠编码的行是每个编码之内和之外的字符。
p 值
无论两组之间是否真有区别,它们使用某个词的比率几乎总会有些出入。可以用统计方法检验这种出入是否显著。p 值的取值从 0 到 1,表示假如两组并无真正的差别,出现至少这么大差异的概率。p 值越低,差异就越难仅仅归于偶然。
在 LemmaLoom 查询的关键词列表中,对数似然(见第 16 章“查询结果与统计”中的两个得分的算法)是这样算的:把每个观测频数乘以它与期望频数之比的自然对数,将这些乘积相加,再乘以 2。它记作 ,下面是希望的计算:
与卡方统计量衡量的大致是同一种对期望的偏离,两者在方法和数值上的差别都很小;可以把 5.34 与前面的 4.68 相比较。
如果两组使用希望的比率相同,仅凭偶然得到 为 5.34 或更大的差异,概率约为 0.021。也就是说,在两组使用比率毫无差别的情况下,每 100 次中大约会有两次出现这样的结果。因此希望能通过阈值 LL ≥ 3.84,但通不过 LL ≥ 6.63。


判断显著性时,通常选用 0.05、0.01 和 0.001 作为 p 值的临界值;低于 0.05 的 p 值常被称为在统计上显著。LemmaLoom 凡是显示显著性的地方,都以 0.05 为界(见本章后文的显著性的显示方式)。
p 值为 0.021,并不等于差异确实存在的概率是 98%。p 值也不说明效应有多大,这要用效应量来衡量(见下文的效应量)。p 值大于 0.05 同样不能说明两组相同;文档数量有限时,相当大的差异也可能达不到统计显著。
p 值还假定只做了一次检验,而关键词列表对每个词都做一次。例如,对 1,000 个并无真正差别的词做假设检验,纯属巧合,也会有大约 50 个(每 100 个中有 5 个)在 LL ≥ 3.84 下显得统计显著。在同样的情况下,较严格的 LL ≥ 6.63 只会放过约 10 个词,LL ≥ 10.83 约 1 个。
大多数假设检验都要把算出的值与一个分布相比较。分布给出各组没有差别时,检验统计量取每一个值的可能性;p 值对应于分布中超出观测值的那一部分。两组的秩检验使用正态分布;更多组的秩检验、卡方检验和关键词阈值使用卡方分布。
与其他检验不同,Fisher 精确检验直接算出确切的 p 值,而不是求近似值。它考虑行合计和列合计保持不变时单元格的所有排列,把其中可能性不高于观测结果的那些排列的概率加起来。因此,在已知卡方分布拟合不佳的情况下,也就是期望频数较低时(按一条常见的经验法则,约低于 5),它仍然适用。
双侧检验考虑两个方向上对期望的偏离,单侧检验只考虑一个方向。查询中的比较和编码矩阵使用双侧 Fisher 精确检验。速写空间和词汇速写的多重模式则使用单侧检验,只寻找多于期望的关系。
卡方分布的具体形状取决于它的自由度(df)。 行 列的表格,自由度为 ,因为行合计和列合计固定之后,只有这么多个单元格可以自由变动。 个组的秩检验,自由度为 。下表列出达到各个临界值所需的最小值:
| df | p = 0.05 | p = 0.01 | p = 0.001 |
|---|---|---|---|
| 1 | 3.84 | 6.63 | 10.83 |
| 2 | 5.99 | 9.21 | 13.82 |
| 3 | 7.81 | 11.34 | 16.27 |
| 4 | 9.49 | 13.28 | 18.47 |
第一行就是关键词列表中显示 LL ≥ 3.84 的菜单里的三个值。解读搭配词的对数似然时,通常也以这三个值为界。
效应量
p 值同时反映差异的大小和支持这一差异的证据多少。效应量只衡量差异的大小,与文档数量无关。
以“气候辩论”的编码矩阵为例,按分组对列分组,得到“纸媒”和“网络”两个组。第一个切换控件决定每个单元格统计什么,这里设为文档(见第 13 章“编码分析”中的列分组)。“纸媒”和“网络”各有六个文档。“2024 热浪报告”和“碳税之争”构成未分组一列,检验时不计入。纸媒文档中有两个(“时间不多了”和“净零代价高昂”)带有“时间节点”编码实例,网络文档则六个都有:
| 有“时间节点” | 没有 | 文档 | |
|---|---|---|---|
| 纸媒 | 2 | 4 | 6 |
| 网络 | 6 | 0 | 6 |
| 合计 | 8 | 4 | 12 |
由这张表得到的期望频数,第一个单元格为 ,其余单元格依次为 2、4 和 2。每个观测计数都与期望频数相差 2,而 ,所以 χ² 为
这个 χ² 超过了 0.05 显著性水平的临界值 3.84。不过,由于只有两个组,编码矩阵改用 Fisher 精确检验,它能处理很小的期望频数。得到的概率值为 。效应量为 ,其中 是样本中的 12 个文档。φ 显示在克莱姆 V 系数一列中。
现在设想用十倍的个案重复这项研究,计数的比例保持不变:60 个纸媒文档中有 20 个、60 个网络文档中有 60 个带有该编码。卡方统计量随之增大到原来的十倍,即 60.0,p 低于 0.001。但比例没有变,所以 φ 仍为 0.71。
| 效应量 | 出现在 | 公式 | 取值 | 大致解读 |
|---|---|---|---|---|
| r | 两组的秩检验 | 0 到不足 1(见下文的文档很少时) | 0.1 为小,0.3 为中,0.5 为大 | |
| ε² | 三组及以上的秩检验 | 0 到 1 | 按平方标度,0.01 为小,0.09 为中,0.25 为大 | |
| φ | 比较中的 Fisher 精确检验;编码统计分面和关系中的重叠编码 | 0 到 1 | 0.1 为小,0.3 为中,0.5 为大 | |
| 克莱姆 V 系数 | 比较中的卡方检验,检验行中显示为 V;编码矩阵 | 0 到 1 | 两列的表格与 φ 相同;表格更大时,较小的值就已算大 | |
| 对数比 | 关键词 | 见下文的关键词得分和特征词表得分 | 没有上下限;0 表示没有差别 | 1 表示两倍,−1 表示一半 |
是每项检验统计的观测总数。在秩检验、出现检验和编码矩阵中,观测对象是文档;在基于计数的卡方检验中是词,而对于比较下的表格,则是各单元格中的命中。检验编码之间的重叠是否显著时,观测对象是字符。 和 χ² 是检验的统计量。 是行数与列数中较小的那个。 衡量 U 与偶然情况下应得的值 相差多少个标准差,标准差即 U 与这个值之间的典型距离:
和 分别是两组的文档数, 是去掉正负号的 。
秩
有些检验以排序为基础,也就是说,每个值按先后顺序得到一个秩。比率为 22、30、30 和 41 的四个文档,秩分别为 1、2.5、2.5 和 4。两个 30 占据第 2 位和第 3 位,因此都取两者的平均数 。
秩不考虑数值之间相隔多远。最高的比率即使从 41 变成 410,秩仍然是 4。因此,单凭一个比率极端的文档,无法左右秩检验的结果。
文档统计数据
当前文档建立索引后,检查器文本标签页(⌥⌘1)的概览分面会显示它的统计数据。所有统计量分列在概览、可读性、词汇、句法和结构五个部分中,其后是词类、句法功能和短语的条形图。类符形符比、MATTR 和平均依存距离显示两位小数,LIX 指数显示为整数。罕用词比例和各项比例显示为整数百分比,其余统计量显示一位小数。在查询中,这些统计量通过文档字段统计量提供,因此可以据此筛选文档或为文档分组(见第 10 章“文本检查器”中的按统计量查找文档)。
这里的词指词符:不计标点符号和 # 之类的非词字符,但包括数字。句子指 LemmaLoom 在建立索引时识别出的句子。
计数和结构
| 统计量 | 衡量什么 | 取值 |
|---|---|---|
| 句子 | 文档中的句子 | 整数 |
| 词数 | 词符 | 整数 |
| 不同词数 | 互不相同的词,按词元(即词典形式)计数,所以 cost 和 costs 只算一次 | 整数,不超过词数 |
| 段落 | 段落;文本中有空行时按空行划分,否则按每个换行划分 | 整数 |
| 字符数 | 文本的字符,包括空格和换行符 | 整数 |
| 平均句长 | 词数除以句数 | 以词计,保留一位小数 |
| 对话比例 | 引号内的词所占的比例,通过给引号配对来估算 | 0% 到 100% |
| 疑问句与感叹句 | 以问号或感叹号结尾的句子所占的比例 | 0% 到 100% |
| 每段句数 | 句数除以段落数 | 实际上不小于 1 |
| 词类、句法功能、短语 | 按词类和语法功能统计的词;按类型统计的短语 | 整数 |
前五项属于概览部分。平均句长是可读性部分的第一项,接下来的三项属于结构部分。第 10 章“文本检查器”中的计数和结构两节详细说明了每个统计量的计算方式。
分析转写稿时,句子边界由转写决定,因此凡是以句子为基础的统计量,都会受到转写者如何加标点的影响。
可读性
可读性公式根据平均句长和平均词长估计文本的难度。显示哪些可读性公式,取决于文档的语言。
所有可读性公式都沿用第 10 章“文本检查器”中的符号。 是词数, 是句数。 是音节数, 是字母数, 是字母和数字的个数。 是三个及以上音节的词数, 是除去专有名词之后三个及以上音节的词数。 是超过六个字母的词数, 是单音节词数。
| 统计量 | 语言 | 公式 | 解读 |
|---|---|---|---|
| Flesch 易读度 | 英语 | 越高越容易。Flesch 本人的量表从非常难(0–30)到非常容易(90–100);应用中的说明把平易的英语定在 60–70。数值可能超出 0–100 | |
| Flesch-Kincaid 年级 | 英语 | 美国学校年级(8 年级约相当于 13 到 14 岁) | |
| Gunning Fog 指数 | 英语 | 受教育年数 | |
| SMOG 指数 | 英语 | 美国学校年级 | |
| Coleman-Liau 指数 | 英语 | 美国学校年级,不统计音节 | |
| ARI 指数 | 英语 | 美国学校年级,不统计音节 | |
| Flesch-Amstad 指数 | 德语 | 读法与 Flesch 易读度相同;越高越容易 | |
| 维也纳实用文公式 | 德语 | 德国学校年级,非常容易的文本约为 4,非常难的文本约为 15 | |
| LIX 指数 | 英语、德语 | 应用中的说明把中等难度定在 40。低于 30 通常视为容易,高于 60 视为非常难 | |
| 每句字数 | 汉语 | 词中的字数除以句数,不计标点和数字 | 越高表示句子越长 |
| 平均词长 | 汉语 | 同样的字数除以词数 | 以字计,保留一位小数 |
| 助词密度 | 汉语 | 每 100 个词中的体助词(如“了”)、助词“的”“地”“得”以及量词(如“个”)的个数 | 保留一位小数 |
第 10 章“文本检查器”中的可读性一节用各个公式计算了一段三句话短文的可读性得分。对这段短文估计的年级,从 ARI 指数的 2.4 到 SMOG 指数的 8.8 不等。各公式给词长和句长的权重不同:SMOG 和 Gunning Fog 只统计多音节词(三个及以上音节),ARI 和 Coleman-Liau 统计字母,Flesch 的几个公式则统计全部音节。比较多个文档时,需要对所有文档使用同一个公式。
音节数通过给元音分组来计算,所以 warned 虽然只读一个音节,却算作两个音节(见第 10 章“文本检查器”中的字母、字符和音节)。在大量文本中,这类误差会相互抵消,但在较短的文本中可能造成偏差。此外,这些公式以书面文本为前提;像“电台辩论”这样的转写稿,由于每位参与者说的句子较短,结果也会有偏差。
词汇
词汇部分分析用词的多样程度、实词所占的比例和平均词长(见第 10 章“文本检查器”中的词汇)。
| 统计量 | 衡量什么 | 取值和解读 |
|---|---|---|
| 类符形符比 | 不同词数除以词数 | 0 到 1;越高表示用词越多样。文本越长,它就越低,所以只比较长度相近的文本 |
| MATTR | 每一段连续 100 个词的类符形符比的平均值 | 0 到 1;可以在长度不同的文本之间比较。对于不超过 100 个词的文本,它等于类符形符比 |
| 词汇密度 | 不在该语言停用词表中的词所占的比例;停用词是简短的虚词,例如英语的 the、of 和 is | 0% 到 100%;越高表示实词越多、虚词越少 |
| 罕用词比例 | 恰好只出现一次的不同词所占的比例 | 0% 到 100% |
| 平均词长 | 每个词的字母数;汉语文档改为在可读性部分显示每个词的字数 | 以字母计,保留一位小数 |
| 虚词比例 | 停用词表中的词所占的比例 | 0% 到 100%;它与词汇密度之和总是 100% |
类符形符比(TTR)、MATTR 和罕用词比例都按词元计算。一份 4,000 词的报告如果有 800 个不同词,TTR 就是 。如果其中 400 个词在报告中只出现一次,罕用词比例就是 。这份报告的前 200 个词也许用了 110 个词元,TTR 为 0.55,因为在这么短的一段里,词还没有多少重复。MATTR 总是在长度相同的各段文本上计算 TTR,从而避免这种偏差。
句法
LemmaLoom 分析过句子的语法结构之后,就会显示句法部分(见第 10 章“文本检查器”中的句法)。依存分析确定每个句子中的每个词依附于哪个词,被依附的词称为它的中心词;例如形容词依附于名词,主语依附于动词,等等。除了根以外,每个词都连到一个中心词上;根通常是句子的主要动词。
| 统计量 | 衡量什么 | 取值和解读 |
|---|---|---|
| 平均依存距离 | 词与其中心词之间的平均距离,按位置计 | 不小于 1;值越高,句子通常越难理解 |
| 平均句法树深度 | 每个句子中从根出发的最长依存链,对所有句子取平均 | 不小于 0;越高表示句子嵌套越深 |
| 每句小句数 | 短语分析找到的小句数除以句数 | 不小于 0;越高表示句子越复杂 |
| 嵌套小句比例 | 位于另一个小句之内的小句所占的比例 | 0% 到 100% |
| 被动句比例 | 含有被动结构的句子所占的比例 | 0% 到 100% |
在英语句子 We block the roads 中,we 依附于相隔一个位置的 block,the 依附于相隔一个位置的 roads,roads 依附于相隔两个位置的 block。由此得到的平均依存距离为 。block 是这棵树的根,深度为 0;we 和 roads 从它分出,深度为 1;the 再往下分出一层,深度为 2,所以这个句子的深度为 2。
计算嵌套小句比例时,LemmaLoom 假定每个含有小句的句子都有一个主句,其余小句都算作嵌套小句。因此,一个有三个小句的句子计入两个嵌套小句。
词语关联得分
搭配词列表和词汇速写用多种指标衡量一个词与其搭配成分之间的吸引程度。在两者中,节点词都是所查的词;搭配词是在节点词附近出现的任何词。搭配词取自节点词前后几个词构成的小窗口,词汇速写则依据搭配成分所处的语法关系(例如动词的宾语)。搭配词列表和词汇速写中的所有得分都取决于以下四个值:
- 是一行中的 f 或数量,反映搭配词在节点词附近出现的次数:对搭配词而言,是出现在各个窗口之内的次数;对词汇速写而言,是出现在相应关系中的次数。
- 是所有窗口中计入的词数。在词汇速写中,它是所速写的词参与相应语法关系的总次数。
- 是搭配词在整个文本中的频次,在查询的搭配词列表中即频次一列。
- 是文本的词数。
由此,期望频数为 。示例列沿用第 11 章“语法检查器”中关联度量一节的虚构数字:在一篇 5,000 词的特稿中,危机一词在气候附近出现 8 次。这些数字是 、、、,所以 。
| 得分 | 公式 | 危机 | 取值和解读 |
|---|---|---|---|
| 频次 | 8 | 整数。查询中的最少会隐藏低于该值的搭配词 | |
| 期望值 | 0.4 | 大于 0 | |
| MI | 4.32 | 0 表示与偶然预期的次数相同,每多 1 分,次数就翻一番。偏向罕见的搭配成分。语料库语言学家通常以 3 或以上为准 | |
| MI3 | 10.32 | 没有固定的标度。比 MI 更看重高频词对 | |
| t 值 | 2.69 | 0 表示与偶然预期的次数相同;按通常的经验法则,2 或以上才算真正的搭配。偏向高频的搭配成分 | |
| z 值 | 12.02 | 0 表示与偶然预期的次数相同。罕见词的 z 值会变得非常大 | |
| 对数似然 | ,对四个单元格求和 | 36.76 | 不小于 0。3.84、6.63 和 10.83 分别对应 p = 0.05、0.01 和 0.001 |
| Dice | 0.133 | 大于 0 | |
| logDice | 11.09 | 每低 1 分,Dice 就减半。低于 0 的值很少见。受文本长度的影响很小 |
对数似然比较四个单元格中的观测值:窗口内和窗口外的搭配词,以及窗口内和窗口外的其他词。单元格的值 是它的出现次数,每个单元格都有自己的期望频数。在上面危机的例子中,四个单元格的值依次为 8、92、12 和 4,888,对应的期望频数为 0.4、99.6、19.6 和 4,880.4。由此得到的统计量如下:
这些得分出现在以下位置:
- 语法标签页的搭配词分面针对单个文档显示对数似然比、MI、t 值和 logDice。对数似然和 t 值保留一位小数(危机为 36.8 和 2.7)。它的 CSV 导出另外加上期望值、MI3、z 值和 Dice。窗口从 ± 1 到 ± 10,初始为 ± 4。标点和停用词占据位置,窗口中的其他词都是搭配词。
- 在查询的搭配词结果中,可以在显示 logDice 的菜单中选择七种得分中的任何一种,即 logDice、Log-Likelihood、MI、MI3、T-Score、Z-Score 和 Dice,显示两位小数。得分默认为 logDice;窗口从 1 到 10,初始为 5;标点不计,停用词算作搭配词。最少从 1 到 50,初始为 3,列表最多显示 200 个搭配词。
- 词汇速写、编码速写和速写空间的列表只使用频次和 logDice。在词汇速写中, 是这类关系的总数。在速写空间的单元格中, 是该编码下这类关系的总数。在编码速写中, 是带有该编码的段落内各类关系的总数。 是搭配成分在其词类中的频次(见第 12 章“词汇速写”中的logDice)。


无论在分面还是在查询中,窗口都止于句末。除此之外,分面和查询计算窗口的方式不同,所以同一对词按同一种度量,在两处得到的得分可能略有出入。比较两个长度不同的文本的列表时,logDice 最稳妥(logDice 的计算不涉及 )。
关键词得分和特征词表得分
关键词列表把目标语料与参考语料相比较。类似某编码的片段用同样的计分方法,比较某个编码的编码实例之内和之外的词。在计分公式中, 和 是一个词在两边的出现次数, 和 是两边的词数, 和 是期望频数。在类似某编码的片段中,计分时不考虑停用词。
| 得分 | 位置 | 公式 | 取值和解读 |
|---|---|---|---|
| 对数似然 | 关键词的对数似然列;特征词表中的权重 | 不小于 0。关键词列表保留达到 LL ≥ 3.84、LL ≥ 6.63 或 LL ≥ 10.83 的词。常用词很容易得到高值 | |
| 对数比 | 关键词的对数比列;特征词表的入选规则 | 没有上下限;0 表示比率相同,1 表示两倍,−1 表示一半。无论正负,绝对值至少为 1,是判断差异是否值得注意的常用最低标准 | |
| 得分 | 按得分排序的列表 | 没有上下限。只在同一个列表之内比较得分 |
希望的对数似然为 5.34(见本章前文的期望频数)。它的对数比为
也就是说,行动派使用希望的频率接近怀疑派的 4 倍。按原始比率计算,两者分别为每 10,000 词 30.0 次和 6.7 次,比值为 4.5。给每个计数加上 0.5,会把对数比拉向 0,计数越低,这种作用越明显。
关键词列表由两个列表组成。正关键词列表包含目标语料用得更多的词,负关键词列表包含目标语料用得更少的词,它们的对数比为负。只有达到阈值并且在自己那一边至少出现 3 次的词才会列入,正关键词看目标语料,负关键词看参考语料。每个列表最多显示 200 个词,按对数似然排序。关于关键词列表中各项得分的进一步说明,见第 16 章“查询结果与统计”中的两个得分的算法。
类似某编码的片段的特征词表,从在编码实例之内至少出现 3 次、对数比至少为 1 的词中选出。按对数似然排在前 50 位的词进入特征词表,各以其对数似然值为权重。关于编码的特征词表如何形成,详见第 17 章“查询模式与发现”中的特征词表是怎样建立的。
在得分公式中, 到 是段落中出现的各个不同特征词的权重,每个词只算一次; 是该段落的总词数。一个段落至少要含有两个不同的特征词才会列出;只有当整个特征词表只有一个词时,含有这一个词就够了。一个九词的句子含有两个特征词,权重分别为 20 和 16,它的得分为 。
冻结值把搭配词列表或关键词列表结果的前 200 行转换为一个冻结列表;对于关键词列表,只保留正关键词列表。每个词都以它在结果中的得分为权重。基于这个列表的查询,可以用同样的方式按得分为匹配的段落排序,要求段落中至少含有列表中两个不同的词。见第 18 章“使用查询结果”中的冻结值。
查询中的度量
数量、比较和随时间变化显示五种度量中选定的一种。在显示命中的菜单中选择所需的度量(见第 16 章“查询结果与统计”中的度量)。
| 度量 | 显示什么 | 取值 |
|---|---|---|
| 命中 | 命中数 | 整数 |
| 文档 | 至少有一个命中的文档数 | 0 到读取的文档数 |
| 每万词 | ,在该行的所有文档上合并计算 | 不小于 0 |
| 覆盖率 | 至少被一个命中覆盖的字符数,除以该行文档的字符数 | 0% 到 100% |
| 占比 | 该行的命中数除以全部命中数 | 0% 到 100%;一个命中有多个取值时,各行之和可能超过 100% |
使用“立场”这样的文档级键时,一行的词和字符来自具有该取值的文档。使用其他键(例如编码)时,则来自当前查询读取的所有文档。
键设为文档内位置时(键留空时,随时间变化会使用这个键),会为每个文档画出一条显示命中位置的长条,长条上方有两个数字,说明命中在各文档之间如何分布(见第 16 章“查询结果与统计”中的命中落在每个文档的什么位置)。如果键是日期字段或媒体时间,随时间变化会把所选的度量画成折线图。
| 数字 | 显示什么 | 取值 |
|---|---|---|
| 分布范围 | 至少有一个命中的文档数与读取的全部文档数,例如 5 / 6 | 0 到全部文档 |
| DP | 0 到略小于 1 |
DP 由每个文档 的命中数()和规模()决定,两者的总数分别为 和 。规模按词计;如果查询不计词,则按字符计。DP 为 0 表示命中完全按文档规模的比例分布。DP 可能出现的最大值,是 1 减去最小的文档在全部文本中所占的比例。两个规模相同的文档,如果所有命中都只出现在其中一个,就得到 ,这是两个这样的文档所能达到的最大值。
编码统计数据
项目视图栏中的视图只统计原文文档,所以复制到译文中的编码实例只计一次。其他规则见第 13 章“编码分析”中的视图统计的是什么。
| 统计量 | 位置 | 衡量什么 | 取值 |
|---|---|---|---|
| 片段 | 编码本;项目视图栏中的编码统计;编码统计分面中每个编码旁边的计数 | 一个编码的编码实例。在编码统计分面中,已编码的备忘录也计算在内,它的段落参与覆盖率和 φ 的计算 | 整数 |
| 文档 | 编码本;项目视图栏中的编码统计 | 至少有一个该编码的编码实例的文档 | 0 到范围内的文档数 |
| 覆盖率 | 编码本;项目视图栏和分面中的编码统计 | 编码覆盖的字符数(重叠部分只计一次),除以范围或文档的字符数 | 0% 到 100% |
| 共现编码 | 编码本 | 这个编码与其他每个编码相互重叠的片段对 | 整数 |
| 重叠次数 | 项目视图栏中关系的配对;网格中单元格的悬停提示 | 两个编码在范围内相互重叠的片段对 | 整数 |
| 编码矩阵的单元格 | 项目视图栏中的编码矩阵 | 每个编码在每个文档中的片段;使用列分组依据时,是每组的编码实例、文档或覆盖的字符,由第一个切换控件选择 | 计数;使用列分组依据时为计数(#)或百分比(%) |
| φ | 编码统计分面中的共现;项目视图栏中的关系 | 两个编码按字符衡量的重叠强度(在关系中,用的是范围内每个文档的字符) | 0 到 1 |
在选择了 % 的编码矩阵中,每个单元格的值都相对于所在列分组的基数计算。把鼠标指针悬停在组的标题上,可以看到该列分组的基数。编码实例变为占该组编码实例总数的百分比;文档变为该组中含有该编码的文档所占的百分比;覆盖率变为该编码覆盖的字符占该组字符的百分比(见第 13 章“编码分析”中的列分组)。
重叠编码的 φ
编码统计分面的共现部分列出文档中片段相互重叠的每一对编码,φ 值最高的排在最前。每一行显示 φ 本身和相互重叠的片段对数;p 值低于 0.05 的编码对,名称后面带有 *。第 13 章“编码分析”中的文档中的共现一节逐步演示了计算过程。项目视图栏的关系视图计算 φ 时,公式相同,用的是范围内所有文档的字符。
φ 背后的表格把文档中的每一个字符都当作一次观测。“时间不多了”约有 1,700 个字符。为了简单起见,这个例子假定“成本”占 85 个字符,“责任”占 80 个,两者共有 40 个:
| 属于“责任” | 不属于“责任” | 合计 | |
|---|---|---|---|
| 属于“成本” | 40 | 45 | 85 |
| 不属于“成本” | 40 | 1,575 | 1,615 |
| 合计 | 80 | 1,620 | 1,700 |
期望重叠为 个字符,两个编码实际的重叠是它的十倍。其余三个单元格的期望频数为 81、76 和 1,539,所以每个单元格都与期望频数相差 36:
计算 φ 时,把 χ² 除以 ,再开平方。这里的 是文档中的字符数。
p 值取自自由度为 1 的卡方分布,这里的 p 远低于 0.001。
以成千上万个字符作为观测,几乎任何重叠都会得到极小的 p 值,而相邻的字符也很难说相互独立。在长文档中,几乎每一对编码都带有 *。因此,评估编码对时要看 φ,而不是看 *。在关系中更是如此,因为那里把范围内所有文档的字符合并在一起。
φ 没有正负。即使一对编码的重叠少于偶然预期,得到的 φ 仍然大于 0,而且常常带有 *。假如“成本”和“责任”只共有 1 个字符,仅为期望值 4 的四分之一,它们的 φ 约为 0.04。要区分相互吸引和相互回避,请比较实际重叠与期望重叠。CSV 导出在字符数列中给出实际重叠。期望重叠就是一个编码的字符数乘以另一个编码的字符数,再除以文档的字符数。
检验
| 检验 | 位置 | 报告形式 | 效应量 | 详见 |
|---|---|---|---|---|
| Mann-Whitney U 检验 | 比较,比率秩检验,两组 | U、p | r | 第 16 章“查询结果与统计” |
| Kruskal-Wallis H 检验 | 比较,比率秩检验,三组及以上 | H、df、p | ε² | 第 16 章“查询结果与统计” |
| 基于计数的卡方检验 | 比较,基于计数的卡方检验 | χ²、df、p | 克莱姆 V 系数 | 第 16 章“查询结果与统计” |
| 双侧 Fisher 精确检验 | 比较,出现检验,两组;有两个组的编码矩阵 | 在比较中为 χ²、df、p,其中 p 来自 Fisher 精确检验,χ² 仅供对照;在编码矩阵中为 p(Fisher 精确检验) | 在比较中为 φ;在编码矩阵中为克莱姆 V 系数 | 第 16 章“查询结果与统计”;第 13 章“编码分析” |
| 基于出现情况的卡方检验 | 比较,出现检验,三组及以上;有三个或更多组的编码矩阵 | χ²、df、p | 克莱姆 V 系数 | 第 16 章“查询结果与统计”;第 13 章“编码分析” |
| 表格的卡方检验 | 有两个分组依据键的比较 | χ²、df、p | 克莱姆 V 系数 | 第 16 章“查询结果与统计” |
| 基于字符的卡方检验 | 编码统计分面中的共现;项目视图栏中的关系 | p < 0.05 时显示 *;p 见共现的 CSV 导出和关系 | φ | 第 13 章“编码分析” |
| 单侧 Fisher 精确检验 | 速写空间;词汇速写的多重模式 | * | 无 | 第 12 章“词汇速写”;第 14 章“速写空间” |
| 对数似然阈值 | 关键词 | 对数似然 | 对数比 | 第 16 章“查询结果与统计” |
各项检验报告的统计量回答以下问题:
| 统计量 | 问的是什么 | 取值 |
|---|---|---|
| U | 一组文档的比率是否往往高于另一组? | 0 到 。LemmaLoom 报告两个可能值中较小的那个,所以 U 越小,两组分得越开;0 表示一组中的每个文档都排在另一组的每个文档之前 |
| H | 同样的问题,针对三组及以上 | 不小于 0;越大表示各组的平均秩相距越远 |
| χ² | 表中的计数偏离期望频数的程度,是否超出了偶然所能解释的范围? | 不小于 0;越大表示偏离越大。在 Fisher 精确检验中,请看 p,χ² 仅供对照 |
| G² | 一个词在目标语料和参考语料中的计数之差,是否超出了偶然所能解释的范围? | 不小于 0;与显示 LL ≥ 3.84 的菜单中的值相比较 |
每个具体问题该用哪种检验,见第 16 章“查询结果与统计”中的选择检验。


LemmaLoom 中有三种工具会做检验:比较、编码矩阵和速写空间。各自检验的内容如下:
- 比较检验的是文档。使用一个分组依据键时,只有当这个键是文档级的,例如“立场”这样的属性或文档本身的分组,比较才会做检验。显示自动的菜单提供自动、比率秩检验、出现检验、基于计数的卡方检验和不检验。度量为文档时,自动选择出现检验,否则选择秩检验。
- 无论各行显示什么,秩检验衡量的都是每个文档的比率,即每 10,000 词的命中数;如果查询不计词,则是每 10,000 字符的命中数。详见第 16 章“查询结果与统计”中的进行比较。无论有没有命中,所有文档都计算在内;没有命中的文档比率为 0。出现检验统计有命中和没有命中的文档各有多少,所以两类文档都至少要有一个,检验才能进行。
- 如果指定两个分组依据键,比较分析的是由分组依据构成的表格,而不是单个文档。这时,只有当查找为文档或属于资料库组的其他单位时,自动才做卡方检验;基于计数的卡方检验和出现检验则对表格的单元格做检验。比率秩检验只适用于一个键。
- 无论两个切换控件显示什么,编码矩阵都对每个编码分别做假设检验;具体来说,零假设认为各组中含有该编码的文档所占的比例没有差别。无值列(文档分组则为未分组列)在检验时略过,而比较把它们当作单独的一组。如果一个编码出现在所有参与分析的文档中,或者在这些文档中都没有出现,它的检验单元格显示一条短横。
- 只有当一个单元格至少含有 3 个关系,且多于期望频数时,速写空间才会给它标上 *。此外,这一频次差异还必须达到统计显著,即单侧检验的 p 值低于 0.05。


显著性的显示方式
LemmaLoom 凡是突出显示显著性的地方,都以 p < 0.05 为界,只是显示格式有以下差别:
- 比较在 p 低于 0.05 时以较深的颜色显示检验行,否则显示为灰色。统计量四舍五入到两位小数,p 值和效应量四舍五入到三位小数。小于 0.001 的 p 值显示为 p < 0.001。
- 在编码矩阵中,某个编码的检验结果显著(p < 0.05)时,它的检验值以较深的颜色显示,p 值后面还会加上 *。统计量和克莱姆 V 系数都显示两位小数,p 值显示三位小数,小于 0.001 的值显示为 < 0.001。
- 关系在网格和配对中标出显著的结果:在网格中,* 位于单元格的角上;在配对中,* 跟在 p 值后面。在配对中,小于 0.05 的 p 值还以较深的颜色显示。
- 编码统计分面在一对编码的名称后面加上 *。
- 速写空间和词汇速写的多重模式在网格单元格中的计数旁边加上 *。网格下方有一行文字说明这个标记的含义。
在关键词列表中,对数似然未达到显示 LL ≥ 3.84 的菜单中所选值的词会被隐藏。
文档很少时
涉及的文档很少时,无论差异看上去多大,秩检验都给不出很低的 p 值。当一组中的每个文档都排在另一组的每个文档之上时,p 值达到最低:
| 两组的文档数 | 最小 p | 最大 r |
|---|---|---|
| 2 和 2 | 0.121 | 0.775 |
| 3 和 2 | 0.083 | 0.775 |
| 4 和 2 | 0.064 | 0.756 |
| 4 和 3 | 0.034 | 0.802 |
| 6 和 4 | 0.011 | 0.809 |
| 7 和 4 | 0.008 | 0.798 |
| 10 和 10 | < 0.001 | 0.845 |
“怀疑派”文档集包含三篇纸媒文档(“模型总是失准”“净零代价高昂”和“科学从无定论”)和两篇网络文档(“不必恐慌”和“转型谁来买单”)。只要这些文档中没有比率相同的,在这个文档集中按分组做的秩检验,p 值就不可能低于 0.083。因此,即使纸媒和网络上的怀疑派在模糊限制语的使用频率上相差很大,单凭文档集中的文档数量,也可以预料那里的检验行会显示为灰色。表中的数字假定任何两个文档的比率都不相同;有并列的比率时,p 可能明显降低,r 可能明显升高。例如,四个没有命中的文档对两个比率各不相同的文档时,p 为 0.028,r 为 0.894。
r 的最大值也取决于两组的规模。没有相同的比率时,r 永远达不到 0.87;两组规模相差悬殊时,r 的最大值还要低得多。