正文
通常的做法，是选出一批任务进行测量，再用结果估计更大范围的表现。这就从描述手里这批数据，走向了统计推断。
首先需要说清楚“更大范围”是什么。我们想了解的，可能是当前版本处理某个团队日常会议的平均用时，而不是所有行业、所有语言、所有长度任务的共同表现。这个目标范围就是这里的总体；实际测量的那部分任务，则构成样本。
假设按相同设计重新选一批会议，样本平均用时可能略有不同。即使程序没有改动，任务组成的随机变化，也会让估计值上下波动。
抽样误差，指由于只抽取部分对象，样本结果与目标总体特征之间产生的随机差异。 它不等于写错代码、计时器出故障或漏掉失败任务。后几种情况还涉及测量、记录或选择问题，需要另外检查。
而且，总体均值通常正是我们不知道的量，所以不能看到样本平均数，就直接知道这一次误差恰好是多少。我们需要研究的是：如果按同样方式反复抽样，估计值会怎样变化。
这里会遇到“标准误”。
在前面的分布文章中，标准差描述单次观测值的离散程度。标准误则描述某个估计量在重复抽样时的波动尺度。对于独立同分布观测下的样本均值，常用样本标准差除以样本量的平方根，来估计它的标准误。
比如，下面构造另一组教学数据摘要：25 项会议任务，样本平均用时为 10 秒，样本标准差为 2 秒。先假设观测相互独立、来自同一稳定条件，且总体能够按正态模型处理。
那么，平均用时的估计标准误为：
标准误 = 2 / √25 = 0.4 秒。
2 秒反映单次任务之间的波动，0.4 秒反映这个样本均值作为估计值的波动尺度。不能把二者混成“每次任务只有 0.4 秒误差”。
为了进一步表达均值估计的不确定性，可以构造置信区间。在刚才的条件下，常见的均值 t 区间写成：
样本均值 ± 临界系数 × 估计标准误。
对于 25 个观测、95% 的双侧区间，采用自由度 24 的 t 分布，临界系数约为 2.064。于是本例得到：
10 ± 2.064×0.4，即约 [9.17 秒，10.83 秒]。
这是一组假设条件下的计算结果，不是实际会议程序的测量报告。真实时延未必服从正态分布，也可能受到相关负载影响，不能跳过这些检查就直接套用公式。
接下来最重要的问题，是 95% 究竟表示什么。
在这里采用的频率学派解释中，如果按同样的抽样设计和区间方法反复进行，在前提成立时，长期大约有 95% 的区间会覆盖固定的真实总体均值。
随机变化的是每次抽到的数据及区间端点；目标均值在这个模型下是固定的。某一次区间算出来以后，它要么覆盖真值，要么没有覆盖。95% 描述这种构造方法的覆盖表现，不能直接改写成“这个已经算出的区间，有 95% 的概率装着真值”。均值置信区间与覆盖解释
这与贝叶斯推断中的后验区间，使用的是不同解释。若要对参数在某个范围内的概率作后验描述，需要明确相应先验、似然和模型，不能只换一个名称就把两种方法混起来。
置信区间也不是单次任务用时的保证。上面的区间围绕总体均值，并不表示 95% 的会议任务都在 9.17 到 10.83 秒内，更不承诺下一次查询就落在这个范围。
如果需要预测下一次观测，要考虑单次结果本身的变化；如果关心最慢的一部分任务，则需要研究相应分位数。不同问题对应不同目标，不能只用一个均值区间代替。
样本增加时，在其他条件相近的情况下，均值标准误通常会下降。按照平方根关系，想让这一部分尺度大致减半，往往需要把样本量增加到约四倍，而不是仅仅多测一两次。
但这只是在讨论合适设计下的随机波动。若样本一直只选网络最顺畅、材料最短的会议，增加同类任务也不能让它自动代表全部日常工作。窄区间可能围绕一个有偏的结果，不能单凭“很精确”就认定“很准确”。样本量与抽样偏差的区别
会议助手还可能遇到一种特别容易误数的情况：我们只挑选了 5 场会议，却每场重复运行 200 次，然后宣称有 1000 个独立会议样本。
重复运行可以帮助观察这些固定任务的波动，但如果目标是推广到新的会议，记录之间共享同一任务特征，就不能把它们当成 1000 场不同会议提供的信息。抽样单位与重复运行单位需要分清。
类似地，同一用户、同一文档或同一服务时段中的任务，也可能成组相关。按独立观测计算标准误，可能把不确定性估得过小。分析时需要按目标考虑分组、聚类及相应估计方法；不能把“日志里有很多行”直接当成独立信息很多。抽样设计、聚类与标准误
如果研究目标本来就是同一会议在固定条件下的重复运行，那又是另一个问题。此时需要定义相应总体与依赖结构，而不是仅凭“重复”二字，就判定所有数据都不能使用。
从有限记录集合中不放回抽样、且抽取比例很大时，也可能需要考虑有限总体修正。这里给出的标准误与 t 区间，是特定模型下的一种常见方法，不是适用于所有抽样设计的统一模板。
换成成功率指标以后，还要调整计算方式。把 25 次里成功了几次记下来，可以估计比例，但均值时延所用的区间公式，不能不加检查地搬过去。小样本或接近 0、1 的比例，尤其需要选用合适的比例区间方法。比例置信区间的不同方法
数据记录本身也应当完整。例如，失败任务与超时任务是否纳入、计时从哪一步开始，都需要事先约定。为了让平均值更好看，把慢任务删掉，会改变问题，不是减少了抽样误差。
固定随机种子可以帮助复现一次选择，却不能证明所选数据有代表性。换用多个合理样本、保留来源和任务类别，才能更清楚地理解结果依赖哪些条件。
实际汇报时，可以把点估计、区间、样本量和抽样方式放在一起说明：这些任务从哪里来，哪些单位被视为独立，测量的是哪个版本，以及区间采用什么方法。一个单独的“平均十秒”，提供的信息要少得多。
认识了估计的不确定性，下一篇就能继续比较新旧方案：观察到差异以后，怎样判断它与“没有差异”的假设是否相容，又怎样区分统计上的证据与业务上值得关心的改进。
当前学习编号：03.09 抽样误差与置信区间。
下一学习编号：03.10 假设检验与效应量。后续还有其他学习编号。
关联分支：样本设计对应 06.04 切分比例与评估样本量、06.06 分层切分、06.08 按时间切分；独立评估对应 23.02 任务成功标准与评测集、23.03 开发集与独立最终测试集、23.13 重复试验、稳定性与置信区间。
记录质量与解释边界对应 05.01 数据采集与来源记录、05.05 标注一致性与质量抽检、04.13 分布偏移与分布外数据。这些支系会在各自编号中单独展开。