第8章 指标和效度
清晰和恰当的指标能明确提出我们在确定理解程度时应该关注什么？并在判断过程中提供一致性和公平性。
如何提出合适的指标，怎么让学习者弄清这些指标呢？
需要从目标中导出指标。
量规是基于指标的评分指南，有固定的测量等级组成，并对每一级别的特征进行详细描述。量规描述了质量等级熟练程度，获得连续的理解。
在评估学生的作品和表现时，有两种通用良规被广泛应用：整体型和分析型。
整体性量规可为学生作品提供一个综合的印象，并对产品或表现产生单一的分数或等级排名。
分析型量规，将产品或表现划分为不同的特征或维度并分别进行判断。由于分析型量规单独地评估每一个被标识的特征，所以每一个特征都有一个分数。例如普遍使用的作文分析型量规具有6个指标：观点，组织，文风，选词，句子流畅度，规范。
评估者应该考虑至少两个不同的指标，不管这些描述是在一个连归中体现，还是存在于两个不同的量规中。建议一个连跪用于评估理解，而另一个良规用于评估表现的质量（包括恰当的产品和过程），在表现中体现理解。
基于指标和量规进行逆向设计。
根据学生工作来设计的完善量规，6个步骤：
1.收集能够说明预期理解和熟练程度的学生表现的例子。
2.将学生的作品分类放置并注明分类的原因。
3.将这些原因归结到统一的特性或者表现的重要指标中。
4.对每个评估指标进行定义。
5.挑选学生表现来举例说明每个评估指标的得分点。
6.不断完善。
效度的挑战。
效度是指我们所采用的证据能够准确测出所需要意义的程度，包括传统的与测试相关的证据。
专注于理解会使得问题的效度受到挑战。
逆向中的效度自评。
信度对评估模式的信心。我们需要的不仅是有效的推论，而且还应是一个值得信赖的推论，我们需要确定结果的一致性。
通用指导原则：
1.与从客观测试中获得的评估知识和技能的证据相比，关于理解的评估所需的证据更简洁更复杂。在使用理解的评估中，我们需要深挖答案背后的原因和学习者做出这种选择的意图。
2.关于理解的评估需要收集在表现和产品中进行应用的证据，但这会是评判结果变得复杂。
3.既然理解包括6层面，那么是不是有些方面又有另外一些方面呢？哪个表现更相关？又在什么情况下相关呢？
4.尝试对相同内容同时使用不同的测试形式。
5.试着去预测关键误解，并且使用简单的前侧和后侧来确定这些误解是否被克服。
6.考虑到某个应用或产品可能与更大的目标相关或不相关，一般会要求学生展示他们的作品，针对他们的答案给出解释，并且展示答案中的与主要原则或概念相关联的内容。
7.假定学生在解释时表达清晰，可能更多是得益于他的语言表达能力，而非来自真正的理解。在这种情况下，可以要求学生把理解转化一个新的或者不同的问题情景或事件。
8.利用不同侧面来扩充证据。在很多时候可以结合洞察和神入两个侧面的要求。
