(4)确定科学合理的计分方法。对操作行为的计分通常要将程序、作品两者结合起来。通常对行为操作的记分有两种:①作品量表法,即用一系列不同质量层次的作品作样品,在计分时,将被评价的作品与量表中的作品进行对照比较,以确定该作品的分数。②检核表和评定量表,如果某个操作或作品可以分为几个方面和环节,则可以用检核表考查被试在每个环节上是否都做到了,评定量表则可以进一步评定被试的每一操作是否达到规定的标准及其符合理想特征的程度。
测验蓝图设计与测验编制要领
一、设计测验的基本考虑
为提高测验的质量,在设计测验时通常要考虑以下几点:
(一)确定测验目的。这是测验编制者首先要明确的问题。因为测验是一种手段,无论谁举行一次测验,总有一定的目的和要求。不同的测验目的,其设计的策略也不一样。
(二)确定测验的属性。测验有学科测验、智力测验,人格测验等等要明确是哪一种。若是学科测验,又要确定是哪一学科的测验。
(三)明确测验的性质和用途。即要清楚测验是终结性测验,还是形成性测验或诊断性测验?是常模参照测验还是标准参照测验?如果是常模参照测验,则测验分数的意义在于将个别被试的表现与全体受测者的平均水平相比较来决定被试水平的高低,如智力测验等。但有时要根据绝对的熟练水平来测量被试的行为,如想证实被试在某一学科上是否达到了某一最低的能力界限而进行的测验,就是标准参照测验。测验的性质不同,测验题目所要求的难度水平及具体的编制要求都有所不同。
(四)明确测验对象。测验的对象是成人还是儿童,是幼儿、小学生、中学生、大学生还是研究生?在编制测验时,应考虑到被试的年龄特征、教育水平和文化社会背景等因素。
(五)分析测验目标。测验除了要有明确的目的之外,还要有具体的测量目标。测量目标应能体现教学目标,能有效地促进教学目标的实现。一个测验所测量的学习效果,应能忠实地反映教学目标。编制测验时首先要选定测验所欲测的教学目标,其次要使陈述目标的方式适合于测验的编制,使阐述的教育目标既明确又具有可测性。尽管不同课程的教学目标之间互有差异,但一般的教学目标均包括以下学习结果:①知识;②心智技能;③动作技能;④态度与兴趣等情感要素。
二、设计测验蓝图
为了使测验的取样对教学内容与教学目标有较好的代表性,既能覆盖学科教材的全部内容,又能反映各部分内容和各认知层次的相对比重,还能确定各部分内容和各认知层次测验题目的数量比率,就必须设计测验蓝图。如果将测验比作一项系统工程,那么,测验蓝图即可以看作是一份工程蓝图,它是编制测验试题的指导和依据。如果蓝图设计得准确、合理,只要测验编制者严格按测验计划编制试题,就能保证测验内容具有适当的代表性,从而保证测验的质量,实现测验的目标。
一份高质量的测验蓝图具有两个最基本的作用:一是,保证测验试题是所测量的教学内容的代表性样本,且能反映出各部分内容之间的相对重要性,以便测验内容取样适当,提高测验的效度。二是,规划代表不同的知识内容和学习水平的各类测验目标的比例分配,在保证测验效度的同时,保证测验的难度合理。
测验的蓝图一般用反映测验内容和学习水平的命题双向细目表表示。设计测验蓝图主要采用以下步骤:
(一)确定测验内容要目,并把它们排列在表中最左边的一栏中。
如何确定测验内容要目,必须依据课程标准和教学大纲,并视学生的实际而定。因为课程标准或教学大纲在整体上规定了该学科的性质及其在课程体系中的地位、教学目的和任务、内容范围以及选择内容的主要依据、编排学科内容的顺序等,另外还对教学时数、教学活动和课外活动、作业量和测验作出了安排,并提出了考试要求、运用教学方法教学手段和教学参考书的建议和指导等。因此课程标准和教学大纲不仅是教师工作的指南,同样也是测验的根本依据。
课程标准教学大纲虽是确定测验内容的出发点,但并不意味着课程标准或教学大纲中设定的教学内容都可以成为测验内容。教学目标是通过教学效果来体现的,而教学的良好效果,表现在教学内容给学生的增益上。若一项内容不能给学生任何增益,则说明该项内容没有什么教学效果,因而教学目标实现程度无法测量。教学内容总体上总是会对学生产生增益的,但根据测验目标分解为若干内容点以后,未必所有内容点都会对学生产生增益,像有些可能在教学之前学生就已经达到规定目标的内容点等,就不应该再列入测验内容。测验内容要目可以按章节罗列,也可以按课程的内容结构划分。
(二)确定该科目应考查的目标层次,并把这些目标层次从低级到高级依次安排在表中顶端第一行的有关格上。确定某科目的掌握目标层次时,最好要从学科内容特点出发,以课程标准或教学大纲中确定的教学目标为依据,借鉴布鲁姆等人把教育目标分为认知、情感和动作技能三个领域的分类方法,有创造性地进行,以符合实际需要。国内有关教育研究人员借鉴布鲁姆的教育目标分类理论,结合我国国情和学科特点进行研究,对教育目标分类学提出了改进方案。他们认为,在“高级”学习水平中,布鲁姆提出的“分析”、“综合”,是解答一个综合问题的两个方面,这两方面往往同时出现在解决同一问题的过程中,很难人为地划分,因此,可以合为一个层次。“综合”如果是创造性运用的话,它不会比“评价”层次低。“评价”是在分析综合的基础上提出见解,作出判断,它在一定程度上意味着发挥学生在学习中的创造性。基于这种认识,他们把教育目标定为“识记、了解、简单应用、综合应用、创见”5个层次。我国高等教育自学考试大纲则把考查目标划分为“识记、领会、简单应用、综合应用”4个层次。当然,测验目标还应当考虑把动作技能和情感态度包括进去。
(三)确定各项测验内容要目下的权重。根据课程标准或教学大纲所规定的教学时间和分配比例,以及测验性质和其他因素,对列入测验范围的内容要目或内容点,赋以合适的相对比重即权重。该比重是测验试题数量、测验时间、分数分配的依据。
(四)每一项考试内容的分数比重逐一分配到若干必要的测验目标层次上去,形成网格状的分数分配方案,即命题双向细目表。即为高中化学课程终结性考试的命题双向细目表。在对目标予以相对比重时,除考虑学科特点之外,也应强调高级目标的相对重要性,以促进学生智能的发展。
三、测验的编制与组织
(一)编写测验试题(命题)注意事项
编写测验试题是一个反复的过程。在这个过程中,测验编制者需要对试题进行反复修改,包括订正意思不明确的词语,删改一些重复和不适当的试题,增删有关题目等。
在编写测验题目即命题时要注意:
(1)试题类型要恰当。相同的题目类型有不同的测量功能,不同的测验内容需要不同的题目类型加以配合。
(2)试题的内容取样应有代表性。能够体现测验的内容范围和要求,有较大的覆盖面。
(3)试题的数量要恰当。既要使大多数被试能在规定的时间内完成解答,又使他们感到时间并不十分充裕。
(4)试题的难度要合适。试题的难度必须要适合大多数被试的水平,由易到难,有一定的分布范围,能测量出不同考生在知识和能力方面的差异。在一个测验中,应做到既有能反映课程中基本要求的试题,又有用来检查学生学习知识的灵活性和运用所学知识综合分析问题、观察问题和解决问题能力的综合题,还有需要学生运用所学理论、思想或概念,经过逻辑推理、判断或证明才能作出正确回答的提高题。至于各类难度不同试题的比例,视测验对象和目的而定。
(5)各个试题之间应保持互相独立。不要使一个试题的解答对另一个试题的解答有暗示作用。
(6)试题的表述必须清楚明白。试题中用词不能模棱两可,文句要简明扼要,对解题要求的叙述必须准确、明了。
(7)题型应多样化。要有客观性试题,也要有一定量的主观性试题。各类试题所占的比重应恰当。测验编制者应根据测验各部分内容所要考查的目标,结合各种题型的特点,遵循有关题型的命题要求来选择和确定测验的具体题型。
(8)评分标准应合理,命题应有利于制定清晰可辨、公平合理的评分标准。
(二)测验的合成与编排
合成测验时应注意如下三点:
(1)先易后难。即题目的排列应按先易后难的顺序。在测验开头应安排几道较容易的试题,而后逐渐增加题目难度。这样可以使被试熟悉作答程序,解除紧张情绪,建立信心,较快进入测验情境。同时还可避免被试在难题上耽误时间过多而影响后面试题的解答。在测验最后安排少数难度较大的试题,以测出被试的最高水平。
(2)同类组合。即尽可能将同一类型的试题组合在一起。这样使每一类型的试题仅需作一次回答说明,也使被试可用相同的反应方式来回答,同时可以简化计分工作和对测验结果的统计分析。
(3)讲究测验题目编排的方式。常见的题目编排方式有两种:一是并列直进式,将整个测验依据试题材料的性质,分为若干个分测验;对于同一分测验的测验题目,依其难度由易到难排列。二是混合螺旋式:先将各种类型的试题依照难度分成若干不同的层次,再将不同性质的试题予以组合,作交叉式的排列,其难度则渐次升进。这种编排的优点主要是让被试不至于在一段时间内只对同一性质试题作答,保持被试的作答兴趣。