多面Rasch模型在结构化面试中的应用

　心　理　学　报　2008,40(9):1030～1040　　ActaPsychologicaSinica

DOI:10.3724/SP.J.1041.2008.01030

多面Rasch模型在结构化面试中的应用

孙晓敏　薛　刚

1

2

(1北京师范大学心理学院,应用实验心理北京市重点实验室,北京100875)(2KennedySchoolofGovernment,HarvardUniversity,MA02138,USA)

3

摘　要　使用项目反应理论中的多面Rasch模型,对66名考生在结构化面试中的成绩进行分析,剔除了由于评委等具体测量情境因素引入的误差对原始分数的影响,得到考生的能力估计值以及个体水平的评分者一致性信息。对基于考生能力估计值和考生面试分得到的决策结果进行比较,发现测量误差的确对决策造成影响,对个别考生的影响甚至相当巨大。进一步使用Facets偏差分析以及评委宽严程度的Facets分析追踪误差源。结果表明,将来自不同面试组的被试进行面试原始成绩的直接比较,评委的自身一致性和评委彼此之间在宽严程度上的差异均将导致误差。研究表明,采用Facets的考生能力估计值作为决策的依据将提高选拔的有效性。同时,Facets分析得到的考生个体层次的评分者一致性指标,以及评委与考生的偏差分析等研究结果还可以为面试误差来源的定位提供详细的诊断信息。

关键词　结构化面试;项目反应理论;多面Rasch模型分类号　B841.7

1　引言

1.1　面试及其误差

:面试题目的有效性、面、面试评委的培训、面试记分维度的设定以及面试评分量表的设计等等。具体而言,对面试研究的总结反复提到下述评分误差:对比效应

[5]

　　近年来,越重要的作用,测评的科学性与实用性也越来越得到人们的认可。在各种主要的测评技术中,面试已经成为人员招聘中使用最为广泛的方法

[1]

、与我类似效应、第一印象偏差、晕轮效应、考

[6]

官刻板印象、顺序效应信息偏好

[5]

、考官对考生的个人感情、

。面试

等等。关于面试误差的这些研究结果

是一个或多个考官与一个求职者之间在有限时间内的人际互动,旨在鉴别求职者的知识、技能、能力和行为等方面的特征,这些特征将用于预测求职者在未来工作上的成功。对这种成功的操作性定义包括工作绩效、培训、晋升、任期等方面的指标

[2]

意味着评分往往在一定程度上反映的是面试过程的特征或者考官个人的评分技能,而不完全是被试与工作相关的特征。因此,这种来自情境的误差变异损害了面试的潜在效度和效用1.2　面试误差的控制

[7]

。

。面试

按标准化程度可分为:结构化面试、半结构化和非结构化面试三种。所谓结构化面试是指面试的内容、方式、评委构成、程序、评分标准及结果的分析评价等构成要素,按统一制定的标准和要求进行的面试

[3]

　　为了降低面试过程中的情境误差,提高实际面试的效度和信度,研究者从三个方面做了大量工作。第一个方面是关注面试的内容、获取信息的维度的标准化,从而使得考官尽可能在相同的工作相关信息的基础上对考生进行评价,最终提高评分的一致性。例如,不断提高面试过程的结构化,确保提问的一致性,将提问限制在与工作相关的问题上,并且对考生反应的评价也结构化。第二个方面是重视考官

。

　　随着面试技术的普遍使用,出现了大量关于面试误差的研究。Wagner曾总结道:面试的信度和效度或许存在高度的情境特异性和考官特异性

[4]

。

　收稿日期:2007-10-09

32007-2008年度北京市教委重点实验室规划项目。

　通讯作者:孙晓敏,E2mail:sunxiaomin@http://,电话:010-58802101

　1030

　9期孙晓敏等:多面Rasch模型在结构化面试中的应用　1031

培训。通过培训,使考官熟悉各种可能的评分误差,

帮助他们在信息收集和解释的过程中认识并尽力消除这类误差。　　除了上述两种方法,近年来,随着现代测量理论的发展,越来越多的研究者尝试使用现代测量学的方法,通过统计校正,改进面试评分技术,提高面试信度和效度。　　在引入现代测量理论之前,面试分析的方法经历了经典测量理论(ClassicalTestTheory,CTT)和概化理论(GeneralizabilityTheory,GT)两个阶段。　　在CTT中,考生的观测值由真分数和误差项组成。误差项越大,观测值的信度就越低。但是,CTT中所定义的误差很笼统,它不能说明测量误差究竟来自哪些误差源,以及各自产生的误差大小。对于面试中最容易出现的评分者误差,CTT往往通过计算评委之间的一致性,如Kendall和谐系数等加以分析。由于这类评分者一致性系数属于事后检验,且CTT测量指标的样本依赖性又限制了其在类似面试情境中的推广,因此,Kendall和谐系数等CTT够起到的作用非常有限。　　虽然GT在量进行了估计,信度的指标,并为进一步的实验设计提供了信息,但是GT并没有改良CTT的项目参数系统。它更多的是从整个测验的宏观结构及其与外部测验条件的关系上做了深入的计量分析,而CTT存在的一些问题,比如其测验结果的样本依赖性问题等,同是随机抽样理论的GT并没有从根本上克服。随着心理及教育测量中对测验的精度越来越高的要求,项目反应理论(ItemResponseTheory,IRT)应运而生,并为弥补CTT和GT的缺陷提供了新的思路。　　与随机抽样理论不同,IRT认为测量的目标不是考生在特定测验上得到的真分数,而是由这个分数体现出来的考生能力。IRT中称这种能力为潜在特质。虽然潜在特质不能被直接测量,但受测者在测验项目上的表现与该项目所要测量的潜在特质之间存在着一种单调递增的函数关系。IRT数学模型的核心是项目特征函数,它是受测者在项目上的答对概率对其能力值(或潜在特质)的回归曲线。与CTT不同,IRT通过项目特征函数将项目难度和考

得以迅速发展,各种符合实际需要的新模型不断涌现。IRT常用的有单参数、双参数和三参数模型。由丹麦数学家Rasch独立开发的单参数Rasch模型以其统计上的优点和参数估计的便利性而著称。下面为单参数Rasch模型的函数表达式。　　Pni1-P=Bn-Di

　　Pni是考生n正确作答项目i的概率　　1-Pni是考生n答错项目i的概率　　Bn是考生n的能力(n=1,2,…,N)　　Di是项目i的难度(i=1,2,…,L)

　　单参数Rasch模型是一个两面的模型,即包含考生能力和项目难度两个侧面。通过应用该模型,可以得到项目难度和考生能力的估计值,且该能力估计值独立于考生遇到的特定项目的难度。　　与单参数Rasch模型所处理的测验情境相比,面试的测量情境由于引入了评委而变得更加复杂。,、评。面对,如果不仅能确定项目的难度、评委的宽严程度,而且还能估计出考生独立于特定项目难度和特定评委宽严程度的能力值,这对于提高测验的信度将具有十分重要的作用。Linacre提出的多面Rasch模型(ManyFacetsRaschModel,MFRM)就成功实现了这一目标。MFRM在两面Rasch模型的考生侧面和项目侧面的基础上增加了评委侧面,因而被称作多面Rasch模型。以下是MFRM的函数表达式:　　PnijkPnij(k-1=Bn-Di-Cj-Fk

[28]

　　Pnijk是考生n在项目i上被评委j评定为k等的概率

　　Pnij(k-1)是考生n在项目i上被评委j评定为k-1等的概率

　　Bn是考生n的能力参数(n=1,2,…,N)　　Di是项目i的难度参数(i=1,2,…,L)　　Cj是评委j的宽严程度(j=1,2,…,J)

　　Fk是分部记分模型(PartialCreditModel)中考生得分从k-1等到k等的等级难度(stepdifficul2ty),每个项目均为K级评分(k=1,2,…,K)

生特质水平定义在同一度量系统上,使得项目参数和考生特质参数都不依赖于样本 …… 此处隐藏：19082字，全部文档内容请下载后查看。喜欢就下载吧 ……