公务员面试考官自身评分一致性研究

公务员面试考官自身评分一致性研究

来源:www.51fabiao.org作者:lgg发布时间:2017-12-06 20:29论文字数:36589字
论文编号:fbo201711282029256780论文地区:中国论文语言:中文论文类型:硕士课程论文
本文是经济论文,本文通过访谈法提取关键事件,再利用扎根编码分析法提取胜任力指标和考官评分的心理行为和方式。在公务员面试题本要素量化和题本中,本文采用访谈法和扎根编码分析法
绪论
 
第一节研究背景与意义
公务员选拔是政府能力建设的重要内容。《2002 中国可持续发展报告》将政府能力建设作为国家可持续发展能力的一个评价指标,由此指出政府能力建设对国家可持续发展的重要意义。党的十八大指出,提高政府的治理能力和行政效率、建设服务型政府当前国家发展的必然需求。可持续发展的目标与提高政府治理能力的现实需求对政府能力建设提出了更高的要求。政府能力在微观层面体现上为公务员的个人能力和水平,直接影响政府职能的实施和效率;而政府能力在宏观层面体现为全体公务员的能力和水平,很大程度上决定着政府的管理水平和工作效率(孙波,2008)。因此,世界各国都非常重视公务员能力建设,并把公务员能力建设作为政府治理能力提升的重要途径(苗月霞,2011),通过完善公务员选拔录用制度来加强公务员能力建设以提高政府治理能力。我国政府历来非常重视公务员选拔,先后出台了一系列法律、法规,明确规定了公务员选拔的原则、组织与实施、工具与操作方法。例如,2001 年人事部颁布的《国家公务员录用面试暂行办法》确立面试在公务员选拔中的法律地位,并对面试的组织、命题、操作流程、考官管理等问题做出了明确的规定;2001 年人事部出台的《国务院工作部门面试考官资格管理暂行细则》进一步明确了考官管理的基本内容;2005年颁布的《公务员法》确定“逢进必考”的基本原则;2007 年组织部公布的《公务员录用规定(试行)》进一步明确了面试组织的主体与职能分工。这些法律、法规的颁布和实施为公务员选拔提供了政策指引和框架指导,公务员选拔进入法制化和规范化的轨道。在既定的政策和框架范围内,学者和实践工作者在公务员选拔工具的开发、应用和效度检验方面进行了积极的探索,其研究可以分为四类。第一,对于笔试的研究,涉及笔试题目设计(刘跃雄、刘伟,2009)和笔试测量的构念(罗进辉、吴迪,2009)。第二,对于面试的研究,涉及面试测量的构念、测量的效度(陈社育,2002)、测量结果的影响因素(徐建平,2014)等。第三,对于笔试和面试的研究,说明不同测量工具能够测量不同的构念,同时采用笔试和面试的方法是有效的,但笔试内容需要调整(杨海军等,2011)。第四,对于其它选拔和测评工具的研究。无领导小组讨论的信度和效度比较高(苏永华,1998),而评价中心能测量的构念比无领导小组讨论更多、选拔效率更高(刘柏涛、周斌,2014),可以在公务员选拔中推广应用(司林波,2011)。
...........
 
第二节 研究思路、研究方法与内容安排
基于胜任力理论、决策理论和项目反应理论,本文研究了考官胜任力、评分策略和面试题本对考官评分一致性的影响。研究思路、研究方法和内容安排如下:本文首先通过基础理论和文献综述构建了影响考官自身评分一致性的理论分析模型和实证分析模型,将考官胜任力、评分策略、题本和评分一致行纳入同一个分析框架,这是第二章到第七章基础。第二章利用考官面试评分数据实证分析考官的自身评分一致性,提出考官自身评分一致性存在问题,以后的章节对影响考官评分一致性的因素分别量化,内容体现在第三章、第四章和第五章,这三章分别构建了考官胜任力、评分策略和面试题本要素三个变量,对考官胜任力、评分策略、题本进行量化,使之变成可测量的变量,第六章在利用多项 Logistic 回归分析法实证分析了考官胜任力、评分策略、题本和考官自身评分一致之间关系,第七章是根据第六章的分析得到结论,并对结论进行解释,从而提出了相应的建议,具体内容见图 0-1。访谈法和扎根编码分析法是常用的质性分析方法,本文在多处用到该方法。在胜任力模型构建和考官评分策略测量中,本文通过访谈法提取关键事件,再利用扎根编码分析法提取胜任力指标和考官评分的心理行为和方式。在公务员面试题本要素量化和题本中,本文采用访谈法和扎根编码分析法提取了影响公务员面试的题本要素,分析了题本要素影响考官评分的内在机制。
..........
 
第一章 基础理论、文献综述与模型构建
 
第一节基础理论
本文研究的考官自身评分一致性来源于项目反应理论,所以本文将经典测量理论和项目反应理论进行比较,说明考官评分和考官自身评分一致性的关系。由于考官评分是一种复杂的决策过程,考生因素、题本因素与考官因素相互影响,所以本文基于决策理论分析考官评分的过程、基于胜任力理论分析考官能力对评分可能存在的影响,建立各种因素之间的相互作用的过程,形成本文的研究框架与研究假设,为实证分析奠定基础。测量理论一般可以分为经典测量理论和项目反应理论。经典测量理论起源比较早,它在各类测评和考试领域得到了广泛应用。随着测量理论的发展,研究者发现一些问题是经典测量理论不能解决的问题,项目反应理论因此而发展起来。以下内容具体对经典测量理论和项目反应理论进行介绍。经典测量理论又被称为真分数理论。知识、个性和能力是可以被测量的特质,个人在这些特质上的真实质就是真分数,采用某些工具测量这些特质得到的各种数据就是观测值。真分数并不能直接获得,观察值可以直接获得,两者之差就是测量误差,所以观察值等于真分数与测量误差之和。为了得到真分数,必须从观察值中分离出测量误差。这里实际上暗含了三个假设(张厚粲,1999):观测分数是真分数与误差分数的和、真分数具有不变性、误差是完全随机的。尽管每次测量得到的观察值不相等,但只要测量误差完全随机,误差之间、特质之间、误差与特质之间互相独立,当测量的次数足够多时,测量误差正负抵消,观察值等于真分数。经典测量理论用信度和效度来评价测量的结果。信度是指测量结果的一致性程度,亦称可靠性程度,经典测量理论中的信度是一组测量分数的真分数的方差(变异数)在总方差(总变异数)中所占的比率。经典测量理论提出了很多估计信度的方法,如采用相关法进行重测信度、复本信度、分半信度的估计,用克隆巴赫(α)系数估计同质性,用 Kendall 系数、Friedman 系数计算评分者信度(张文彤,2004)。效度是指正确测量所欲测量特质的程度,可以分为内容效度、构建效度和效标关联效度。
..........
 
第二节 考官评分的文献综述
考官评分影响面试的结果,因而有许多学者将研究重点逐渐聚焦到考官评分问题,其研究成果可以分为以下几个方面。在面试研究中,考官评分一致性的概念因测量理论基础差异而不同。在经典测量理论下,考官评分一致性指的是考官之间评分总分的一致性和考官在不同测评要素上评分的一致性,无法测量考官在不同考生、题目上评分的自身一致性。在项目反应理论下,考官评分的一致性分为考官之间评分的一致性和考官评分的自身一致性,它用数理模型模拟考官在不同题目上对不同考生的评分变化规律,根据预先设定的模型拟合结果判断考官评分之间评分的一致性和自身一致性5。所以,经典测量理论不能分析考官评分的自身一致性,考官评分的自身一致性是项目反应理论下的一个独特概念,它表示考官在不同题目上对不同考生进行评分时一致地使用各个评分等级的程度,本文是基于项目反应理论研究考官自身评分一致性。考官评分差异分为考官评分不相等和考官评分是否有统计上的差异。按照统计学原理,当考官评分不相等时,考官评分不一定统计上的有显著差异,而考官评分有统计上的显著差异时,考官评分一定是不相等的。在面试研究中,大部分考官评分差异研究都是基础经典测量理论,假设考官评分等于考生的实际能力,目标是讨论考官评分不相等产生的原因。由于大多数人事选拔和测评以分数高低作为决策依据,所以考官评分不相等比考官评分是否具有显著差异更加需要关注,这可能是目前面试研究中考官评分不相等的研究比较集中的原因。
........
 
第三章 公务员面试考官胜任力模型的维度与指标........... 49
第一节 理论分析与研究评述..... 49
一、公务员面试考官胜任力研究的主要观点 ......... 49
二、其它各类组织面试考官胜任力研究的主要观点 ............. 50
三、研究评述 ..... 51
第二节 公务员面试考官胜任力的提炼与预调研分析...... 52
一、基于文献和政策的指标提炼 ......... 52
二、预调研数据分析与胜任力指标修改 ............. 53
三、考官胜任力指标库的形成 ........... 56
第三节 公务员面试考官胜任力模型的构建.... 57
第四章 公务员面试考官评分策略的内容与构成............. 65
第一节 理论分析与研究述评...... 65
第二节 公务员面试考官评分策略问卷的编制............ 67
第三节 公务员面试考官评分策略内容与结构的提炼...... 72
第五章 公务员面试题本要素的内容及评分一致性影响机制... 78
第一节 理论分析与研究述评...... 78
第二节 公务员面试题本要素的内容分析...... 82
第三节 公务员面试题本要素影响考官自身评分一致性的机制分析.... 87
 
第六章 考官胜任力、评分策略、面试题本影响面试考官自身评分一致性的实证分析
 
考官自身评分一致性指的是评委在多大程度上将评分规则内化,并且对不同考生的表现进行评定时能够前后一致地使用各个评分等级(孙晓敏、张厚粲,2006)。如果考官评分一致性程度属于合理范围,说明考官对考生使用了相同评分标准和评分等级,分数能够体现能力差异。因此,提高考官自身评分一致性对于提高面试的信度和效度、发挥面试的人才选拔功能具有重要的理论和实践价值。在对公务员面试考官自身评分一致性进行评价的基础上,发现公务员面试考官自身评分一致性不够好,基于第一章构建的影响考官自身评分一致性的理论分析模型和实证分析模型可知,考官胜任力、评分策略和面试题本是影响考官自身评分一致性的原因,第三、四、五章分别构建了考官胜任力、评分策略和面试题本三个变量后,本章内容建立计量分析模型,利用问卷调查数据进行实证分析考官胜任力、评分策略和面试题本对考官自身评分一致性的影响。
 
第一节研究设计
由于调研条件的限制,考官问卷的填写在面试现场进行,考官面试评分在公务员录用结束后获得,2014 年湖北省公务员考官的评分策略、胜任力和分数无法一一对应。为了将每个考官的评分策略、胜任力和分数对应起来,2015 年调研时我们采取了特殊的方法在问卷上做了标记,等待公务员录用结束后获得考官评分,再将回收的问卷与考官评分一一对应,所以本次实证分析的数据均来自 2015 年的调研数据。剔除无法将考官问卷和评分一一对应的数据、只给总分而没有给出分项得分的数据后,一共获得 192 个考官问卷数据、2133 个考官评分数据。根据考官评分策略测量的结果和考官胜任力模型的结果计算 192 个考官的评分策略、胜任力,再从多面 Rasch 模型分析结果内找到考官评分一致性的数据,最终获得本次研究所需数据。胜任力包括个人特质、专业知识和专业能力,个人特质的均值最高,其次是专业能力,最后是专业知识。个人特质的标准差最小,组距(极大值-极小值)最小,其次是专业能力的标准差和组距,最后是专业知识的标准差和组距。均值、标准差和组距的分布情况表明,考官认为自己的个人特质水平很高、观点分歧小,而专业知识不够,但观点分歧大。评分策略包括“锚定”、“匹配”和“调整”三种策略。“匹配策略”的均值最高、标准差和组距最小,“调整策略”的均值最低、标准差和组距最大,说明考官更倾向于使用“匹配策略”,其次是“锚定策略”,最后是“调整策略”。
.........
 
结论
 
当考官胜任力既定时,根据考官评分策略影响自身评分一致性的分析,可知考官评分策略主要影响评分过于一致的发生比。决策理论认为,当个体面对不确定时,人们使用启发策略或简化标准的方式对概率和事件的价值做出判断(Kataoka,1997)。一般的方法是先锚定一个数字或参照对象,然后估测它是过高还是过低,接着让大脑从锚定数值上“转移”并逐渐调整估值。在面试中,不同的考官有不同的“锚”,有的考官选择了差的表现作为“锚”,有的考官则相反。Judge(2000)发现在面试开始的 4-30 分钟内,考官就已经根据第一印象做出了决定,形成了“锚定效应”。Dipboye(2005)认为考官在面试的关系建立阶段形成了应聘者的第一印象并根据第一印象对应聘者进行分类,接着是确认和更正的阶段,以考官对该考生预设的“锚”为基础,考官根据考生回答的内容将考生的表现调整到不同分数对应的“锚”。在公务员面试中,锚定策略包含的题项表明,面试考官根据考生的政治素质、考生与自己的相似性、应聘岗位的要求在内心建立评分标准,形成一个评分区间,考生的不同表现对应不同的评分等级和评分区间。当考官需要快速收集、整理大量面试信息时,为了简化决策任务以便对考生表现做出判断,考官选择自我为参照对象和熟悉的岗位为参照对象,形成一个“锚定值”。然后利用内心的评分标准和评分区间将考生的表现与评分等级相对应,随着“锚定值”上下调整,一直到给出最后的分数。只要考官内心的评分标准和评分区间不变,考官就会使用相同的评分标准和评分区间对不同考生进行评价,从而减少评分标准和评分区间变动导致的评分过于不一致的现象,也可以减少没有评分标准和评分区间导致的过于一致的现象。因此,锚定策略有利于抑制评分过于一致和过于不一致,使考官评分趋向于合理。
..........
参考文献(略)