托幼机构教育质量评价的多元概化理

本文是一篇可靠性论文范文,可靠性方面硕士学位论文,关于托幼机构教育质量评价的多元概化理相关函授毕业论文范文。适合可靠性及幼儿园及评价者方面的的大学硕士和本科毕业论文以及可靠性相关开题报告范文和职称论文写作参考文献资料下载。

[摘 要]探讨托幼机构教育质量评价的信度,对提高评价的科学性和权威性具有重要意义.本文运用多元概化理论,对某次托幼机构教育质量的评价数据进行分析.评价工具为《中国托幼机构教育质量评价量表（试用版）》,评价对象为浙江省不同地区的22个托幼机构的48个班级.分析结果表明：在六个子量表中,子量表一（空间与设施）的方差分量最大,子量表三（集体教育活动）的方差分量最小；子量表三与其他五个子量表的协方差相对较小：各个子量表的可靠性指数都在0.8以上,合成可靠性指数也在0.9以上：通过增加评价者人数可以提高评价的信度,但是提高的幅度在逐步减小.

[关 键 词]多元概化理论；托幼机构；教育质量评价

[中图分类号]G617[文献标识码]A[文章编号]1004-4604（2013）10-0022-05

托幼机构教育质量评价是一项极其重要的工作,20世纪80年代末以来,我国就始了示范园和幼儿园分等定级的评估实践,一些地方性的幼儿园评估标准也陆续出台.但是,现有的大量研究（刘焱,1998；戴爽翔、刘霞,2003；刘丽湘,2006）与实践均表明,我国托幼机构质量评价的过程不够严谨、评价的信效度不高、评价标准未经检验,评价的科学性存在着明显的缺陷.

托幼机构教育质量评价是一种多人参与、多维度展的复杂的评价活动,其评价结果的准确性受到评价者、评价项目和评价情境等多方面因素的影响.在考察评分者信度时,我们常常运用求两个或多个评分者独立评分间相关的分析方法（例如有多个评分者时计算肯德尔和谐系数）.但实际情况是.当有两个或多个评价者对不同的幼儿园进行评价时,评价者间的任何系统误差都会影响评价者信度.比如某幼儿园因为由对标准的掌握相对较宽松的评价者来测评而导致得分偏高,而另一幼儿园因为由对标准的掌握相对较严的评价者来测评而导致得分偏低.当我们把不同评价者的评分放在一起比较时,每个评价者的系统偏差从总体上就构成了随机误差.因为他们的评价结果被放在了同一个参照系统中处理（如求算术平均数等）,这样一来,肯德尔和谐系数就不能准确反应评价者信度的高低,评分者之间的相对一致性较高而系统误差却很大,这时的评价者信度并不高.不仅如此,这种传统的信度分析方法（如相关分析法）无法分解评价中的各种误差来源,难以考察因测量情境关系变化而引起的误差变化,缺乏一个综合统一的评价指标对多维度的评价活动进行信度分析.当多个评价者进行多维度测评活动时,运用多元概化理论（MultivariateGeneralizabilityTheory,MGT）可以进行更深入、更精确的分析.

概化理论运用实验设计的思想,采用方差分析的统计分析技术,可以分析测评中的各种变异来源,并对此进行分解、估计与控制.近几十年来,概化理论因应实践的需要,已从单变量概化理论发展到多元概化理论.单变量概化理论主要用于单个维度的测评和分析,多元概化理论则主要用于多维度的测评和分析,尤其是面对多维度复杂测量与评价情境,多元概化理论对分析测评误差的来源、提高测评的精度、提升测评的质量具有重要的意义.

一、研究方法与过程

(一)研究对象

根据浙江省各地区不同的经济发展水平.研究者在经济发展较好、一般和欠发达的三个地区抽取了来自市、县、乡村三类行政区域的22所托幼机构的48个班级作为研究对象.

(二)评价工具与评价过程

本研究所使用的托幼机构教育评价工具是《中国托幼机构教育评价量表（试用版）》（以下简称《量表》）.《量表》共包括七个子量表,采用7点记分方式.评价者主要通过班级观察的方式进行评分.其中第七个子量表（对家长与教师的支持）主要通过对家长和教师的访谈收集信息,但研究者发现,其中的一些项目,大部分受访者无法做出清晰回答,说明该子量表需加以修订和完善.为此,本研究仅对前六个子量表的评价结果进行多元概化分析.这六个子量表分别是：空间与设施、幼儿保育、集体教育活动、幼儿游戏材料与活动、互动和一日活动.

(三)评价方案的设计

本研究共有12名评价者（r）运用《量表》对48个班级（c）进行了观察和评分.评价者为高校学前教育专业的教师和研究生,他们都曾参与《量表》的研制工作,并接受了规范的评价培训和施测训练.一般情况下,对同一班级的评价在同一时间由2-3名评价者独立进行.我们把托幼机构班级作为评价目标,评价者和量表作为测量侧面.其中,量表为固定测量侧面,评价者为随机测量侧面.量表包含六个子量表,所以我们从六个方面进行评价.我们把测量设计看作是单侧面的多元嵌套设计,即评价者嵌套于幼儿园班级（r：c）.

(四)数据格式与处理

评价者观察和评分工作结束后,我们对每位评价者的评价结果进行了整理,形成以下格式（如表1所示）.基于各子量表的平均数,我们运用多元概化分析软件mGENOVA进行分析.

二、研究结果与分析

根据概化分析的基本步骤和主要内容,我们对G研究和D研究分别加以报告与说明.

G研究是指在一定测量情境条件下,收集资料,设计方案,并进行试验性测试,求出各种方差分量的阶段,结果如表2所示.表中对角线上的数据为方差分量,它表示各子量表所能解释的变异情况.首先我们分析效应c（托幼机构的班级）在各子量表上的方差分量,其中子量表一（空间与设施）的方差最大.这说明在此次评价中,它的作用最大.其次是子量表二（幼儿保育）和子量表五（互动）,最小的是子量表三（集体教育活动）.对角线上方的数据为相关系数,从表中可以看出,各子量表间的相关系数均在0.7以上,这为对各子量表的评价结果进行综合分析提供了一定的实证依据.对角线下方的数据为协方差分量,它表示该变量与其他变量间的共变性.从表中可以看出,相比较而言,子量表三（集体教育活动）与其他五个子量表的协方差较小.这表明此次评价中,在区分质量高低方面,子量表三较其他子量表相对差些.效应（r：c）在各子量表上的方差协方差矩阵由两部分组成：评价者的误差方差协方差、评价者和托幼机构交互作用的误差方差协方差.从表中可以看出,该效应在子量表二上的值最大,在子量表四上的结果最小.这其中的原因是什么?是评价者的评价不一致造成的,还是评价者与托幼机构的交互作用引起的?也许受嵌套设计的局限,目前我们还无法做出进一步的解释.（二）D研究结果

D研究是指在改变某些测量情境条件下,利用G研究所获结论,去考察如何提高测量信度,改进测量效度的工作.改变测量情境条件包括增加或减少评价者、增加或减少评价项目、固定测量侧面等.本研究在嵌套设计的基础上,主要从不改变测量情境条件和改变评价者侧面两个方面进行探讨.

1.测量情境条件不变的D研究结果

测量情境条件不变的D研究结果如表3所示,表中全域分数方差结果即表2中的对角线分量（具体说明见上）.可靠性指数是指测量目标自身的分数变异在总的分数变异中所占的比率,数值越大说明测量的精度越高.从表中可以看出,各子量表的可靠性指数均在0.9以上,同时绝对误差方差都较小,说明各子量表的评价一致性比较好.可靠性指数最高的是子量表一,最小的是子量表三.另外,对各子量表的可靠性指数加以合成用以估计总体评价精度的指标,即合成可靠性指数为0.97526,表明这次评价的总体准确性也较高.信噪比指标表明全域分数变异和误差变异之间的差值,如子量表三的绝对信噪比是10.043494,表明在这些分数中全域分数变异大约是误差变异的10倍.

2.改变评价者侧面的D研究结果

我们通过改变评价者侧面的人数进行了D研究.托幼机构教育质量评价是一项十分繁重、费时、费力的评价工作.本研究中,我们设计了以下几种方案：评价者人数分别为1人、2人、3人、4人和5人.为便于分析,我们又增加了部分机构由2人评价,部分机构由3人评价（为便于表述,简称部分2人部分3人,下同）这一种情况.我们讨论的主要问题是,在六种评价者侧面人数不同的情况下,各子量表的可靠性指数及合成可靠性指数的情况.

从表4可以看出,在六种不同评价者侧面人数下,各子量表的可靠性指数均在0.85以上,说明精度都比较好.相比较而言,当评价者侧面人数只有1人时.可靠性指数相对来说是最低的,当评价者人数为5人时,可靠性指数是最高的.虽然随着评价者人数的增加,各子量表的可靠性指数在提高.但是提高的幅度在逐步减小.比如,当评价者人数从1人增加到2人时,子量表一的可靠性指数变化了0.02592；当评价者人数从4人增加到5人时,子量表一的可靠性指数仅增加了0.00253.

另外,对评价者人数为2人和部分2人部分3人两种情况进行比较时发现,在某些子量表上的可靠性指数大小近似；对评价者人数为3人和部分2人部分3人两种情况进行比较时发现,前者各子量表的可靠性指数较后者要大.

合成可靠性指数结果如表5所示.当评价者人数从1人增加到5人时,合成可靠性指数在不断增加,这说明总体评价精度在不断提高,但提高的幅度在逐步减小.

三、讨论

本研究采用多元概化理论对托幼机构教育质量评价的实际情况进行了分析.在所考察的六个子量表当中,子量表一（空间与设施）的方差分量最大,子量表三（集体教育活动）的方差分量最小；另外,子量表三与其他各子量的协方差也相对较小.子量表一主要是对托幼机构设施、设备等硬件环境进行的观察评价,评价者易观察、易评价,这可能是其评价信度较高的一个重要原因.而子量表三主要是对集体教育活动进行的观察评价,每位评价者所观察评价的活动各不相同,这可能是导致其评价信度较低的原因之一.另外,各子量表的可靠性指数均在0.8以上,合成可靠性指数也在0.9以上.这说明在各个子量表上评价者的意见比较一致,同时总体评价的一致性也比较好.

本研究还通过改变评价者人数来探讨评价可靠性的变化情况.结果表明,随着评价者人数的增加,各个子量表的可靠性指数在不断提高,但提高的幅度在逐步减小；合成可靠性指数也存在类似情况,即,合成可靠性指数随评价者人数的增加而不断提高,但提高的幅度在逐步减小.有研究者将这种现象称之为“边际效益递减”.

综合以上研究结果,我们认为,总体而言,此次观察评价结果的可信度较高；考虑到以班级为单位的托幼机构教育质量评价是一项费时费力的评价活动,我们建议最好结合实际情况,至少安排两位受过训练的评价者对同一班级进行观察评价；另外,当观察过程中有分组活动同时进行时,观察者应对各组活动进行观察和评分,以提高评价的准确性.