浅谈教育评价指标体系的可靠性和有效性研究(2)
作者:佚名; 更新时间:2015-01-14
三、结果与讨论
1.指标体系可靠性分析的结果与讨论
通过以上分析结果可知,专业评估所采用的指标体系的可靠性系数为0.3950,分析结果说明本次评估所采用的指标体系的可靠程度并不高。
指标的设计应遵循一项重要的原则,即指标同层次间相互独立的原则。由于教育现象的复杂性,导致在设计指标的过程中要做到同层次所有指标间完全相互独立是十分困难的。在这种情况下,指标体系只要达到了低度相关,则可认为指标间的独立性较好。在对本例专业评估指标体系可靠性的分析中,“一半指标”与“二半指标”之间的相关系数为0.2460,说明指标间的独立性较好。表明在末级指标这一层次上,指标之间存在因果关系的可能性较小,每一个指标各自代表一个独立的内容,它们之间重叠的部分不多,包含与被包含的关系不明显,也没有出现高度相关的情况,符合指标同层次间相互独立的原则。然而,指标体系的独立性较好并不代表指标的内容设计具有合理性,这仅是确定评估指标应遵循的原则之一。
从分析结果来看,本例专业评估指标体系的可靠性系数仅为0.3950,说明指标体系的可靠程度不高,二十七项评估指标体系所反映的内容不在同一目标上。评估指标是对评估目标的具体化,是由评价目标分解而成的,其集合应该是对评估目标的可靠性的反映,这样才能形成一个相对稳定的指标体系,才能判断出被评估对象的真实价值。而评估指标所反映的内容不在同一目标上,说明指标较分散,有部分评估指标偏离评估目标,评估目标与评估指标的一致性较差,从而导致评估指标体系的稳定性较差。此外,评估主体不同,也是导致评估指标体系可靠性较低的原因之一。
2.指标体系有效性分析的结果与讨论
在对指标体系有效性进行分析的基础上,与原指标体系结构进行对比,得出如下结论:
其一,信捷职称论文写作发表网,第一次分析中,有7项末级指标在原指标体系中同属一个二级指标,说明这几项指标无论是在原指标体系中,还是在因素分析的指标内部结构中,都处于相同的结构状态,因而这7项末级指标是整个指标体系中最为合理的指标。
其二,在第一次因素分析中,公因子G6的解释指标一(ZB1)和解释指标六(ZB6)同属于原指标体系的一级指标中。说明这两项指标具有共同的数据特征,可被纳入同层结构中,但归为不同的二级指标,表明这两项指标在同层结构中仍表现出分散的特征。
其三,分析发现,除上述几项指标能在原指标体系中找到相应的结构外,其余的公因子无法被还原到原指标体系的结构中,但在因素分析中却被归为一类。说明这几项指标有共同的数据特征,但在原指标体系中归为不同的一级指标,表明这几项指标的设计较为分散,因而这样的设计是不合理的。
其四,从微观层面来看,属于同一个一级指标的各个末级指标的设计是较为合理的。公因子E1的末级解释指标跨越了原指标体系中的四项一级指标,公因子E2的末级解释指标跨越了原指标体系中的三项一级指标,公因子E3的末级解释指标跨越了原指标体系中的四项一级指标,公因子E4的末级解释指标跨越了原指标体系中的三项一级指标,说明原指标体系的结构中存在的问题较大。
最后,在第二次因素分析中,指标分散的特征再次凸显。在公因子E1的解释指标中,指标九(ZB9)单独属于一个一级指标;在公因子E2的解释指标中,指标十三(ZB13)和指标十六(ZB16)分别属于不同的一级指标;在公因子E3的解释指标中,指标十(ZB10)和指标十五(ZB15)也分别属于不同的一级指标;在公因子E4的解释指标中,指标十一(ZB11)单独属于一个一级指标。说明本例专业评估采用的指标体系的分散特征较为明显,在进行指标修正时需要对指标的结构进行调整。