基于联结主义的连续记分IRT模型的项目参数和被试能力估计(2)
作者:佚名; 更新时间:2014-12-05
结点的实际输出值。p是测试模式的数目,o是输出结点的数目。根据测试误差E的大小,可以看出经过训练的神经网络是否真正可以对项目参数和被试能力进行很好的估计。
    4.2 预备实验
  由于在正式对神经网络进行训练以前,对于要用什么样的模式来训练没有任何先验的知识,为此先进行预备实验。和正式实验的步骤一样,首先运用蒙特卡罗方法产生25个被试对15个项目的反应矩阵,用这一矩阵和相应的被试能力或项目参数组成4组训练模式,分别用以估计θ,a,b和c。在对被试能力进行估计时,将矩阵的行作为一组神经网络训练模式的输入部分,因为矩阵的一行数据就代表了一个被试对所有项目的反应;相应被试的θ值作为训练模式的输出部分,因为它代表了被试的能力值。在对项目参数进行估计时,将矩阵的列作为一组神经网络训练模式的输入部分,因为矩阵的一列数据就代表了所有被试对一个项目的反应;相应项目的a,b或c值作为训练模式的输出部分,因为它代表了项目的参数值。就用这些训练模式分别对4组神经网络进行训练,这4组神经网络分别对应于被试能力和项目的三个参数,每组有30个网络。然后,再用蒙特卡罗方法产生另外25个被试对另外15个项目的反应矩阵,并用已经训练过的网络对这个反应矩阵估计θ,a,b和c,记录下测试误差。其结果表明,虽然可以进行被试能力和项目参数的估计,但误差较大,无法达到实际应用的精确度。根据神经网络训练的一般规律,估计出现这一情况的原因有两条,一是训练模式太少,二是训练模式和测试模式之间没有任何联系,即没有用“锚题”或“锚人”把它们联系起来,改进的方法可以是增加训练模式,或运用一定的“锚题”或“锚人”方法,在本研究中先用“锚题”的方法进行试验(具体方法在进行正式实验时详述),试验的效果很好,然后进行下面的正式实验。
    4.3 正式实验
    (1)步骤1:产生训练矩阵和测试矩阵
  运用蒙特卡罗方法产生25个被试(称为第一组被试)对45个项目(称为第一组项目)的反应矩阵(称为第一矩阵),这一矩阵在下面的实验中将作为测试矩阵;从该45个项目中随机取出15个项目(称为第二组项目),再用蒙特卡罗方法产生另外25个被试(称为第二组被试),令它们和上述随机取出的第二组项目起反应,产生另一个反应矩阵(称为第二矩阵),用它作为训练模式的一部分,由此可见,训练矩阵和测试矩阵之间有15个项目作为“锚题”,如下面图1所示。
  附图
    图1 被试、项目和反应矩阵
  图1中的第三组项目和第三矩阵将在下面作解释。
    (2)步骤2:建立能力训练模式
  用“第二矩阵”中的每一行作为一个模式的输入,其相应的25个第二组被试的能力值作为输出,组成能力训练模式,对一组神经网络(共30个,称为第一组神经网络)进行训练。
    (3)步骤3:建立能力测试模式并进行测试
  将“第一矩阵”中的每一行作为一个模式的输入,相应的第一组被试的25个能力值作为输出,组成能力测试模式,用上述经过训练的第一组神经网络对其进行测试。这时,实际上是神经网络对第一组被试的能力值进行估计。然后,将估计值和真实值进行比较,记录下测试误差,如表1左边第1列所示,要注意的是,表中记录的是30个网络的测试误差实际值,根据公式可见,它是所有输出结点和所有测试模式的误差总和。由于本研究中只有一个输出结点,有25个测试模式(因为有25个被试),因此要将表中的测验误差实际值除以25,得到对单个测试模式的测试误差,然后,再计算其平均数M和标准差SD,结果如表2所示,可以看出测试误差是比较小的。由此可见,当测试模式中有部分项目(本例中为15个项目)和训练模式相同时,经过训练的神经网络可以对被试的θ进行很好的估计。应该指出的是,测试模式和训练模式中没有被试是重复相同的,这说明经过训练的神经网络确实可以对新的被试进行能力估计。
    表1 测试误差  
θ        a         b         c
0.129       2.239       2.982       0.065
0.084       1.843       2.976       0.056
0.243       2.016       2.798       0.069
0.324       1.804       2.133       0.058
0.126       2.159       2.556       0.027
0.201       2.224       2.399       0.067
0.288       2.246       2.617       0.043
0.114       1.741       2.834       0.065
0.189       1.937       2.347       0.076
0.249       2.295       2.745       0.092
0.264       2.319       2.433       0.065
0.321       2.382       2.030       0.044
0.105       2.136       2.231       0.093
0.132       2.061       2.244       0.023
0.153       2.019       2.868       0.068
0.279       2.270       2.042       0.044
0.204       2.196       1.850       0.099
0.102       1.950       2.597       0.059
0.105       1.732       1.709       0.089
0.282       1.764       2.328       0.072
0.228       2.281       2.556       0.114
0.256       2.089       1.961       0.071
0.222       2.445       2.002       0.093
0.210       1.666       2.243       0.035
0.138       1.743       2.441       0.075
0.201       2.438       2.034       0.080
0.171       1.740       2.100       0.106
0.246       2.307       2.594       0.069
0.195       1.577       2.535       0.057
0.213       2.436       2.199       0.057

 



 
    (4)步骤4:建立项目参数训练模式
  当估计项目参数时,将“第一矩阵”中的每一列作为一个模式的输入,因为每一列都代表所有被试对一个项目的反应情况,于是可以将与各列相应项目的a、b或c作为输出,组成项目参数训练模式,用该模式对一组神经网络(共30个,称为第二组神经网络)进行训练。
    (5)步骤5:建立项目参数测试模式并进行测试
  用蒙特卡罗方法产生15个项目(称为第三组项目)的参数a、b、c,并用原先已经产生的第一组被试的θ值对它们起反应,产生反应矩阵(称为“第三矩阵”)。然后,将“第三矩阵”中的每一列作为模式的输入,相应的15个项目的参数a、b或c作为输出,组成测试模式。用经过训练的第二组神经网络对其进行测试,也就是由神经网络对第三组项目进行参数估计,然后将估计值和真实值进行比较,记录下测试误差,如表1的2、3、4列所示。和对θ估计的测试误差一样,它是所有测试模式的误差之和。这里共有15个测试模式(即上述的第三组项目)。因此要把表1中的的2、3、4列数字除以15,再求平均数M和标准差SD,得到结果在表2中。
    表2 单个模式测试误差的平均数和标准差  
统计项      θ       a        b        c
M       0.0027     0.1379    0.1586      0.0045
SD     0.0009     0.0174    0.0227      0.0015

  
    4.4 减少项目参数的测试误差的实验
  从表2的数据可以看出,上述方法对于θ的估计已经达到了较好的精

核心期刊快速发表
Copyright@2000-2030 论文期刊网 Corporation All Rights Reserved.
《中华人民共和国信息产业部》备案号:ICP备07016076号;《公安部》备案号:33010402003207
本网站专业、正规提供职称论文发表和写作指导服务,并收录了海量免费论文和数百个经国家新闻出版总署审批过的具有国内统一CN刊号与国际标准ISSN刊号的合作期刊,供诸位正确选择和阅读参考,免费论文版权归原作者所有,谨防侵权。联系邮箱:256081@163.com