古月小说网

手机浏览器扫描二维码访问

第三 计算机化自适应测验开发流程（第1页）

第三节计算机化自适应测验开发流程

banner"

>

计算机化自适应测验的开发是一项庞大复杂的工程，它至少涉及以下五个基本过程：准备阶段、题库建设、CAT算法确定、信度与效度验证以及正式使用与题库维护更新等（图2-3-1）。

图2-3-1CAT开发流程

一、准备阶段

为了更好地开发CAT系统，相关的先期准备与调研工作显得十分必要。

（一）技术团队准备

良好的技术团队是保障CAT开发工作顺利开展的前提条件。

CAT开发的技术团队应包括：心理与教育测量专家、题目内容领域专家以及计算机专家等。

心理与教育测量学家主要负责测量模型（IRT模型）的开发或选用、等值设计与组卷、参数估计与等值算法、CAT算法等；题目内容领域专家主要负责CAT拟测量的潜在特质及其结构、试题开发、测量结果的解释等；计算机专家负责数据库开发、CAT测试系统开发、题库的维护等。

因此，开发一个CAT系统前，应保证具有以上相关技术团队。

（二）实验性预分析：可行性分析及IRT模型的选用

在CAT开发前，应对要开发的CAT的具体领域进行调查与实验性预分析，从而判断该CAT的可行性以及为具体IRT模型的选用提供基础。

例如，要开发大学生英语能力的CAT系统，那么应先对现有大学英语能力测验数据进行相关分析，如测验维度分析、项目相依性分析、项目质量分析、计分方式分析、项目功能差异分析（DIF）、信度分析以及模型-资料拟合检验分析等，从而判断是否适合采用IRT模型来指导CAT开发？如果适合，那么结合实际情况，应具体采用哪种IRT模型（如单维模型VS多维模型、二级评分模型VS多级评分模型、题组反应模型VS项目反应模型、计时模型VS非计时模型等）。

二、题库建设

大型题库是CAT的基础，也是CAT开发的难点所在。

CAT的题库不是简单地将试题拼凑在一块（这个称为“题集”

或“题堆”

）。

CAT对题库的要求较高，它应具备以下特征：

·题库测量内容及其分布符合测量目标要求（如测量维度、内容分布等）；

·每题具有明确的测量内容领域、考核的认知能力层次等；

·每题都有IRT模型参数（如难度参数、区分度参数等）；

·每题的参数都定义在同一量尺上（入库前需进行等值设计与等值转换）；

·每题的测量学特征符合测量学要求（如有高区分度，无DIF等）；

·试题量大（如超过300题）。

高质量的大型题库是保证CAT的科学性以及CAT优点充分展现的基础，CAT题库的开发与传统CTT理论下的题库开发具有本质性的区别，它至少涉及以下环节（图2-3-2）。

图2-3-2题库建设的基本步骤

（一）试题开发

试题开发离不开相关内容领域的专家，试题的开发一般有两条路径：一是对已有试题的修改或直接使用，二是根据测量要求由相关内容领域的专家开发编制新的试题。

那么到底要开发多少道试题呢？如果计划最终CAT的题库要有300题，那么最初编制的试题数应该要远超过300题（如450题），因为内容领域的专家无法保证所编制的每道试题都符合测量学要求（如高区分度等），并符合相关测试标准（如教学大纲等）。