On-Line Item Calibration in Computerized Adaptive Testing

[[abstract]]在電腦適性測驗（Computerized Adaptive Testing, CAT）整個施測過程中，如果某些試題被過度選用，就有可能造成試題外流，所以通常必須藉由試題曝光控制方法來刪除使用頻率過高的題目，以確保一個適用的題庫。不過隨著測驗的進行，題庫中可用的試題數會愈來愈少，因此必須即時加入新的試題，同時也要即時估計新試題的試題參數，讓新題目的參數和原題庫的參數維持在同一量尺上。在電腦適性測驗中，即時使用受試者的作答結果來更新原題庫的試題參數，或者作為新增加試題的參數估計之用，這個過程稱為即時（線上）估計。即時估計的最大優點乃是藉由新作答資料持續不斷的加入，可以增進試題參數的估計準確性，意即降低估計誤差。當測驗的答題結果是完整而且固定時，可以利用最大概似估計法等來估計試題參數。目前常用的一些軟體，例如：BILOG 和LOGISTS 等即是如此。當考慮進行即時（線上）估計時，因為受制於有限的作答資料，上述方法可能導致參數估計值有偏差或者有較大的估計誤差，甚至無法獲得穩定收斂的估計值。本研究計畫提出以貝氏估計為核心的Markov Chain Monte Carlo（MCMC）方法運用到試題參數即時估計。MCMC 是一種結合了馬可夫鏈和Monte Carlo 積分兩個步驟的估計方法，首先應用Metropolis-Hastings algorithm 生成一個平穩分配為所欲估計參數之後驗分配的馬可夫鏈，再依據Monte Carlo 積分，利用樣本平均數去逼近母體平均數以得到最後的估計值。本計畫將透過大量模擬研究的施行，分別生成原始題庫以及新題目題庫提供施測，先利用原始題庫中的題目估計受試者能力，再利用得到的能力估計值與受試者對新題目作答情形，即時估計新題目的試題參數，其中關於能力之設定又分為三種情況來討論MCMC 的表現。研究中是以模擬和估計的試題特徵曲線間之差異來決定MCMC 估計的精確度，並討論在哪些試題參數條件下，MCMC 會有較佳的表現。本研究希望在預試題庫較小以及受試人數較少的情況之下，實施線上即時估計仍然能獲得穩定有效的參數估計值。[[abstract]]In computerized adaptive testing, updating item parameters using adaptive testing data is generally called on-line calibration. Currently, a number of packages have been developed for calibrating item parameters when the response data are fixed. For example, BILOG (Mislevy & Bock, 1982) and LOGISTS (Wingersky, Barton, & Lord, 1982). These procedures are based upon the maximum likelihood estimation. However, in the early stage of on-line calibration, there is too little information in the testing data to estimate all parameters. The application of those packages tends to produce large bias and standard error in item parameter estimates. This research project utilizes Bayesian procedure - Markov chain Monte Carlo（MCMC）as new methods for on-line item calibration. A full-scale simulation study is designed to investigate the performance of MCMC, especially for the cases with small size of item bank and small number of examinees. The standard errors of estimates as well as the distance between estimated ICCs and true ICCs are the major criteria used to evaluate the procedure. It hopes that new approaches will perform well in on-line item calibration for computerized adaptive testing