การทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบพหุมิติ
คำสำคัญ:
การทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบพหุมิติ, วิธีของเบส์ปรับใหม่บทคัดย่อ
การทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบพหุมิติ (Multidimensional Computerized Adaptive Testing : MCAT) เป็นการผสมผสานแนวคิดระหว่างทฤษฎีการตอบสนองข้อสอบแบบพหุมิติ (Multidimensional Item Response Theory : MIRT) กับการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์ (Computerized Adaptive Testing : CAT) ซึ่งเป็นการทดสอบที่มีประสิทธิภาพสูง มีความแม่นยำ และลดจำนวนข้อสอบ แบบปรับเหมาะด้วยคอมพิวเตอร์แบบพหุมิติ (MCAT) มี 5 ขั้นตอน ได้แก่ 1) การสร้างคลังข้อสอบ (Item pools) 2) การเริ่มต้นการทดสอบ (Starting point) 3) การคัดเลือกข้อสอบข้อถัดไป (Item selection) 4) การประมาณความสามารถ (Scoring algorithm) และ 5) เกณฑ์การยุติการทดสอบ (Stopping rules) โมเดลการตอบสนองข้อสอบแบบพหุมิติระหว่างข้อสอบ (Between-Items MIRT Model) นิยมใช้การประมาณค่าความสามารถของการทดสอบ แบบวิธีการประมาณค่าแบบความน่าจะเป็นสูงสุด (Maximum Likelihood Estimation) ส่วนโมเดลการตอบสนองข้อสอบแบบพหุมิติภายในข้อสอบ (Within-Items MIRT Model) นิยมใช้การประมาณค่าความสามารถด้วยวิธีของเบส์ที่ปรับใหม่ (Bayesian Updating) และเกณฑ์ยุติการสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบพหุมิติ (MCAT) นิยมใช้ค่าความคลาดเคลื่อนมาตรฐานในการประมาณค่า (Standard Error of estimation: SE)
References
เกียรติศักดิ์ ส่องแสง. (2547). ฟังก์ชันสารสนเทศของแบบทดสอบแบบปรับเหมาะกับความสามารถของผู้สอบด้วยคอมพิวเตอร์. วิทยานิพนธ์ กศ.ด. กรุงเทพฯ: มหาวิทยาลัยศรีนครินทรวิโรฒ.
ชัยมงคล ปินะสา. (2551). การสร้างแบบทดสอบแบบปรับเหมาะกับความสามารถของผู้สอบบนระบบเครือข่ายอินเทอร์เน็ตในวิชาวิทยาศาสตร์สำหรับนักเรียนชั้นมัธยมศึกษาปีที่ 3. วิทยานิพนธ์ปริญญามหาบัณฑิต. มหาสารคาม: มหาวิทยาลัยมหาสารคาม.
ชัยวิชิต เชียรชนะ. (2552). "การวิเคราะห์พหุมิติ." วารสารศึกษาศาสตร์มหาวิทยาลัยขอนแก่น, 32(4), 13-21.
เมษา นวลศรี. (2559). การพัฒนาและและตรวจสอบโครงสร้างพหุมิติของความเป็นพลเมืองที่มีความรับผิดชอบของนักเรียนชั้นมัธยมศึกษาตอนต้น: การประยุกต์ใช้แนวคิดการสร้างแผนที่โครงสร้าง วิทยานิพนธ์ปริญญาดุษฎีบัณฑิต. กรุงเทพฯ: จุฬาลงกรณ์มหาวิทยาลัย.
รังสรรค์ มณีเล็ก. (2540). ผลของตัวแปรบางตัวต่อความเที่ยงตรงเชิงสภาพและจำนวนข้อสอบที่ใช้ในการทดสอบแบบปรับเหมาะกับความสามารถของผู้สอบด้วยคอมพิวเตอร์. วิทยานิพนธ์ปริญญาดุษฎีบัณฑิต. กรุงเทพฯ: มหาวิทยาลัยศรีนครินทรวิโรฒ.
โสฬส สุขานนท์สวัสดิ์, เสรี ชัดแช้ม และกฤษณะ ชินสาร. (2556). การพัฒนาการคัดเลือกข้อสอบข้อถัดไปโดยใช้ทฤษฎีการตัดสินใจ ในการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์. วิทยาการวิจัยและวิทยาการปัญญา, 10(2), 71-85.
สมประสงค์ เสนารัตน์. (2555). การพัฒนาการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์ เพื่อวินิจฉัยกระบวนการพุทธิปัญญาในการเรียนพีชคณิตของนักเรียนชั้นมัธยมศึกษาปีที่ 1 โดยประยุกต์ใช้โมเดลการตอบสนองข้อสอบแบบพหุมิติ. วิทยานิพนธ์ปริญญาดุษฎีบัณฑิต. มหาสารคาม: มหาวิทยาลัยมหาสารคาม.
สุกัญญา บุญศรี (2560) การพัฒนาการทดสอบแบบปรับเหมาะแบบหลายขั้นตอนด้วยคอมพิวเตอร์เพื่อวัด สมรรถนะความรู้วิชาชีพพหุมิติของครูช่างอุตสาหกรรม. วิทยานิพนธ์ปริญญาดุษฎีบัณฑิต. กรุงเทพฯ : จุฬาลงกรณ์มหาวิทยาลัย.
ศิริชัย กาญจนวาสี. (2555). ทฤษฎีการทดสอบแนวใหม่ (ฉบับปรับปรุง) (พิมพ์ครั้งที่ 4). กรงเทพฯ: โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
Becker, J., Fliege, H., Kocalevent, R.D., Bjorner, J. B., Rose, M., Walter, O, B., & Klapp, B. F.(2008). Functioning and validity of A Computerized Adaptive test to measure anxiety (A-CAT). Depression and Anxiety, 25(12), E182-E192
Bock, R. D., Gibbons, R., & Muraki, E. (1988). Full-information item factor analysis. Applied Psychological Measurement, 12(3), 261-280.
Babcock, B., & Weiss, D. J. (2012). Termination criteria in computerized adaptive tests: Do variable-length CATs provide efficient and effective measurement?. Journal of Computerized Adaptive Testing, 1(1), 1-18.
Chang, H. H., & Ying, Z. (1996). A global information approach to computerized adaptive testing. Applied Psychological Measurement, 20(3), 213-229.
Chang, H. H. (2012). Making computerized adaptive testing diagnostic tools for schools. In R. W. Lissitz & H. Jiao (Eds.), Computers and their impact on state assessments: Recent history and predictions for the future (pp. 195–226). Charlotte, North Carolina: Information Age.
Chen J.Z. (2009). Material flow and circular economy. Wiley Online Library. Retrieved from https://onlinelibrary.wiley.com/doi/epdf/10.1002/sres.968.
Diao, Q., & Reckase, M. (2009). Comparison of ability estimation and item selection methods in multidimensional computerized adaptive testing. Michigan State University. Department of Measurement and Quantitative Methods.
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, New Jersey: Lawrence Erlbaum Associates Publications.
Frey, A., & Seitz, N. N. (2009). Multidimensional adaptive testing in educational and psychological measurement: Current state and future challenges. Studies in Educational Evaluation, 35(2), 89-94.
Finch, H. (2010). Item Parameter Estimation for the MIRT Model Bias and Precision of Confirmatory Factor Analysis—Based Models. Applied Psychological Measurement, 34(1), 10-26.
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Sage Publications, Inc.
Kuo, B. C., Daud, M., & Yang, C. W. (2015). Multidimensional Computerized Adaptive Testing for Indonesia Junior High School Biology. Eurasia Journal of Mathematics, Science and Technology Education, 11(5), 1105-1118.
Kirisci, L., Tarter, R., Reynolds, M., Ridenour, T., Stone, C., & Vanyukov, M. (2012). Computer adaptive testing of liability to addiction: Identifying individuals at risk. Drug & Alcohol Dependence, 123(1), S79-S86.
Mulder, J., & van der Linden, W. J. (2009). Multidimensional adaptive testing with Kullback– Leibler information item selection. In W. J. van der Linden, & C. A. W. Glas (Eds.), Elements of adaptive testing (pp. 77–101). New York: Springer.
Reckase, M. D. (2010). Multidimensional item response theory. New York: Springer.
Seo, D. G. (2011). Application of the Bifactor Model to Computerized Adaptive Testing. ProQuest.
Segall, D. O. (2010). Principles of multidimensional adaptive testing,” in Wim J. Van Der Linden and Cees AW Glas (Eds.). Elements of Adaptive Testing. New York: Dordrecht Heidelberg London.
Thompson, N.A., & Weiss, D.J. (2011). A Framework for the Development of computerized Adaptive Tests. Practical Assessment, Research & Evaluation, 16(1), 1-9.
Throndike, R.L. (1982). Applied Psychometrics. Boston: Houghton Mifflin Company.
Thissen, David. (1990). Reliability and Measurement Precision. In: Howard Wainer et al.,editors. Computerized Adaptive Testing: A Primer. New Jersey: Lawrence Erlbaum.
Veldkamp, B. P., & van der Linden, W. J. (2002). Multidimensional adaptive testing with constraints on test content. Psychometrika, 67(4), 575-588.
Veldkamp, B. P., & Matteucci, M. (2013). Bayesian computerized adaptive testing. Ensaio: Avaliação e Políticas Públicas em Educação, 21(78), 57-82.
Wainer, H., Dorans, N., Eignor, D., Flaugher, R., Green, B. F., Mislevy, R. J., & Steinberg, L. (2001). Computerized adaptive testing: A primer. Qual Life Res, 10(8), 733-734.
