วิธีการทางสถิติสำหรับตรวจจับการทุจริตประเภทลอกคำตอบในการทดสอบ
คำสำคัญ:
วิธีการทางสถิติ, การตรวจจับการทุจริต, ลอกคำตอบบทคัดย่อ
ในการทดสอบซึ่งผู้เข้ารับการทดสอบมีผลได้ผลเสียกับผลการทดสอบสูง (high stake) จะสามารถพบเห็นการทุจริตได้ในหลายรูปแบบ โดยการทุจริตประเภทหนึ่งที่พบ คือ การลอกคำตอบ (answer copying) ดังนั้น จึงได้มีการพัฒนาวิธีการทางสถิติเพื่อช่วยในการตรวจจับการทุจริตประเภทลอกคำตอบในการทดสอบขึ้น โดยบทความนี้ ได้นำเสนอวิธีการทางสถิติสำหรับตรวจจับการทุจริตประเภทลอกคำตอบในการทดสอบตามทฤษฎีการทดสอบแบบดั้งเดิม (CTT) จำนวน 3 วิธี ได้แก่ 1) วิธีการตรวจจับโดยใช้ ดัชนี Angoff 2) วิธีการตรวจจับโดยใช้ ดัชนี K และ 3) วิธีการตรวจจับโดยใช้ ดัชนี HH และตามทฤษฎีการตอบสนองข้อสอบ (IRT) จำนวน 3 วิธี ได้แก่ 1) วิธีการตรวจจับโดยใช้ ดัชนี 2)วิธีการตรวจจับโดยใช้ ดัชนี S1 และ S2 และ 3) วิธีการตรวจจับโดยใช้สถิติ Kappa รวมถึงอภิปรายจุดเด่นและข้อจำกัดของวิธีการตรวจจับแต่ละวิธี
References
ทศทัศน์ บุญตา, สุรศักดิ์ อมรรัตนศักดิ์, และนลินี ณ นคร. (2556). การเปรียบเทียบคุณภาพของแบบสอบคําศัพท์ระหว่างแบบสอบเลือกตอบชนิด 2 ตัวเลือกและแบบสอบถูก-ผิด. วารสารการวัดผลการศึกษา, 30(88), 75-88.
ศิริชัย กาญจนวาสี. (2555). ทฤษฎีการทดสอบแนวใหม่. กรุงเทพฯ: โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
ศิริชัย กาญจนวาสี. (2556). ทฤษฎีการทดสอบแบบดั้งเดิม. กรุงเทพฯ: โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
สมกิจ กิจพูนวงศ์. (2556). การวิเคราะห์คุณภาพแบบทดสอบด้วยโปรแกรม JEMS. วารสารการวัดผลการศึกษา, 30(87), 20-31.
Angoff, W. H. (1974). The Development of Statistical Indices for Detecting Cheaters. Journal of the American Statistical Association, 69(345), 44-49.
Armstrong, R. D., & Shi, M. (2009). A Parametric Cumulative Sum Statistic for Person Fit. Applied Psychological Measurement, 33(5), 391-410.
Belov, D. I. (2011). Detection of Answer Copying Based on the Structure of a High-Stakes Test. Applied Psychological Measurement, 35(7), 495-517.
Belov, D. I., & Armstrong, R. D. (2011). Distributions of the Kullback-Leibler divergence with applications. British Journal of Mathematical and Statistical Psychology, 64, 291-309.
Bliss, T. J. (2012). Statistical Methods to Detect Cheating on Tests: A Review of the Literature. Retrieved from http://www.ncbex.org/assets/media_files/Research/2012Bliss.pdf
Clark, J. M. (2010). Aberrant Response Patterns as a Multidimensional Phenomenon: Using Factor-Analytic Model Comparison to Detect Cheating (Doctoral dissertation). Retrieved from https://kuscholarworks.ku.edu/bitstream/handle/1808/6943/ClarkIII_ku_0099D_11001_DATA_1.pdf?sequence=1
Clark, J. M. (2012). Nested Factor Analytic Model Comparison as a Means to Detect Aberrant Response Patterns. Paper presented at Conference on Statistical Detection of Potential Test Fraud, Kansas, USA. Retrieved from https://cete.ku.edu/sites/cete.drupal.ku.edu/files/docs/2012_test_fraud_presentations/Clark%20-%20Nested%20Factor%20Analytic%20Person%20Fit.pdf
Giordano, C., Subhiyah, R., & Hess, B. (2005, April). An analysis of item exposure and item parameter drift on a take-home recertification exam. Paper presented at Annual meeting of the American Educational Research Association, Montreal, Canada. Retrieved from https://files.eric.ed.gov/fulltext/ED497708.pdf
Harpp, D. N., and Hogan, J. J. (1993). Crime in the class room: detection and prevention of cheating on multiple-choice exams. Journal of Chemical Education, 70(4), 306-311.
He, Q. Meadows, M., & Black, B. (2018). Statistical techniques for studying anomaly in test results: a review of literature. Retrieved from https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/690007/Statistical_techniques_for_studying_anomaly_in_test_results-_a_review_of_literature.pdf
Holland, P. W. (1996). Assessing unusual agreement between the incorrect answer of two examinees using the K-index: Statistical theory and empirical support. ETS research report series, 1996(1), i-41.
Khalid, M. N., Mehmood, Z., & Rehman, N. A. (2011). Statistical Methods for Answer Copying – A Brief Overview. British Journal of Arts and Social Sciences, 1(1), 49-61.
Lewis, C. & Thayer, D. T. (1998). The Power of the K-Index (or PMIR) to Detect Copying. Princeton, NJ: Educational Testing Service.
Van der Linden, W. J., & Sotaridona, L. S. (2006). Detecting answer copying when the regular response process follows a known response model. Journal of educational and behavioral statistics, 31, 283-304.
Romero, M., Riascos, A., & Jara, D. (2012). Answer-copying index comparison and massive heating detection. Retrieved from http://econweb.ucsd.edu/~mtromero/pdfs/papers/omega2.pdf
Shu, Z. (2010). Detecting Test Cheating Using a Deterministic, Gated Item (Doctoral dissertation). Retrieved from https://pdfs.semanticscholar.org/9a05/2278420047883d11352725270fdb6471b57e.pdf
Shu, Z., Henson, R., & Luecht, R. (2013). Using Deterministic, Gated Item Response Theory Model to Detect Test Cheating due to Item Compromise. Psychometrika, 78(3), 481–497.
Sotaridona, L. S., & Meijer, R. R. (2003). Two New Statistics to Detect Answer Copying. Journal of Educational Measurement, 40(1), 53-69.
Sotaridona, L. S., Wibowo, A., & Hendrawan, I. (2012, May). A Parametric Approach to Detect a Disproportionate Number of Identical Item Response on a Test. Paper presented at the Conference on Statistical Detection of Potential Test Fraud, Kansas, USA. Retrieved from https://img1.wsimg.com/blobby/go/71ff6051-7987-4285-89a3-874c4bfcc71c/downloads/1d2lkha9q_16560.pdf?ver=1565205294168
Wollack, J. A. (2004). Detecting Answer Copying on High-Stakes Exams. The Bar Examiner, 73(2), 35-45.
