การประยุกต์ใช้ทฤษฎีการตอบสนองข้อสอบแบบพหุมิติเพื่อกำหนดมาตรฐาน การประเมินระดับความสามารถทางคณิตศาสตร์ของแบบทดสอบรูปแบบผสม AN APPLICATION OF MULTIDIMENSIONAL ITEM RESPONSE THEORY FOR DEVELOPING STANDRAD SETTING OF MATHEMATICAL PROFICIENCY LEVEL FOR THE MIXED FORMAT TEST
Article Sidebar
Main Article Content
บทคัดย่อ
การวิจัยครั้งนี้มีวัตถุประสงค์หลักเพื่อ 1) วิเคราะห์ผลการตอบในการกำหนดมาตรฐาน การประเมินระดับความสามารถทางคณิตศาสตร์ของแบบทดสอบรูปแบบผสม จากการกำหนดเกณฑ์พื้นที่บน Wright Map 2) เปรียบเทียบคุณภาพของการกำหนดมาตรฐานการประเมิน ระหว่างวิธี MLE และ EAP และ 3) ออกแบบมาตรฐานการประเมินระดับความสามารถทางคณิตศาสตร์ของแบบทดสอบรูปแบบผสม กลุ่มผู้สอบ คือนักเรียนระดับชั้นมัธยมศึกษาปีที่ 1 จำนวน 517 คน การศึกษาครั้งนี้ใช้ระเบียบวิธีวิจัยการออกแบบ ตามโมเดลการตอบสนองข้อสอบแบบพหุมิติ MRCML ผลการวิจัยปรากฏดังนี้
1. ผลการวิเคราะห์ผลการตอบในกำหนดมาตรฐานการประเมินระดับความสามารถทางคณิตศาสตร์ของแบบทดสอบรูปแบบผสม โดยการกำหนดเกณฑ์พื้นที่บน Wright Map พบว่า มิติกระบวนการทางคณิตศาสตร์ แบ่งได้ 5 ระดับ 4 จุดตัด จากระดับต่ำสุดไปสูงสุด ที่ -1.41, -0.69, 0.49 และ 1.75 ตามลำดับ และมิติโครงสร้างความคิดรวบยอด แบ่งได้ 5 ระดับ 4 จุดตัด จากระดับต่ำสุดไปสูงสุด ที่ -0.98, -0.14, 0.44 และ 1.70 ตามลำดับ
2. ผลการเปรียบเทียบคุณภาพของกำหนดมาตรฐานการประเมิน พิจารณาหลักฐาน 3 ด้าน พบว่า (1) หลักฐานความเที่ยงโดยพิจารณาจากค่า SEM ทั้งวิธี MLE และวิธี EAP อยู่ในเกณฑ์ที่ยอมรับได้ (2) หลักฐานความตรงโดยพิจารณาหลักฐานความตรงตามเกณฑ์อื่น พบว่า ความสัมพันธ์ระหว่างคะแนนผลสัมฤทธิ์ทางการเรียนวิชาคณิตศาสตร์ (GPA math) กับผลการประเมินระดับความสามารถทางคณิตศาสตร์ในแต่ละมิติ ทั้งวิธี MLE และวิธี EAP มีความสัมพันธ์กันอย่างมีนัยสำคัญทางสถิติ และ (3) หลักฐานที่สะท้อนความถูกต้อง ความเหมาะสม และความเป็นไปได้ในการนำไปใช้ตีความ จากการกำหนดมาตรฐานการประเมิน พบว่าระดับความสามารถทางคณิตศาสตร์ตรงกับความสามารถที่แท้จริงของนักเรียนทั้ง 2 วิธี แต่วิธี MLE มีค่าความสามารถเท่ากัน และคะแนนดิบเท่ากัน จึงส่งผลให้มีระดับความสามารถของผู้เรียนอยู่ในระดับที่สูงกว่า และมีความเหมาะสมกับแนวทางการประเมินเพื่อเรียนรู้ในปัจจุบัน และ ด้านความเป็นไปได้มีกระบวนการ ขั้นตอนที่ง่ายสามารถนำไปปฏิบัติกับบริบทจริงได้ เนื่องจาก วิธี EAP ที่มุ่งเน้นไปที่รูปแบบการตอบของผู้สอบแต่ละคน ไม่ได้มุ่งเน้นไปที่คะแนนรวมในแต่ละมิติ จึงส่งผลให้มีขั้นตอน ที่ซับซ้อน ยุ่งยาก จำเป็นต้องใช้เวลานาน เพื่อนำไปสู่การออกแบบการกำหนดมาตรฐานการประเมิน วิธี MLE จึงเหมาะสมและง่ายต่อการใช้งาน และเวลา
3. แนวทางการออกแบบการกำหนดมาตรฐานการประเมินระดับความสามารถทางคณิตศาสตร์ของแบบทดสอบรูปแบบผสม พบว่า เลือกใช้วิธี MLE ในการกำหนดมาตรฐานการประเมิน มี 4 ขั้นตอน คือ 1) เตรียมข้อมูลคะแนนสอบ 2) วิเคราะห์ค่าความสามารถของผู้สอบและค่า Threshold 3) คำนวนจุดตัดจากสูตร และ 4) นำการประมาณค่าได้จากวิธี MLE แปลงเป็นคะแนนสเกล (
d) คะแนนสเกลระดับความสามารถทางคณิตศาสตร์ = 50+
*10
Article Details
อนุญาตภายใต้เงื่อนไข Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
เจ้าของบทความมิได้คัดลอก หรือละเมิดลิขสิทธิ์ของผู้ใด หากเกิดการละเมิดลิขสิทธิ์ ไม่ว่าวิธีใด หรือการฟ้องร้องไม่ว่ากรณีใด ๆ ที่อาจเกิดขึ้นได้ กองบรรณาธิการวารสารศึกษาศาสตร์ ไม่มีส่วนเกี่ยวข้องทั้งสิ้น ให้เป็นสิทธิ์ของเจ้าของบทความที่จะดำเนินการ
เอกสารอ้างอิง
AERA, APA, & NCME. (2014). Standards for educational and psychological testing (6th ed.). Washington, DC: American Educational Research Association.
Bock, R. D., & Aitkin, M (1981). Marginal maximum likelihood estimation of item parameters: Application of an EM algorithm. Psychometrika volume 46, 443 – 459.
Bock, R. D., & Mislevy, R. J. (1982). Adaptive EAP estimation of ability in a microcomputer environment. Applied Psychological Measurement, 6, 431 - 444.
Chanayota, K., & Chanpen, P. (2018). Developing a framework for assessing competence levels mathematical subjects of algebra: Applications of structural models. Thailand Measurement Evaluation and Research Conference 26th (pp. 289-311). Khon Kaen: Khon Kaen University. [in Thai]
Chinjunthuk, S., & Junpeng, P. (2020). Assessment guidelines for student’s personalized mathematical proficiency development. Journal of Educational Measurement Mahasarakham University, 26(1), 47-64. [in Thai]
Hejri, S., & Jalili, M. (2014). Standard setting in medical education: Fundamental concepts and emerging challenges. Medical journal of the Islamic Republic of Iran, 28, 34.
Jungpeng, P. (2018). Application of multidimensional item response theory for research. Khon Kean: Khonkean University. [in Thai]
Jungpeng, P., Maweang, M., Chinjunthuk, S., Suwannatrai, P., Krotha, J., & Chanayotha, K. (2020). Developing students’ mathematical proficiency level diagnostic tools through information technology in assessment for learning report (Research report). KhonKean: Khonkean University. [in Thai]
Junpeng, P, Inprasitha, M., & Wilson, M. (2018). Modelling of the open-ended items for assessing multiple proficiencies in mathematical problem solving. Turkish Online Journal of Educational Technology, 2(Special Issue), 142-149.
Junpeng, P., Krotha, J., Chanayota, K., Tang, K. N., & Wilson, M. (2019). Constructing progress maps of digital technology for diagnosing mathematical proficiency. Journal of Education and Learning, 8(6), 90-102.
Kanchanawasi, S. (2009). Classical test theory. Bangkok: Chulalongkorn University Press. [in Thai]
National Institute of Educational Testing. (2020). Results testing of O-net M.3 (2019). Retrieved December 17,2020, from www.newonetresult.niets.or.th [in Thai]
Pasiphol, S. (2019). Computerized adaptive testing system in information and communication. Journal of Educational Measurement Mahasarakham University, 25(2), 96 – 11. [in Thai]
Reeves, T. C. (2006). Design research from a technology perspective. In J. van den Akker, K. Gravemeijer, S. McKenney & N. Nieveen (Eds.), Educational design research (pp. 52-66). London: Routledge.
SaiKang, T. (2020). developing a digital tool for assessing multidimensional mathematical proficiency level of the seventh-grade students (Master thesis) Khon Kaen: Khon Kaen University. [in Thai]
Wilson, M. (2005). Constructing measures: An item response modeling approach. Mahwah, N.J: Routledge.
Wongwanich, S. (2020). Design research for education. Bangkok: Chulalongkorn University. [in Thai]
Wu, M. L., Adams, R. J., & Wilson, M. R. (2007). ACER Con Quest: Generalized item response modelling software. Australia: ACER Press.
Wyse, A.E. (2013). Construct Maps as a foundation for standard setting. Measurement Interdisciplinary Research and Perspectives, 11(4), 139-170.
Zheng, Y., & Chang, H. H. (2015). On-the-fly assembled multistage adaptive testing. Applied Psychological Measurement, 39(2), 1–15.
