The The Development of Automatic Parallel Essay Question Generation System for Computer Programming Course
Keywords:
Item model, Automatic Item Generation, Parallel Test, Essay QuestionAbstract
The aims of this research were to (1) create an item model for computer programming, (2) develop an automatic parallel-essay question generation system for computer programming, and (3) investigate parallelism between the prototype test and the computer-generated test.The research methodology was divided into three phases. Phase 1 involved creating and evaluating item models, producing 40 models. Phase 2 focused on system development as a web application to generate automatic parallel essay questions and on evaluating the quality of the developed system. Phase 3 consisted of a parallelism investigation: experts evaluated the parallelism of each item between the prototype and computer-generated tests, followed by experimental testing with 30 students enrolled in computer programming at the School of Science and Technology, Sukhothai Thammathirat Open University.
The results revealed that: (1) all created item models for computer programming met the required criteria; (2) the automatic parallel-essay question generation system successfully produced parallel questions that met the development objectives, and the overall system quality was rated at a high level; and (3) expert evaluation confirmed that all items in both tests (prototype and computer-generated) met the parallelism criteria. The experimental results showed that the prototype test had an average difficulty of 0.49, average discrimination of 0.33, variance of 0.23, mean score of 286.30, and reliability of 0.85. The computer-generated test had an average difficulty of 0.47, average discrimination of 0.43, variance of 0.24, mean score of 283.80, and reliability of 0.88. Statistical analysis indicated no significant differences between the two test versions. Based on both expert evaluation and experimental results, the prototype test and the computer-generated test were concluded to be parallel.
Downloads
References
นพวรรณ สว่างบุญ, สมนึก ภัททิยธนี และชูศรี วงศ์รัตนะ. (2554). การสร้างแบบทดสอบคู่ขนานตามรูปแบบฟาเซท วิชาคณิตศาสตร์ เรื่องการแยกตัวประกอบของพหุนามดีกรีสอง ชั้นมัธยมศึกษาปีที่ 2. วารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม, 17(1), 369-378.
ปิยะทิพย์ ประดุจพรม และกนก พานทอง. (2562). การพัฒนาโปรแกรมการสร้างข้อสอบแบบหลายตัวเลือกโดยใช้วิธีการสร้างข้อสอบอัตโนมัติ. วารสารเทคโนโลยีภาคใต้, 12(2), 74-87.
พรวิมล ระวันประโคน และสมบัติ ท้ายเรือคำ. (2560). การพัฒนาแบบทดสอบอัตนัยพหุมิติ. Journal of Community Development Research (Humanities and Social Sciences), 10(4), 13-23
ศศิธร จันทรมหา และเสรี ชัดแช้ม. (2561).การสร้างข้อสอบอัตโนมัติวิชาคณิตศาสตร์ชั้นประถมศึกษาปีที่ 6 โดยใช้โปรแกรมคอมพิวเตอร์. วารสารวิทยาการวิจัยและวิทยาการปัญญา, 16(1),138-149.
สนธยา จารุทรรศน์. (2546). การศึกษาความเป็นคู่ขนานของแบบทดสอบวิชาคณิตศาสตร์ ชั้นประถมศึกษาปีที่ 6 ที่สร้างขึ้นโดยใช้รูปแบบฟาเซท [วิทยานิพนธ์ปริญญามหาบัณฑิต]. มหาวิทยาลัยเชียงใหม่.
สมพิศ กาญจนาเพ็ญกุล. (2554). การสร้างข้อสอบคู่ขนานอิงโดเมนโดยใช้รูปแบบฟาเซท วิชาคณิตศาสตร์เรื่องวงกลม ชั้นมัธยมศึกษาปีที่ 3. วารสารวิชาการศรีปทุม ชลบุรี, 9(4), 56-60
สุขุมาภรณ์ จันทนา และปิยะทิพย์ ประดุจพรม. (2563). การพัฒนาโปรแกรมการสร้างข้อสอบอัตโนมัติวิชาคณิตศาสตร์ ชั้นมัธยมศึกษาปีที่ 3. วารสารการวัดผลการศึกษา, 37(102), 162-177
สุรชัย รักสมบัติ ปิยะทิพย์ ประดุจพรม และกนก พานทอง. (2565). การพัฒนาระบบสร้างข้อสอบอัตโนมัติสำหรับจัดคลังข้อสอบจำแนกตามเนื้อหาและระดับความยาก: การประยุกต์แนวคิดวิศวกรรมการประเมิน. วารสารวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม, 28(1), 311-330
สุรัตนา สังข์หนุน ชนศักดิ์ บ่ายเที่ยง และสุพร รัตนพันธ์. (2554). การพัฒนาโปรแกรมการวิเคราะห์ข้อสอบอัตนัย. วารสารวิชาการพระจอมเกล้าพระนครเหนือ, 21(3), 627-635
อรยา ปรีชาพานิช. (2557). คู่มือเรียนการวิเคราะห์และออกแบบระบบ (System Analysis and Design) ฉบับสมบูรณ์. ไอดีซี พรีเมียร์.
D.R. Whitney and D.L Sabers (1970). Improving Essay Examination III, Use of Item Analysis, Technical Bulletin 11. Mimeographed. Iowa City : University Evaluation and Examination Service.
Gierl, M. J., & Haladyna, T. (Eds.) (2013). Automatic Item Generation: Theory and Practice. Routledge.
Gierl, M. J., & Lai, H. (2012). The Role of Item Models in Automatic Item Generation. International Journal of Testing, 12(3), 273-298.
Gierl, M. J., & Lai, H. (2013). Instructional Topics in Educational Measurement (ITEMS) Module: Using Automated Processes to Generate Test Items. Educational Measurement: Issues and Practice, 32(3), 36-50.
Gierl, M. J., Lai, H., & Turner, S. (2012). Using Automatic Item Generation to Create Multiple-Choice Items for Assessments in Medical Education. Medical Education, 46(8), 757-765.
Gierl, M.J., Zhou, J., & Alves, C. (2008). Developing a Taxonomy of Item Model Types To Promote Assessment Engineering. Journal of Technology, Learning, and Assessment, 7(2), 1-51.
Downloads
Published
Issue
Section
License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
บทความ ข้อความ ภาพประกอบ และตารางประกอบที่ลงพิมพ์ในวารสารเป็นความคิดเห็นส่วนตัวของผู้นิพนธ์ กองบรรณาธิการไม่จำเป็นต้องเห็นตามเสมอไป และไม่มีส่วนรับผิดชอบใดๆ ถือเป็นความรับผิดชอบของผู้นิพนธ์เพียงผู้เดียว
