การวิเคราะห์ความยากง่ายของบทอ่านภาษาอังกฤษในข้อสอบทางการศึกษาระดับชาติ ด้วยโปรแกรมอัตโนมัติโคห์เมตริกซ์ (AN AUTOMATED ANALYSIS OF THE READABILITY OF ENGLISH READING PASSAGES IN THE ORDINARY NATIONAL EDUCATIONAL TEST (O-NET) BY USING COH-METRIX)
Article Sidebar
Main Article Content
Abstract
งานวิจัยฉบับนี้มีวัตถุประสงค์เพื่อวิเคราะห์ระดับความยากง่ายของบทอ่านภาษาอังกฤษในข้อสอบโอเน็ตระดับชั้นมัธยมศึกษาปีที่ 6 จำนวน 25 เรื่อง ตั้งแต่ปี พ.ศ. 2549-2560 โดยใช้กรอบแนวคิดและโปรแกรมการวิเคราะห์ความยากง่ายแบบ Coh-Metrix TERA ที่ประกอบด้วย 5 องค์ประกอบ ได้แก่ 1) คุณลักษณะการเล่าเรื่อง 2) ความเรียบง่ายเชิงโครงสร้าง 3) รูปธรรมของคำศัพท์ 4) ความเชื่อมโยงแบบอ้างถึง 5) และความเชื่อมโยงเชิงลึก ผลการวิจัยพบว่า บทอ่านภาษาอังกฤษในข้อสอบโอเน็ต มีองค์ประกอบที่มีค่าคะแนนความง่ายในระดับสูง 2 องค์ประกอบ ได้แก่ รูปธรรมของคำศัพท์ และความเชื่อมโยงเชิงลึก และมีองค์ประกอบที่มีค่าคะแนนความง่ายอยู่ในระดับปานกลาง 2 องค์ประกอบ ได้แก่ คุณลักษณะการเล่าเรื่องและความเรียบง่ายเชิงโครงสร้าง แต่มีองค์ประกอบที่ที่มีค่าคะแนนความง่ายในระดับต่ำอยู่ 1 องค์ประกอบ คือ ความเชื่อมโยงเชิงอ้างถึง ทั้งนี้ ผลการวิเคราะห์บทอ่านนี้ จะช่วยเป็นแนวทางให้กับครูผู้สอนภาษาอังกฤษหรือโรงเรียนที่ต้องการยกระดับผลการสอบของนักเรียนในการทดสอบทางการศึกษาระดับชาติ (โอเน็ต)
AN AUTOMATED ANALYSIS OF THE READABILITY OF ENGLISH READING PASSAGES IN THE ORDINARY NATIONAL EDUCATIONAL TEST (O-NET) BY USING COH-METRIX
The present study revealed the readability of English reading passages in the Ordinary National Educational Test (O-NET) by using the automated analysis tool called “Coh-Metrix TERA”. Twenty-five reading passages from the O-NET tests of Matthayomsuksa Six during 2006-2017 were analyzed in five dimensions: 1) narrativity, 2) syntactic simplicity, 3) word concreteness, 4) referential cohesion, and 5) deep cohesion. It was found that two dimensions of the passages were at the high level including word concreteness and deep cohesion while two dimensions were at the moderate level including narrativity and syntactic simplicity. However, the referential cohesion was found at the low level. The results of this study are beneficial to stakeholders who plan to forge ahead with the O-NET scores.
Article Details
The owner of the article does not copy or violate any of its copyright. If any copyright infringement occurs or prosecution, in any case, the Editorial Board is not involved in all the rights to the owner of the article to be performed.
References
2. Alderson, J. C. (2000). Assessing reading. Cambridge: Cambridge University Press. doi:10.1017/CBO9780511732935.
3. Anderson, N. J. (1999). Exploring second language reading: Issues and strategies. Boston, MA: Heinle & Heinle.
4. Bachman, L. F., & Palmer, A. S. (1996). Language testing in practice. Oxford: Oxford University Press.
5. Carapella, J. A. (2012). Readability of the common core standards 11-CCR text exemplars: A text sequence reference guide (Master thesis). New York: State University of New York University at Fredonia.
6. Chinda, B. (2013). Cautions in using Bloom’s Taxonomy as a Framework in Developing an English test for O-NET. Journal of Education Naresuan University, 15(3), 103-107. [in Thai]
7.
Crossley, S. A., Greenfield, J., & McNamara, D. S. (2008). Assessing text readability using cognitively based indices. TESOL Quarterly, 42(3), 475–493.
8. Graesser, A. C., McNamara, D. S., & Kulikowich, J. M. (2011). Coh-Metrix: Providing multilevel analyses of text characteristics. Educational Researcher, 40(5), 223-234.
9. Halliday, M. A. K., & Hasan, R. (2014). Cohesion in English. Hoboken: Taylor and Francis.
10. Lenzner, T. (2014). Are readability formulas valid tools for assessing survey question difficulty? Sociological Methods & Research, 43(4), 677-698.
11. Mccarthy Philip, M. Lehenbauer Brian, Hall Charles, D. Duran Nick, Fujiwara Yuko, & McNamara Danielle. (2007). A coh-metrix analysis of discourse variation in the texts of Japanese, American, and British Scientists. Foreign Languages for Specific Purposes, 6.
12. McNamara, D., Graesser, A., McCarthy, P., & Cai, Z. (2014). Automated evaluation of text and discourse with coh-metrix. Cambridge: Cambridge University Press. doi:10.1017/CBO9780511894664
13. McNamara, D. S., Louwerse, M. M., & Graesser, A. C. (2002). Coh-Metrix: Automated cohesion and coherence scores to predict text readability and facilitate comprehension. Memphis, TN.: The University of Memphis.
14. Nagata, R., Masui, F., Kawai, A., & Siino, T. (2004). A method of rating English texts by reading level for Japanese learners of English. The Transactions of the Institute of Electronics, Information and Communication Engineers. J-87-D-II(6), 1329-1338.
15. Nipakornkitti, N., & Adunyarittigun, D. (2018). An investigation of content validity in O-NET (English Subject) for the Upper Secondary Level (Matthayom 6). Journal of Liberal Arts, Thammasat University, 18(1), 57-75. [in Thai]
16. Quispesaravia, A., Perez, W., Cabezudo, M., & Alva-Manchego, F. (2016). Coh-Metrix-Esp: A complexity analysis tool for documents written in Spanish. Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016) (pp. 4694-4698). Slovenia: Grand Hotel Bernardin Conference Center Portorož.
17. Rojanarowan, T., Yutdhana, S., & Rungruang, A. (2017). The readability of secondary and high school level commercial textbooks: a multilevel analysis. National Graduate Study Conference (pp. 58-77). Bangkok: Thammasat University.
18. Scarton, C. E., De Almeida, D. M., & Aluísio, S. M. (2010). Text readability analysis with natural language processing tools: The adaptation of coh-metrix metrics for Portuguese. STIL 2009 - 2009 7th Brazilian Symposium in Information and Human Language Technology, 53-62.
19. Sinjindawong, S., et al. (2009). The analysis of Ordinary National Education Test. Retrieved August 20, 2018, from https://www.niets.or.th [in Thai]
20. Weiner, B. (1990). History of motivational research in education. Journal of educational Psychology, 82(4), 616.
21. Wimmer, R. D., & Dominick, J. R. (2014). Mass media research: An introduction (10th ed.). Belmont, CA.: Wadsworth Publishing Company.
22. Zhang, R. (2015). A Coh-Metrix study of writings by majors of mechanic engineering in the vocational college. Theory and Practice in Language Studies, 5(9), 1929-1934.