DEVELOPMENT OF A CHATBOT PROTOTYPE FOR ASSESSING NURSING STUDENTS’ HISTORY-TAKING COMPETENCY IN OBJECTIVE STRUCTURED CLINICAL EXAMINATIONS
Article Sidebar
Main Article Content
Abstract
This study employed a research and development design with the objectives of: 1) Developing a chatbot prototype for assessing nursing students’ history-taking competency in the Objective Structured Clinical Examination (OSCE), and 2) Examining the quality of the chatbot prototype used for this assessment. The study was conducted in two phases. Phase 1 involved the development of the chatbot prototype on the LINE application platform. Phase 2 focused on evaluating the quality of the chatbot prototype through a pilot implementation in an OSCE with 30 second-year nursing students. The research instruments consisted of the chatbot prototype, a chatbot quality evaluation form, and a history-taking competency assessment tool for nursing students. All instruments were validated for content validity by experts, and their reliability was examined using Cronbach’s alpha coefficients, which were 0.91 and 0.75, respectively. Data were analyzed using frequency, percentage, mean, and standard deviation. The results revealed that: 1) The chatbot prototype for assessing nursing students’ history-taking competency in OSCEs was developed with a structured framework and content comprising three intents: start conversation, history taking, and end conversation, covering a total of 18 domains; 2) The overall quality of the chatbot prototype was rated at a good level (M = 4.42, S.D. = 0.67); and 3) The majority of nursing students (86.67%) achieved competency assessment scores ranging from 31.85 to 41.64 (M = 36.48, S.D. = 1.58)
Article Details
References
ชญาภรณ์ เอกธรรมสุทธิ์ และคณะ. (2560). การพัฒนารูปแบบการสอบทักษะทางคลินิกโดยใช้ OSCE วิชาปฏิบัติการพยาบาลมารดาทารกและผดุงครรภ์ 2. วารสารวิทยาลัยพยาบาลบรมราชชนนี กรุงเทพ, 33(3), 27-37.
ณภัทร ไชยพราหมณ์ และคณะ. (2563). ระบบตอบกลับและแจ้งข้อมูลทางการศึกษาผ่านไลน์บอท. Journal of Information Science and Technology, 10(2), 59-70.
ดารารัตน์ ชูวงค์อินทร์ และคณะ. (2563). การสื่อสารทางการพยาบาลในยุคการแพทย์เปลี่ยนวิถี. วารสารวิชาการราชวิทยาลัยจุฬาภรณ์, 2(2), 25-38.
ทิพยรัตน์ สำราญ และนพดล ผู้มีจรรยา. (2564). การพัฒนาแชทบอทช่วยสอนการเขียนภาษา HTML ร่วมกับการเรียนรู้แบบปัญหาเป็นฐาน สำหรับนักศึกษาสาขาวิชาคอมพิวเตอร์ศึกษา มหาวิทยาลัยราชภัฏนครปฐม. ใน การประชุมวิชาการระดับชาติครั้งที่ 13 มหาวิทยาลัยราชภัฏนครปฐม. (หน้า 760-768) นครปฐม: มหาวิทยาลัยราชภัฏนครปฐม.
ทิพย์วรรณ ฟูเฟื่อง และคณะ. (2564). การพัฒนาแชทบอทให้ความรู้ด้านดิจิทัลสำหรับนักศึกษาระดับปริญญาตรี. ใน รายงานการวิจัย. มหาวิทยาลัยราชภัฏจันทรเกษม.
ธิดาภรณ์ อ่อนสี และคณะ. (2564). การพัฒนาต้นแบบแชทบอทให้คำปรึกษาเบื้องต้นสำหรับผู้ป่วยโรคมะเร็ง. ใน รายงานการวิจัย. มหาวิทยาลัยราชภัฏวไลยอลงกรณ์.
นงณภัทร รุ่งเนย. (2560). การประเมินสุขภาพแบบองค์รวม. (พิมพ์ครั้งที่ 2). นนทบุรี: โครงการสวัสดิการวิชาการสถาบันพระบรมราชชนก.
พิชญะ พรมลา และสรเดช ครุฑจ้อน. (2563). ผลการใช้แชทบอทช่วยในการจัดการเรียนรู้แบบผสมผสาน สำหรับผู้เรียนระดับประกาศนียบัตรวิชาชีพ ในสถานศึกษาสังกัดสถาบันการอาชีวศึกษาภาคตะวันออกเฉียงเหนือ 1. วารสารครุศาสตร์อุตสาหกรรม, 19(2), 100-109.
รัชนก คชไกร และเวหา เกษมสุข. (2562). การประเมินภาวะสุขภาพสำหรับพยาบาล. (พิมพ์ครั้งที่ 2). กรุงเทพมหานคร: โครงการตำราคณะพยาบาลศาสตร์ มหาวิทยาลัยมหิดล.
อัจฉรา ณรังษี และคณะ. (2565). การสื่อสารไร้ซึ่งการสัมผัสในทางการแพทย์. วารสารวิชาการราชวิทยาลัยจุฬาภรณ์, 4(1), 34-40.
อุไรวรรณ ชัยชนะวิโรจน์ และชญาภา วันทุม. (2560). การทดสอบความตรงตามเนื้อหาของเครื่องมือวิจัย. วารสารการพยาบาลและสุขภาพ, 11(2), 105-111.
Borsci, S. et al. (2021). The Chatbot Usability Scale: the Design and Pilot of a Usability Scale for Interaction with AI-Based Conversational Agents. Personal and Ubiquitous Computing, 26(1), 95-119.
Dewan, P. et al. (2024). Objective structured clinical examination for teaching and assessment: Evidence-based critique. Clinical Epidemiology and Global Health, 25(2), 1-7.
Du, J. et al. (2022). History-taking level and its influencing factors among nursing undergraduates based on the virtual standardized patient testing results: Cross sectional study. Nurse Education Today, 111(4), 1-7.
Hungerbuehler, I. et al. (2021). Chatbot-Based Assessment of Employees’ Mental Health: Design Process and Pilot Implementation. JMIR Formative Research, 5(4), 1-11.
Jelly, P. & Sharma, R. (2017). OSCE vs. TEM Different Approaches to Assess Clinical Skills of Nursing Students. Iran Journal of Nursing and Midwifery Research, 22(1), 78-80.
Jensen, S. (2019). Nursing health assessment: a best practice approach. (3rd ed.). Philadelphia: Wolters Kluwer Health.
Liu, T. et al. (2018). History-taking instruction for baccalaureate nursing students by virtual patient training: A retrospective study. Nurse Education Today, 71, 97-104. https://doi.org/10.1016/j.nedt.2018.09.014.
Oh, P. J. et al. (2015). The effects of simulation-based learning using standardized patients in nursing students: A meta-analysis. Nurse Education Today, 35(5), 6-15.
Radziwill, N. & Benton, M. (2017). Evaluating Quality of Chatbots and Intelligent Conversational Agents. Software Quality Professional, 19(3), 25-36.
Senay, S. et al. (2016). Using Standardized Patients in Nursing Education Effects on Students’ Psychomotor Skill Development. Nurse Educator, 41(2), 1-5.
Sennekamp, M. et al. (2012). Development and validation of the “FrOCK”: Frankfurt Observer Communication Checklist. The Journal of Evidence and Quality in Health Care, 106(8), 595-601.
Shorey, S. et al. (2019). A Virtual Counseling Application Using Artificial Intelligence for Communication Skills Training in Nursing Education: Development Study. Journal of Medical Internet Research, 21(10), 1-13.
Smrekar, M. et al. (2017). Use of the Objective Structured Clinical Examination in Undergraduate Nursing Education. Croatian Nursing Journal, 1(1), 91-102.
Topal, A. D. et al. (2021). Chatbot application in a 5th grade science course. Education and Information Technologies, 26, 6241-6265. https://doi.org/10.1007/s10639-021-10627-8.
Yi, Y. & Kim, K. J. (2025). The feasibility of using generative artificial intelligence for history taking in virtual patients. BMC Research Note, 18(1), 1-5.
Yuan, H. B. (2021). Evaluation of undergraduate students’ nursing assessment and communication skills through an objective structured clinical examination within a high-fidelity simulation using a student-simulated patient. Frontiers of Nursing, 8(2), 159-168.
Zhao, J. et al. (2022). The effects of using virtual patients on the history-taking ability of nursing interns: A non-randomized controlled study. Nurse Education in Practice, 59(1), 1-7.
