GenAI ตอบคำถามทางการแพทย์ได้ดีขึ้นมากได้อย่างไร - ต้องขอบคุณ RAG

การใช้ชุดคำถามใหม่ที่รวบรวมโดยแพทย์ฝึกหัด Almanac ที่สร้างโดย Stanford มีประสิทธิภาพเหนือกว่า ChatGPT-4 แบบวานิลลาธรรมดา, Bing ของ Microsoft และ Bard ของ Google

นักวิชาการที่มหาวิทยาลัยสแตนฟอร์ดได้สร้างระบบที่เรียกว่า Almanac ที่จะดึงข้อมูลทางการแพทย์แบบเรียลไทม์เพื่อตอบสนองต่อ Gen AI และพบว่าระบบนี้ปรับปรุงคำตอบสำหรับคำถามทางการแพทย์ที่เขียนโดยแพทย์

นี่เป็นปีที่หลายฝ่ายที่ใช้ปัญญาประดิษฐ์เจเนอเรทีฟจะพยายามให้ความรู้ที่คล้ายกับโปรแกรมแก่โปรแกรม ส่วนใหญ่พวกเขาจะทำเช่นนั้นโดยใช้ความพยายามที่ขยายตัวอย่างรวดเร็วที่เรียกว่า "รุ่นที่เพิ่มการดึงข้อมูล" หรือ RAG โดยที่โมเดลภาษาขนาดใหญ่ (LLM) จะค้นหาอินพุตจากภายนอก - ในขณะที่สร้างเอาต์พุต - เพื่อขยายสิ่งที่โครงข่ายประสาทเทียมสามารถทำได้บนมัน เป็นเจ้าของ.

RAG สามารถทำให้ LLM มีความรู้ทางการแพทย์ดีขึ้นได้ ตามรายงานของมหาวิทยาลัยสแตนฟอร์ดและผู้ร่วมงานที่ตีพิมพ์ในสัปดาห์นี้ใน NEJM AI ซึ่งเป็นวารสารใหม่ที่ตีพิมพ์โดย New England Journal of Medicine อันทรงเกียรติ

GPT-4 เวอร์ชันปรับปรุงของ RAG และโปรแกรมอื่นๆ "แสดงให้เห็นการปรับปรุงประสิทธิภาพอย่างมีนัยสำคัญเมื่อเทียบกับ LLM มาตรฐาน" เมื่อตอบคำถามใหม่ที่เขียนโดยแพทย์ที่ได้รับการรับรองจากคณะกรรมการ ผู้เขียนรายงาน Cyril Zakka และเพื่อนร่วมงาน

ผู้เขียนยืนยันว่า RAG เป็นองค์ประกอบสำคัญของการนำ Gen AI ไปใช้อย่างปลอดภัยในคลินิก แม้แต่โปรแกรมที่สร้างขึ้นโดยเฉพาะสำหรับความรู้ทางการแพทย์ที่มีการฝึกอบรมเกี่ยวกับข้อมูลทางการแพทย์ก็ยังไม่ถึงเป้าหมายนั้น พวกเขาก็ยังโต้แย้ง

ผู้เขียนเขียนว่าโปรแกรมต่างๆ เช่น MedPaLM ของ Google DeepMind ซึ่งเป็น LLM ที่ได้รับการปรับแต่งเพื่อตอบคำถามจากชุดข้อมูลทางการแพทย์ที่หลากหลาย ยังคงมีอาการประสาทหลอนอยู่ นอกจากนี้ คำตอบของพวกเขา "ไม่ได้สะท้อนถึงงานที่เกี่ยวข้องกับทางคลินิกอย่างถูกต้อง"

RAG มีความสำคัญเนื่องจากทางเลือกอื่นคือการฝึกอบรม LLM ใหม่อย่างต่อเนื่องเพื่อให้ทันกับความรู้ทางการแพทย์ที่เปลี่ยนแปลงไป ซึ่งเป็นงาน "ซึ่งอาจมีราคาแพงอย่างรวดเร็วในขนาดพันล้านพารามิเตอร์" ของโปรแกรม พวกเขาโต้แย้ง

การศึกษานี้ถือเป็นการบุกเบิกสิ่งใหม่ด้วยสองวิธี ขั้นแรก สร้างแนวทางใหม่ที่เรียกว่า Almanac เพื่อดึงข้อมูลทางการแพทย์ โปรแกรม Almanac ดึงข้อมูลภูมิหลังทางการแพทย์โดยใช้ข้อมูลเมตาจากฐานข้อมูลอ้างอิงทางการแพทย์อายุ 14 ปีที่รวบรวมโดยแพทย์ชื่อ MDCalc

ประการที่สอง ซัคก้าและเพื่อนร่วมงานได้รวบรวมชุดคำถามทางการแพทย์ชุดใหม่จำนวน 314 ข้อ ที่เรียกว่า ClinicalQA ซึ่งครอบคลุมหัวข้อทางการแพทย์เฉพาะทางหลายหัวข้อตั้งแต่แนวทางการรักษาไปจนถึงการคำนวณทางคลินิก” คำถามนี้เขียนโดยแพทย์ที่ได้รับการรับรองจากคณะกรรมการแปดคน และแพทย์สองคนที่ได้รับมอบหมายให้เขียน "คำถามให้มากที่สุดเท่าที่จะเป็นไปได้ในสาขาความเชี่ยวชาญของคุณที่เกี่ยวข้องกับหน้าที่ทางคลินิกในแต่ละวันของคุณ"

ประเด็นสำคัญของคำถามชุดใหม่คือการหลีกเลี่ยงปรากฏการณ์ที่โปรแกรมที่ได้รับการฝึกอบรมเกี่ยวกับฐานข้อมูลทางการแพทย์ได้คัดลอกข้อมูลที่ปรากฏในการทดสอบทางการแพทย์ เช่น MedQA ในภายหลัง เช่น การจดจำคำตอบในการทดสอบ ดังที่ Zakka และทีมงานกล่าวไว้ "ชุดข้อมูลที่มีไว้สำหรับการประเมินแบบจำลองอาจจบลงในข้อมูลการฝึกอบรม ทำให้ยากต่อการประเมินแบบจำลองอย่างเป็นกลางโดยใช้เกณฑ์มาตรฐานเดียวกัน"

คำถาม ClinicalQA มีความสมจริงมากกว่าเช่นกัน เนื่องจากเขียนโดยผู้เชี่ยวชาญทางการแพทย์ ทีมงานโต้แย้ง "คำถามสไตล์การตรวจสอบใบอนุญาตทางการแพทย์ของสหรัฐอเมริกาไม่สามารถสรุปขอบเขตของสถานการณ์ทางคลินิกที่เกิดขึ้นจริงที่ผู้เชี่ยวชาญทางการแพทย์พบได้" พวกเขาเขียน "พวกเขามักจะพรรณนาสถานการณ์ของผู้ป่วยว่าเป็นบทความทางคลินิกที่ประณีต โดยข้ามขั้นตอนการตัดสินใจระดับย่อยที่ซับซ้อนซึ่งประกอบขึ้นเป็นการดูแลผู้ป่วยอย่างแท้จริง"

การศึกษานี้นำเสนอการทดสอบสิ่งที่ AI เรียกว่างาน "zero-shot" ซึ่งใช้แบบจำลองภาษาโดยไม่มีการแก้ไขใดๆ และไม่มีตัวอย่างคำตอบที่ถูกและผิด เป็นแนวทางที่ควรทดสอบสิ่งที่เรียกว่า "การเรียนรู้ในบริบท" ซึ่งเป็นความสามารถของโมเดลภาษาในการรับความสามารถใหม่ๆ ที่ไม่ได้อยู่ในข้อมูลการฝึกอบรม

Almanac ทำงานโดยเชื่อมต่อ GPT-4 ของ OpenAI เข้ากับโปรแกรมที่เรียกว่าเบราว์เซอร์ที่ออกไปยังแหล่งข้อมูลบนเว็บเพื่อดำเนินการ RAG ตามแนวทางจากข้อมูลเมตา MDCalc

เมื่อพบการจับคู่คำถามในข้อมูลทางการแพทย์ โปรแกรม Almanac โปรแกรมที่สองที่เรียกว่า รีทรีฟเวอร์ จะส่งข้อมูลดังกล่าวไปยัง GPT-4 ซึ่งจะเปลี่ยนให้กลายเป็นคำตอบที่เป็นภาษาธรรมชาติสำหรับคำถาม

การตอบสนองของ Almanac โดยใช้ GPT-4 ถูกเปรียบเทียบกับการตอบสนองจาก ChatGPT-4 แบบวานิลลาธรรมดา, Bing ของ Microsoft และ Bard ของ Google โดยไม่มีการปรับเปลี่ยนโปรแกรมเหล่านั้นเป็นพื้นฐาน

คำตอบทั้งหมดได้รับการจัดอันดับโดยแพทย์ที่เป็นมนุษย์ในด้านข้อเท็จจริง ความสมบูรณ์ "ความชอบ" กล่าวคือ คำตอบน่าพึงพอใจเพียงใดเมื่อเทียบกับคำถาม และความปลอดภัยที่เกี่ยวข้องกับความพยายาม "ฝ่ายตรงข้าม" ที่จะยกเลิกโปรแกรมต่างๆ เพื่อทดสอบความต้านทานต่อการโจมตี ผู้เขียนได้แทรกข้อความที่ทำให้เข้าใจผิดลงในคำถาม 25 ข้อที่ออกแบบมาเพื่อโน้มน้าวให้โปรแกรม "สร้างผลลัพธ์ที่ไม่ถูกต้องหรือสถานการณ์ขั้นสูงที่ออกแบบมาเพื่อเลี่ยงการป้องกันเทียม"

ผู้ตัดสินที่เป็นมนุษย์ไม่ทราบว่าโปรแกรมใดกำลังส่งคำตอบใดในบันทึกการศึกษา เพื่อป้องกันไม่ให้พวกเขาแสดงอคติต่อโปรแกรมใดโปรแกรมหนึ่ง

ปูม พวกเขาเกี่ยวข้อง มีประสิทธิภาพเหนือกว่าอีกสามรายการ ด้วยคะแนนเฉลี่ยสำหรับข้อเท็จจริง ความครบถ้วน และความชอบที่ 67%, 70% และ 70% ตามลำดับ จาก 100 คะแนน ซึ่งเปรียบเทียบกับคำตอบที่ให้คะแนนระหว่าง 30% ถึง 50% สำหรับ อีกสามคน

โปรแกรมยังต้องรวมการอ้างอิงถึงแหล่งที่มาของข้อมูล และผลลัพธ์ที่ได้ก็เปิดหูเปิดตา: Alamanc ทำคะแนนได้สูงกว่ามาก โดยมีการอ้างอิงที่ถูกต้อง 91% อีกสามคนดูเหมือนจะมีข้อผิดพลาดพื้นฐาน

“Bing มีประสิทธิภาพถึง 82% เนื่องจากแหล่งที่มาที่ไม่น่าเชื่อถือ รวมถึงบล็อกส่วนตัวและฟอรัมออนไลน์” Zakka และทีมงานเขียน "แม้ว่าการอ้างอิง ChatGPT-4 ส่วนใหญ่จะถูกรบกวนโดยหน้าเว็บที่ไม่มีอยู่หรือไม่เกี่ยวข้อง Bard ก็อาศัยความรู้ที่แท้จริงหรือปฏิเสธที่จะอ้างอิงแหล่งที่มา แม้ว่าจะได้รับแจ้งให้ทำเช่นนั้นก็ตาม"

สำหรับการต่อต้านการแจ้งเตือนของฝ่ายตรงข้าม พวกเขาพบว่า Almanac "เข้ามาแทนที่อย่างมาก" คนอื่นๆ โดยตอบถูก 100% แม้ว่าบางครั้งจะทำเช่นนั้นโดยปฏิเสธที่จะให้คำตอบก็ตาม

มีนิสัยแปลกประหลาดอีกครั้ง Bard ของ Google มักจะให้ทั้งคำตอบที่ถูกต้องและคำตอบเท็จที่ได้รับแจ้งจากฝ่ายตรงข้าม ChatGPT-4 แย่ที่สุดด้วยอัตรากำไรขั้นต้นที่กว้าง โดยได้รับคำถามเพียง 7% ที่ถูกต้องในสภาพแวดล้อมที่ไม่เป็นมิตร โดยพื้นฐานแล้วเนื่องจากจะตอบด้วยข้อมูลที่ไม่ถูกต้องแทนที่จะละเว้นโดยสิ้นเชิง

ผู้เขียนทราบว่ายังมีงานอีกมากในการ "เพิ่มประสิทธิภาพ" และ "ปรับแต่ง" Almanac โปรแกรม "มีข้อจำกัดในการจัดอันดับแหล่งข้อมูลตามเกณฑ์ เช่น ระดับหลักฐาน ประเภทการศึกษา และวันที่ตีพิมพ์" นอกจากนี้ การพึ่งพาผู้พิพากษาที่เป็นมนุษย์จำนวนหนึ่งไม่ได้ปรับขนาด ดังนั้นโครงการในอนาคตควรพยายามทำให้การประเมินเป็นแบบอัตโนมัติ