โมเดล AI เหล่านี้ให้เหตุผลดีกว่าโมเดลโอเพ่นซอร์ส แต่ก็ยังไม่สามารถเทียบเคียงมนุษย์ได้

การศึกษาทดสอบความสามารถของ AI ในการไขปริศนาภาพ เช่นเดียวกับที่พบในการทดสอบไอคิวของมนุษย์ มันไปไม่ดี

ปัญญาประดิษฐ์ (AI) สามารถผ่านปริศนาการรับรู้ที่ออกแบบมาสำหรับการทดสอบไอคิวของมนุษย์ได้หรือไม่ ผลลัพธ์ถูกผสมกัน

นักวิจัยจากสถาบันวิทยาศาสตร์สารสนเทศวิศวกรรมศาสตร์ USC Viterbi (ISI) ตรวจสอบว่าแบบจำลองภาษาขนาดใหญ่หลายรูปแบบ (MLLM) สามารถแก้ปัญหาการทดสอบภาพเชิงนามธรรมที่ปกติสงวนไว้สำหรับมนุษย์ได้หรือไม่

งานวิจัยนี้นำเสนอในการประชุม Conference on Language Modeling (COLM 2024) ที่เมืองฟิลาเดลเฟียเมื่อสัปดาห์ที่แล้ว โดยได้ทดสอบ "ความสามารถในการให้เหตุผลเชิงนามธรรมแบบอวัจนภาษาของ MLLM แบบโอเพ่นซอร์สและแบบปิด" โดยดูว่าโมเดลการประมวลผลภาพสามารถก้าวไปอีกขั้นและแสดงให้เห็นถึงการใช้เหตุผลหรือไม่ ทักษะเมื่อนำเสนอด้วยภาพปริศนา

"ตัวอย่างเช่น หากคุณเห็นวงกลมสีเหลืองกลายเป็นสามเหลี่ยมสีน้ำเงิน โมเดลสามารถใช้รูปแบบเดียวกันในสถานการณ์อื่นได้หรือไม่" อธิบาย Kian Ahrabian ผู้ช่วยวิจัยในโครงการนี้ ตามรายงานของ Neuroscience News งานนี้ต้องใช้แบบจำลองเพื่อใช้การรับรู้ทางสายตาและการให้เหตุผลเชิงตรรกะที่คล้ายคลึงกับวิธีที่มนุษย์คิด ทำให้เกิดความท้าทายที่ซับซ้อนมากขึ้น

นักวิจัยได้ทดสอบ MLLM ที่แตกต่างกัน 24 แบบกับปริศนาที่พัฒนาจาก Raven's Progressive Matrices ซึ่งเป็นการใช้เหตุผลเชิงนามธรรมแบบมาตรฐาน และแบบจำลอง AI ก็ไม่ประสบความสำเร็จเสียทีเดียว

“พวกเขาแย่มาก พวกเขาไม่สามารถเอาอะไรออกไปจากมันได้เลย” Ahrabian กล่าว แบบจำลองต่างๆ พยายามดิ้นรนทั้งในการทำความเข้าใจภาพและการตีความรูปแบบ

อย่างไรก็ตามผลลัพธ์ก็แตกต่างกันไป โดยรวมแล้ว การศึกษาพบว่าโมเดลโอเพ่นซอร์สมีปัญหาในการไขปริศนาการใช้เหตุผลด้วยภาพมากกว่าโมเดลโอเพ่นซอร์สอย่าง GPT-4V แม้ว่าโมเดลเหล่านั้นจะยังไม่สามารถแข่งขันกับความสามารถทางปัญญาของมนุษย์ก็ตาม นักวิจัยสามารถช่วยให้แบบจำลองบางรุ่นทำงานได้ดีขึ้นโดยใช้เทคนิคที่เรียกว่า Chain of Thought prompting ซึ่งจะแนะนำแบบจำลองทีละขั้นตอนผ่านส่วนการให้เหตุผลของการทดสอบ

คิดว่าโมเดลแบบโอเพนซอร์สทำงานได้ดีกว่าในการทดสอบเช่นนี้ เนื่องจากได้รับการพัฒนาเป็นพิเศษ ได้รับการฝึกด้วยชุดข้อมูลที่ใหญ่กว่า และมีข้อได้เปรียบจากพลังการประมวลผลของบริษัทเอกชน “โดยเฉพาะอย่างยิ่ง GPT-4V ค่อนข้างดีในการให้เหตุผล แต่มันก็ยังห่างไกลจากความสมบูรณ์แบบ” Ahrabian กล่าว

“เรายังมีความเข้าใจที่จำกัดว่าโมเดล AI ใหม่ทำอะไรได้บ้าง และจนกว่าเราจะเข้าใจข้อจำกัดเหล่านี้ เราก็ไม่สามารถทำให้ AI ดีขึ้น ปลอดภัยขึ้น และมีประโยชน์มากขึ้นได้” Jay Pujara รองศาสตราจารย์ด้านการวิจัยและผู้เขียนกล่าว "บทความนี้ช่วยเติมเต็มส่วนที่ขาดหายไปของเรื่องราวที่ AI ต้องดิ้นรน"

การค้นหาจุดอ่อนในความสามารถในการให้เหตุผลของโมเดล AI การวิจัยเช่นนี้สามารถช่วยกำหนดความพยายามในการสรุปทักษะเหล่านั้นในขั้นสุดท้ายได้ เป้าหมายคือการบรรลุตรรกะระดับมนุษย์ แต่ไม่ต้องกังวล ในขณะนี้ ไม่สามารถเทียบได้กับการรับรู้ของมนุษย์