AI ไม่ได้ชนกำแพง แต่มันฉลาดเกินไปสำหรับการวัดประสิทธิภาพ Anthropic กล่าว
ในขณะที่การแก้ไขตนเองและการมีเหตุผลในตนเองพัฒนาขึ้น LLM ล่าสุดพบความสามารถใหม่ๆ ในอัตราที่ทำให้ยากต่อการวัดผลทุกสิ่งที่พวกเขาสามารถทำได้
Anurag Rana จาก Bloomberg (ซ้าย) พูดคุยกับ Michael Gerstenhaber จาก Anthropic [กลาง] และ Vijay Karunamurthy จาก Scale AI ในระหว่างการประชุมของ Bloomberg Intelligence ในหัวข้อ "Gen AI: สามารถส่งมอบตามคำมั่นสัญญาด้านประสิทธิภาพการทำงานได้หรือไม่"
โมเดลภาษาขนาดใหญ่และรูปแบบอื่น ๆ ของปัญญาประดิษฐ์เชิงกำเนิดได้รับการปรับปรุงอย่างต่อเนื่องที่ "การแก้ไขตัวเอง" ซึ่งเปิดโอกาสให้กับงานประเภทใหม่ ๆ ที่พวกเขาสามารถทำได้ รวมถึง "AI ตัวแทน" ตามที่รองประธานของ Anthropic ผู้จำหน่ายชั้นนำกล่าว ของโมเดล AI
Michael Gerstenhaber หัวหน้าฝ่ายเทคโนโลยี API ของ Anthropic กล่าวว่า "การแก้ไขตนเอง การใช้เหตุผลในตนเองดีขึ้นมาก" ซึ่งทำให้ตระกูล Claude ของ LLM แข่งขันกับ GPT ของ OpenAI กล่าว
“ทุกๆ สองสามเดือน เราจะออกโมเดลใหม่ที่ขยายขอบเขตของสิ่งที่ LLM สามารถทำได้” Gerstenhaber กล่าวระหว่างการสัมภาษณ์เมื่อวันพุธที่นิวยอร์กกับ Anurag Rana จาก Bloomberg Intelligence "สิ่งที่น่าสนใจที่สุดเกี่ยวกับอุตสาหกรรมนี้คือกรณีการใช้งานใหม่จะถูกปลดล็อกทุกครั้งที่มีการแก้ไขโมเดล"
โมเดลล่าสุดประกอบด้วยการวางแผนงาน เช่น วิธีดำเนินงานบนคอมพิวเตอร์เหมือนที่บุคคลทำ เช่น การสั่งพิซซ่าออนไลน์
"การวางแผนขั้นตอนโฆษณาคั่นระหว่างหน้าเป็นสิ่งที่เป็นไปไม่ได้เมื่อวานนี้ แต่เป็นไปได้ในวันนี้" Gerstenhaber กล่าวถึงการทำงานทีละขั้นตอนดังกล่าวให้เสร็จสิ้น
การอภิปราย ซึ่งรวมถึง Vijay Karunamurthy หัวหน้านักเทคโนโลยีของสตาร์ทอัพด้าน AI อย่าง Scale AI นั้น เป็นส่วนหนึ่งของการประชุมตลอดทั้งวันที่จัดโดย Bloomberg Intelligence เพื่อสำรวจหัวข้อ "Gen AI: Can it Deliver on the Productive Promise?"
คำพูดของ Gerstenhaber ชัดเจนเมื่อเผชิญกับข้อโต้แย้งจากผู้ที่ไม่เชื่อเรื่อง AI ว่า Gen AI และ AI ที่เหลือในวงกว้างมากขึ้นคือ "ชนกำแพง" ซึ่งหมายความว่าผลตอบแทนจากโมเดลใหม่แต่ละรุ่นจะน้อยลงเรื่อยๆ
Gary Marcus นักวิชาการด้าน AI เตือนในปี 2022 ว่าการสร้างโมเดล AI ด้วยพารามิเตอร์มากขึ้นเรื่อยๆ จะไม่ให้การปรับปรุงเท่ากับขนาดที่เพิ่มขึ้น มาร์คัสยังคงย้ำคำเตือนนั้นต่อไป
Gerstenhaber กล่าวว่า Anthropic ได้ผลักดันสิ่งที่สามารถวัดได้จากเกณฑ์มาตรฐาน AI ในปัจจุบัน
“แม้ว่าจะดูเหมือนกำลังลดลงในบางด้าน นั่นเป็นเพราะว่าเรากำลังเปิดใช้งานคลาสใหม่ [ของฟังก์ชันการทำงาน] แต่เราได้ทำให้เกณฑ์มาตรฐานอิ่มตัว และความสามารถในการทำงานเก่าๆ” Gerstenhaber กล่าว กล่าวอีกนัยหนึ่ง การวัดว่าโมเดล Gen AI ในปัจจุบันทำอะไรได้บ้างทำได้ยากขึ้น
ทั้ง Gerstenhaber และ Karunamurthy จาก Scale AI ต่างมองว่าการ "ปรับขนาด" Gen AI ซึ่งทำให้โมเดล AI ใหญ่ขึ้น กำลังช่วยพัฒนาโครงข่ายประสาทเทียมที่แก้ไขตัวเองดังกล่าวให้ก้าวหน้ายิ่งขึ้น
“เราเห็นความฉลาดเพิ่มมากขึ้นเรื่อยๆ อย่างแน่นอน” Gerstenhaber กล่าว "เหตุผลหนึ่งที่เราไม่คิดว่าเรากำลังพังกำแพงด้วยการวางแผนและการให้เหตุผลก็คือ เรากำลังเรียนรู้อยู่ในขณะนี้ว่าอะไรคือแนวทางในการวางแผนและการให้เหตุผลในการวางแผนงานเพื่อให้แบบจำลองสามารถ ปรับตัวให้เข้ากับสภาพแวดล้อมใหม่ๆ ที่พวกเขาไม่เคยพยายามจะผ่านไป”
“เราอยู่ในช่วงเริ่มต้นมาก” Gerstenhaber กล่าว "เรากำลังเรียนรู้จากนักพัฒนาแอปพลิเคชันว่าพวกเขากำลังพยายามทำอะไร และสิ่งใดที่ [โมเดลภาษา] ทำได้ไม่ดี และเราสามารถรวมสิ่งนั้นเข้ากับ LM ได้"
Gerstenhaber กล่าวว่าการค้นพบบางอย่างนั้นเกี่ยวข้องกับความรวดเร็วของการวิจัยพื้นฐานที่ Anthropic อย่างไรก็ตาม บางส่วนเกี่ยวข้องกับการเรียนรู้โดยการได้ยินว่า "อุตสาหกรรมใดบอกเราว่าพวกเขาต้องการจากเรา และความสามารถของเราในการปรับตัวให้เข้ากับสิ่งนั้น เรากำลังเรียนรู้อย่างมากแบบเรียลไทม์"
ลูกค้ามักจะเริ่มต้นด้วยโมเดลขนาดใหญ่ จากนั้นบางครั้งก็ลดขนาดลงเป็นโมเดล AI ที่เรียบง่ายเพื่อให้เหมาะกับวัตถุประสงค์ Karunamurthy จาก Scale AI กล่าว "ชัดเจนมากว่าขั้นแรกพวกเขาคิดว่า AI จะฉลาดพอที่จะทำการทดสอบได้ดีหรือไม่ จากนั้นจะเร็วพอที่จะตอบสนองความต้องการของพวกเขาในแอปพลิเคชันหรือไม่ และราคาถูกที่สุดเท่าที่จะเป็นไปได้"