คิดว่า AI สามารถแก้ปัญหาทางธุรกิจของคุณได้ทั้งหมดหรือไม่? การศึกษาใหม่ของ Apple แสดงให้เห็นเป็นอย่างอื่น

Apple เพิ่งเปิดเผยช่องโหว่สำคัญในความสามารถของ AI ดูว่าเหตุใด LLM ยังคงไม่สามารถจัดการกับการใช้เหตุผลที่ซับซ้อนได้ และสิ่งที่สำคัญต่อกระบวนการตัดสินใจของคุณ

ย้อนกลับไปในโรงเรียนวิศวกรรมศาสตร์ ฉันมีศาสตราจารย์คนหนึ่งที่เคยประสบความสำเร็จในงานมอบหมายที่ทำให้เข้าใจผิด เขาจะถามคำถามที่มีองค์ประกอบที่เกี่ยวข้องอย่างน่าสงสัยกับหัวข้อที่กำลังเผชิญอยู่ โดยหวังว่ามันจะทำให้เราหลุดโฟกัสหรือจะทำให้เสียสมาธิจนส่งผลให้เราตกหลุมกระต่ายของการค้นคว้าที่ไม่จำเป็น

นี่คือตัวอย่างคำถามประเภทที่เขาจะถาม คำถามของเขายากกว่ามากและเน้นไปที่วิศวกรรม แต่ฉันใช้คำถามนี้ตรงทั้งหมดเพราะเกี่ยวข้องโดยตรงกับการศึกษาที่เราจะพูดคุยกัน:

Oliver เก็บกีวีได้ 44 ผลในวันศุกร์ จากนั้นเขาก็เก็บกีวีได้ 58 ผลในวันเสาร์ ในวันอาทิตย์ เขาเก็บกีวีได้เป็นสองเท่าของจำนวนกีวีที่เขาเก็บในวันศุกร์ แต่ห้าผลนั้นน้อยกว่าค่าเฉลี่ยเล็กน้อย Oliver มีกี่กีวี?

เป้าหมายของอาจารย์ของฉันคือการช่วยให้เราระบุสิ่งที่เกี่ยวข้องกับโครงงานนี้ และช่วยให้เราเรียนรู้ที่จะเพิกเฉยหรือกันสิ่งรบกวนธรรมชาติทั้งหมดที่มาพร้อมกับการทำวิจัย

ในตอนแรก มันเป็นบทเรียนสำหรับวิศวกรปีแรกที่เจ็บปวดมาก แต่ท้ายที่สุดก็มีประโยชน์มาก

ฉันนึกถึงความท้าทายนี้เนื่องจากรายงานการวิจัยที่เผยแพร่ในเดือนนี้จากทีม Apple AI และนักวิจัยการเรียนรู้ของเครื่องที่นำโดย Samy Bengio ผู้อำนวยการอาวุโส และ Oncel Tuzel นักวิทยาศาสตร์ที่มีชื่อเสียง

บทความของพวกเขาเรื่อง "GSM-Symbolic: การทำความเข้าใจข้อจำกัดของการใช้เหตุผลทางคณิตศาสตร์ในแบบจำลองภาษาขนาดใหญ่" รวมถึงปัญหาทางคณิตศาสตร์ที่แสดงไว้ข้างต้น หากคุณดูคำถาม วลี "แต่ห้าอันนั้นน้อยกว่าค่าเฉลี่ยเล็กน้อย" ไม่น่าจะมีผลกระทบต่อจำนวนกีวีโดยรวม

นักวิจัยพบว่าโมเดลภาษาขนาดใหญ่ (LLM) เช่น GPT-40-mini, GPT-40, o1-mini และ o1-preview ของ OpenAI ตกเป็นเหยื่อของคำถามที่เกี่ยวข้องกับการให้เหตุผล ซึ่งแยกจากการประมวลผลข้อความระดับสูงมาก

พูดตามตรงแล้ว ฉันรันคำถามนั้นกับ ChatGPT GPT-4o ซึ่งตอบถูก ฉันจะไม่ถือว่าข้อสรุปของ Apple ไม่ถูกต้อง เพียงแต่ว่า ChatGPT เท่านั้นที่จัดการเรื่องนี้ได้อย่างถูกต้อง

ในทางกลับกัน เราทุกคนรู้ดีว่า AI สามารถตอบคำถามได้อย่างง่ายดายพอๆ กันด้วยการพูดคุยถึงจำนวนนกกีวีจริงๆ ที่เดินเตาะแตะในป่ายามค่ำคืนของ Otorohanga ประเทศนิวซีแลนด์

ดังนั้นจึงสมเหตุสมผลที่ข้อสรุปสุดท้ายของการวิจัยของ Apple ก็คือ LLM ไม่สามารถให้เหตุผลที่แท้จริงได้ และอาศัยการจับคู่รูปแบบแทน

ในระดับหนึ่ง นี่เป็นบทสรุปที่บอกเรา-บางอย่าง-เรา-ไม่รู้ ถึงกระนั้นก็ตาม เป็นการดีที่นักวิจัยที่มีความสามารถที่ Apple นำมาใช้กับปัญหานี้ ยืนยันเรื่องนี้ในทางวิทยาศาสตร์ และด้วยเหตุนี้ เรามาดำดิ่งสู่วิทยาศาสตร์กันดีกว่า

ชุดข้อมูลเปรียบเทียบ

ปรากฎว่า การขอให้ ChatGPT แปลรัฐธรรมนูญเป็นภาษาที่ละเมิดลิขสิทธิ์นั้นไม่ใช่วิธีทดสอบ LLM ที่ครอบคลุม แม้ว่าจะส่งผลให้เกิดช่วงเวลาดีๆ ก็ตาม

ในทางกลับกัน นักวิจัยได้พัฒนากรอบการทดสอบ AI ที่น่าขบขันน้อยลงแต่มีประสิทธิภาพมากกว่า ซึ่งออกแบบมาเพื่อวัดว่าแบบจำลองภาษาประเมินปัญหาทางคณิตศาสตร์ได้ดีเพียงใด

ในปี 2021 OpenAI ได้เปิดตัว GSM8K ซึ่งเป็นชุดข้อมูลเปรียบเทียบที่ใช้ในการประเมินเหตุผลของ LLM ตัวย่อบอกว่าชุดข้อมูลประกอบด้วยอะไรบ้าง: โจทย์คณิตคณิตศาสตร์ระดับประถมศึกษา 8,000 ข้อ

ชุดข้อมูลเมื่อนำไปใช้กับ AI จะช่วยให้นักวิจัยระบุได้ว่า AI มีความแม่นยำเพียงใด และจะสามารถแก้ปัญหาการใช้เหตุผลและคณิตศาสตร์พื้นฐานได้หรือไม่ GSM8K ถือเป็นมาตรฐานทองคำสำหรับการประเมินความสามารถในการให้เหตุผลทางคณิตศาสตร์ของ LLM โดยเฉพาะอย่างยิ่งปัญหาทางคณิตศาสตร์และคำ

เนื่องจากเป็นโอเพ่นซอร์ส GSM8K จึงถูกนำมาใช้กันอย่างแพร่หลายในด้าน AI (ทั้งภายในและภายนอก OpenAI) เพื่อทดสอบงานที่ต้องใช้เหตุผลทีละขั้นตอน มีโครงสร้างปัญหาที่ชัดเจน ซึ่งทำให้เป็นเครื่องมือที่เชื่อถือได้สำหรับนักวิจัย AI ที่ทำการทดสอบ LLM ในระยะเริ่มต้น

ในทางกลับกัน นักวิจัยของ Apple พิจารณาว่าชุดข้อมูลนี้มีข้อบกพร่องขั้นพื้นฐาน พวกเขาโต้แย้งว่าผลการทดสอบจาก GSM8K อาจนำเสนอมุมมองเชิงบวกมากเกินไปเกี่ยวกับความสามารถของ LLM ที่กำหนด นั่นเป็นเพราะว่าชุดทดสอบนั้นอิงจากคำถามคงที่และคุ้นเคยซึ่งอาจใช้ในชุดการฝึกอบรมของ LLM

บทความที่อ้างถึงข้างต้นแนะนำชุดข้อมูลใหม่ GSM-Symbolic ซึ่งนักวิจัยกล่าวว่าสามารถเอาชนะข้อจำกัดใน GSM8K ได้ GSM-Symbolic นำเสนอปัญหาที่หลากหลายและซับซ้อนมากขึ้น ซึ่งทำให้ LLM ไม่สามารถทำงานกับข้อมูลการฝึกอบรมที่เก็บไว้ได้

รายงานระบุว่าบางรุ่น เช่น Gemma2-9B ของ Google แสดงผลลัพธ์ที่แตกต่างกันอย่างเห็นได้ชัดโดยใช้ชุดข้อมูลเปรียบเทียบทั้งสองชุด Gemma2-9B สามารถแก้ไขปัญหาในชุดข้อมูล GSM8K ของ OpenAI ได้อย่างถูกต้อง แต่ความแม่นยำลดลง 15% เมื่ออยู่ภายใต้ชุดการทดสอบ GSM-Symbolic ของ Apple

นักวิจัยของ Apple พบว่าเมื่อคำถามมีความซับซ้อนมากขึ้น (พวกเขาเรียกว่า "ส่วนเสริม") ความแม่นยำก็ลดลง เมตริกนี้ไม่แสดงใน GSM8K เนื่องจากข้อมูลได้รับการแก้ไขแล้ว จากข้อมูลของ Apple โมเดลที่แสดงความแม่นยำในช่วง 80-90% ที่สูงอาจลดลงเหลือช่วง 40% เมื่อจำนวนส่วนคำสั่งเพิ่มขึ้น

Apple ยืนยันว่ามีความเสี่ยงที่ข้อมูลจะปนเปื้อนใน GSM8K ซึ่งหมายความว่าโมเดลดังกล่าวอาจได้รับการฝึกอบรมในส่วนต่างๆ ของชุดข้อมูล GitHub ซึ่งโฮสต์ชุดข้อมูล GSM8K ถูกนำมาใช้เพื่อช่วยฝึกอบรม LLM

การใช้ GitHub สำหรับข้อมูลการฝึกอบรมดูเหมือนไม่ใช่ความคิดที่ดีสำหรับฉันเลย ฉันมีโค้ดเก่าอยู่ในที่เก็บ GitHub ของฉัน และฉันก็ตระหนักดีว่ามันบั๊กแค่ไหน ฉันไม่ต้องการใช้สิ่งนั้นเป็นโค้ดตัวอย่างในการฝึกอบรมนักเรียนของฉัน ไม่ต้องพูดถึงการใช้มันเพื่อสอน AI ที่เราพึ่งพาสำหรับคำตอบที่ดี

ไม่ว่าในกรณีใด GSM-Symbolic ของ Apple ดูเหมือนจะไม่ใช่โอเพ่นซอร์ส ดังนั้นในขณะที่นักวิจัยของ Apple ยืนยันว่านี่เป็นทางออกที่ดีกว่าสำหรับการทดสอบ LLM แต่คุณจะไม่สามารถเข้าถึงได้ เว้นแต่คุณจะทำงานที่ Apple ในกลุ่มที่ถูกต้องและมีหกสี

มันหมายความว่าอะไร?

ส่วนหนึ่งของฉันสงสัยเกี่ยวกับแรงจูงใจของ Apple สำหรับบทความนี้ โดยที่ดูเหมือนว่าการเปรียบเทียบการแข่งขันที่เนิร์ดสุด ๆ ที่จะเอาชนะ Open Al โดยเฉพาะอย่างยิ่งเมื่อ Apple ออกมาพร้อมกับข้อเสนอ Al ของตัวเอง

ในทางกลับกัน Apple กำลังวางแผนที่จะรวม ChatGPT ไว้ในข้อเสนอ Apple Intelligence ดังนั้นจึงดูไม่เหมาะสมที่จะถือว่าความโอหังในการแข่งขันที่แท้จริงเป็นเหตุผลในการผลิตรายงานประเภทนี้ ดังนั้น ฉันเชื่อว่าแรงจูงใจอาจเป็นเพียงสิ่งที่พวกเขาดูเหมือน: ความสนใจทางวิชาการอย่างแท้จริงในการปรับปรุงความเข้าใจเกี่ยวกับประสิทธิภาพและความแม่นยำของโมเดลการเรียนรู้

การวิจัยพิสูจน์สิ่งที่เรารู้มาโดยตลอด: LLM ทำงานได้ดีกว่าในการจับคู่รูปแบบมากกว่าการใช้เหตุผลเชิงตรรกะ พวกเขาใช้การจดจำรูปแบบในการฝึกอบรมและการประมวลผล แทนที่จะหักตามจริง ความจริงที่ว่าข้อมูลจำนวนมากในโลกสามารถแสดงให้เห็นได้อย่างน่าเชื่อ โดยไม่ใช้การจดจำรูปแบบนั้น เป็นเรื่องที่น่าตกใจ แต่ก็ยังไม่เข้าใจคอมพิวเตอร์ที่สามารถให้เหตุผลได้จริงๆ

การใช้เหตุผลทางคณิตศาสตร์ไม่แน่นอน ตัวอย่างที่นักวิจัยของ Apple ใช้เป็นการทดสอบที่ล้มเหลวผ่านการทดสอบระหว่างการทดสอบของฉัน ไม่ได้หมายความว่าทีมของ Apple ผิด แต่เป็นข้อสันนิษฐานว่า AI นั้นไม่สอดคล้องกันและพัฒนาอยู่ตลอดเวลา ดังนั้น การใช้ LLM เพื่อให้ได้ผลลัพธ์ทางคณิตศาสตร์จึงไม่จำเป็นต้องเป็นแนวทางปฏิบัติเสมอไป หากคุณต้องการคณิตศาสตร์ที่ดี ให้ใช้อัลกอริธึมแบบเก่าและวิธีการทดสอบและตรวจสอบทางวิศวกรรมซอฟต์แวร์แบบดั้งเดิม หรืออย่างน้อยก็ตรวจสอบผลลัพธ์ที่ AI มอบให้คุณอีกครั้ง

ข้อกังวลอีกประการหนึ่งสำหรับผู้ที่พิจารณาใช้ข้อมูล LLM ในสถานการณ์การผลิตคือความแม่นยำลดลงเมื่อความซับซ้อนเพิ่มขึ้น แม้ว่ารูปแบบดังกล่าวจะสะท้อนถึงวิธีที่มนุษย์จัดการกับข้อมูลได้อย่างถูกต้อง (ยิ่งมีความซับซ้อนมากเท่าไร เราก็ยิ่งปวดหัวมากขึ้นเท่านั้น) ความแตกต่างระหว่าง LLM กับเราก็คือ เราจะฝึกการใช้เหตุผลตามความเป็นจริง

แล้วผลการวิจัยในรายงานของ Apple มีผลกระทบทางธุรกิจอย่างไร นั่นคือต่อไป

ผลกระทบทางธุรกิจและการลดความเสี่ยง

ความหมายจะชัดเจนเว้นแต่คุณจะมอง AI ผ่านแว่นตาสีกุหลาบ AI เป็นเครื่องมือที่เป็นประโยชน์ แต่อย่าพึ่งพา AI เพื่อจัดการกับการตัดสินใจที่ซับซ้อน มันไม่ฉลาดเลยที่จะสละความรับผิดชอบทั้งหมดต่อ AI หรือ LLM เพราะมันเป็นเทคโนโลยีใหม่ที่มีแนวโน้ม

ฉันได้แสดงมาสองสามครั้งแล้วว่าฉันใช้ AI เพื่อช่วยให้ฉันให้ข้อมูลเชิงลึกโดยอิงจากข้อมูลองค์กรได้อย่างไร แต่ฉันมักจะทดสอบผลลัพธ์ด้วยการคิดผ่านการวิเคราะห์เสมอ เพื่อดูว่ามันสอดคล้องกับความรู้ภายในของฉันหรือไม่ และในท้ายที่สุด - - การตัดสินใจและการตัดสินใจของตัวเอง AI เป็นเครื่องมือสนับสนุนที่น่าสนใจ แต่ภูมิหลังด้านการจัดการของฉันเองเป็นกุญแจสำคัญในการตัดสินใจสำหรับธุรกิจของตัวเอง

AI เต็มไปด้วยศักยภาพ ฉันใช้มันเพื่อช่วยฉันในการเขียนโปรแกรมเป็นต้น ฉันแน่ใจว่า ChatGPT ประหยัดเวลาในการเขียนโปรแกรมให้ฉันได้หนึ่งเดือนในปีที่แล้ว แต่ฉันไม่ได้พึ่งพา AI ในการออกแบบโค้ดของฉันหรือเขียนส่วนตรรกะทางธุรกิจ ฉันใช้มันเพียงเพื่อให้อินเทอร์เฟซกับ API ทั่วไปซึ่งฉันอาจต้องใช้เวลาในการค้นหาและทดสอบได้ง่าย

อย่าคาดหวังให้ AI มาแทนที่ผู้เชี่ยวชาญในประเด็นของคุณ AI สามารถสนับสนุนความพยายามของผู้เชี่ยวชาญที่เป็นมนุษย์ได้ แต่เมื่อพูดถึงการใช้เหตุผลเชิงลึกหรือการคิดเชิงวิพากษ์ AI นั้นผิดพลาดได้ มองแบบนี้: หากคุณไม่ไว้ใจน้องใหม่ในวิทยาลัยหรือลูกของเพื่อนบ้านในการตัดสินใจเกี่ยวกับธุรกิจของคุณ ก็อย่าไว้ใจ AI

เรารู้ว่า AI มีอาการประสาทหลอน เรารู้ว่าบางครั้งพวกเขาก็ได้ข้อสรุปที่สรุปโดยสมบูรณ์จากข้อมูลที่พวกเขาได้รับ หากธุรกิจของคุณอาศัยข้อมูลในการตัดสินใจ อย่าคิดว่า AI จะให้ข้อมูลที่ถูกต้องแก่คุณ

นั่นนำเราไปสู่การลดความเสี่ยง: ลงทุนใน AI อย่างระมัดระวัง มองหาพื้นที่เชิงกลยุทธ์ที่เป็นเลิศ

ตัวอย่างเช่น ในงานประจำวันของฉัน ฉันพบว่า AI ให้ผลตอบแทนสูงในความสามารถในการแก้ไขภาพของ Photoshop เพื่อลบพื้นหลัง หรือ gimbal ที่เล็งกล้องมาที่ฉันไม่ว่าฉันจะอยู่ที่ไหนในห้องเมื่อบันทึก YouTube วิดีโอ ฉันยังใช้มันสำหรับข้อความเชิงสร้างสรรค์และรูปภาพเชิงสร้างสรรค์ แต่ไม่เคยใช้สำหรับโครงการที่มีความสำคัญต่อภารกิจ

ตรวจสอบให้แน่ใจว่าคุณมีระบบเพื่อให้แน่ใจว่าการกำกับดูแลของมนุษย์เกิดขึ้นจริงและไม่ลื่นไถล คุณต้องเกี่ยวข้องกับสติปัญญาของมนุษย์ในวงอย่างต่อเนื่อง โดยเฉพาะอย่างยิ่งสำหรับปฏิบัติการที่สำคัญ

ขยายคำเตือนนั้นไปยังทีมของคุณ ทุกคนได้อ่านและได้ยินเกี่ยวกับความมหัศจรรย์ของ generative AI แล้ว แต่อาจไม่ได้ตระหนักถึงข้อจำกัดของมัน ต้องแน่ใจว่าสมาชิกในทีมของคุณทุกคนรู้ว่าเครื่องมืออย่าง LLM เป็นเพียงเครื่องมือเท่านั้น ต้านทานการล่อลวงของความพึงพอใจ

ข้อสรุปการวิจัยของ Apple

เป็นเรื่องน่าสนใจที่ Apple ซึ่งทุ่มตลาดอย่างล้นหลามให้กับ Apple Intelligence ก็กำลังจัดแสดงขีดจำกัดของเทคโนโลยีเช่นกัน ในทางหนึ่ง ความโปร่งใสแบบนั้นก็ให้กำลังใจ

Apple ใช้การเรียนรู้ของเครื่องเป็นเครื่องมือในการปรับปรุงความสามารถในการประมวลผลภาพถ่ายอย่างสม่ำเสมอ แม้ว่าเทคโนโลยีเหล่านั้นจะใช้คณิตศาสตร์เป็นจำนวนมาก แต่ก็ไม่ต้องการเหตุผลของมนุษย์ที่เป็นอิสระ

คาดว่าจะเห็น Apple ลงทุนมหาศาลในเทคโนโลยี AI ที่ AI แข็งแกร่งต่อไป แม้จะอยู่ในห่วงโซ่อุปทานของบริษัทก็ตาม แต่ฉันไม่คาดหวังว่าทีมผู้บริหารของ Apple จะยกการตัดสินใจให้กับ LLM

การวิจัยนี้แสดงให้เห็นว่าทั้ง LLM มีข้อจำกัดที่เห็นได้ชัดเจนเมื่อความซับซ้อนของโครงการเพิ่มขึ้น และ Apple กำลังลงทุนในการทดสอบขีดจำกัดของ LLM และนำผลลัพธ์เหล่านั้นมาพิจารณาว่าต้องอาศัยเทคโนโลยีใหม่เหล่านี้มากน้อยเพียงใด

สำหรับบริษัทที่ไม่ค่อยมีความโปร่งใสเกี่ยวกับการตัดสินใจที่ซ่อนอยู่ เอกสารนี้มีข้อมูลเชิงลึกที่น่าสนใจเกี่ยวกับการวิจัยโดยละเอียดที่ Apple กำลังทำเพื่อช่วยให้เข้าใจถึงจุดแข็งและขีดจำกัดของเทคโนโลยีใหม่ที่มาแรงที่สุดในทศวรรษ

คุณคิดอย่างไร? Apple ได้ข้อสรุปที่ถูกต้องหรือไม่? คุณได้ลองใช้ AI ในการตัดสินใจแล้วหรือยัง? คุณใช้ LLM อะไรในตอนนี้ และคุณหวังว่าจะใช้ LLM เพื่ออะไรในอนาคต แจ้งให้เราทราบในความคิดเห็นด้านล่าง