พิมพ์เขียวของ IBM สําหรับการเปลี่ยนแปลงอุตสาหกรรมใช้ประโยชน์จาก AI, 5G และการทํางานร่วมกันอย่างไร

แม้จะหลงใหลในการเรียนรู้เชิงลึกกับโมเดลขนาดใหญ่และแนวทางทั่วไป แต่ Amazon แสดงให้เห็นว่าผลลัพธ์สูงสุดสามารถได้รับได้ด้วยโมเดลที่ประหยัด

งานง่ายๆ ในการลดคําทั้งหมดในบทความให้เหลือลําดับคําขนาดกะทัดรัดที่อธิบายจุดศูนย์กลางของบทความ เป็นหนึ่งในงานเกณฑ์มาตรฐานในการเรียนรู้เชิงลึก นี่คือจุดที่นักวิทยาศาสตร์ Alexa AI ของ Amazon กล่าวว่าพวกเขาสามารถใช้ความพยายามของโปรแกรมคอมพิวเตอร์ที่ใหญ่กว่าจาก DeepMind, Google, Meta, OpenAI และอื่นๆ ได้ดีที่สุด งานนี้มีนัยยะต่อการใช้พลังงานและประสิทธิภาพการปล่อยก๊าซคาร์บอนไดออกไซด์

การวิจัยสองหัวข้อมีอิทธิพลอย่างมากในการเรียนรู้ของเครื่องในทุกวันนี้: ทําให้โปรแกรมทั่วไปมากขึ้นในแนวทาง (เพื่อจัดการกับงานที่อาจเกิดขึ้น) และทําให้ใหญ่ขึ้น

โครงข่ายประสาทเทียมที่ใหญ่ที่สุดซึ่งวัดจากพารามิเตอร์หรือ "น้ําหนัก" มีน้ําหนักมากกว่าครึ่งล้านล้าน โมเดลต่างๆ เช่น Pathways Language Model หรือ PaLM ของ Google และ Megatron-Turing NLG 530B ของ Nvidia และ Microsoft เป็นหนึ่งในโมเดลที่ใหญ่ที่สุด โดยมีพารามิเตอร์ 540 พันล้านและ 530 พันล้านตามลําดับ ยิ่งโปรแกรมมีพารามิเตอร์มากเท่าใดโดยทั่วไปปริมาณพลังการประมวลผลก็จะยิ่งมากขึ้นเท่านั้นที่ใช้ในการฝึกอบรมและยังเรียกใช้เพื่อทํานายสิ่งที่เรียกว่าการอนุมาน

นอกจากเอกสารแล้ว Soltan ยังได้เขียนบล็อกโพสต์ในหัวข้อนี้

งานของ Amazon เป็นส่วนหนึ่งของแนวโน้มกว้างในวรรณกรรมล่าสุดเพื่อค้นหาทางเลือกอื่นในการเพิ่มขนาด เอกสารที่เผยแพร่เมื่อสัปดาห์ที่แล้วจาก Meta (เจ้าของ Facebook และ Instagram) ชื่อ "Few-shot Learning with Retrieval Augmented Language Models" เป็นตัวอย่างที่ดี อธิบายโมเดลภาษาที่เรียกว่า Atlas ที่มีพารามิเตอร์เพียง 11 พันล้านตัวและได้รับการฝึกฝนโดยใช้จุด ข้อมูลตัวอย่างเพียง 64 จุด

เช่นเดียวกับ AlexaTM 20B โปรแกรม Atlas เอาชนะ PaLM ได้อย่างมีนัยสําคัญ ผู้เขียนเขียน แม้จะมีเพียง 64 ตัวอย่างก็ตาม กุญแจสําคัญของ Atlas คือการรวมโมเดลภาษาที่ผ่านการฝึกอบรมล่วงหน้าเข้ากับความสามารถในการดึงข้อมูลจากแหล่งข้อมูลออนไลน์ เช่น Wikipedia ราวกับว่าโทรศัพท์หาเพื่อนเพื่อขอคําตอบ

ในกรณีของ AlexaTM 20B ผู้เขียนของ Amazon ใช้การปรับแต่งสามอย่างเพื่อให้ได้คะแนน 

อะแกรม Amazon 2022 AlexTM 20B

การปรับแต่งที่น่าสนใจประการแรกคือการกลับไปสู่พื้นฐานและกู้คืนบางสิ่งที่นํามาจากโมเดลภาษายักษ์ล่าสุด พื้นฐานของ AlexaTM 20B นั้นเหมือนกับ PaLM และ GPT-3 และอื่น ๆ ซึ่งเป็นตัวเข้ารหัส-ถอดรหัส Transformer ซึ่งเป็นแนวทางที่บุกเบิกในปี 2017 โดยนักวิทยาศาสตร์ของ Google Ashish Vaswani และเพื่อนร่วมงาน 

Transformer ใช้หน่วยที่เรียกว่า "ความสนใจในตนเอง" เพื่อให้ได้คะแนนความน่าจะเป็นว่าทุกคําอาจพบได้ในบริบทของคําอื่น ๆ ได้อย่างไร คะแนนนั้นจะถูกใช้เพื่อเติมช่องว่างเมื่อคาดการณ์คําเพื่อสร้างบล็อกข้อความที่มีความหมาย

ในกรณีของ AlexaTM 20B Soltan และเพื่อนร่วมงานได้ออกเดินทางอย่างมีวิจารณญาณจาก PaLM และ GPT-3 และลูกหลานขนาดมหึมาอื่น ๆ ของ Transformer ดั้งเดิม โมเดลล่าสุดเหล่านั้นจ่ายครึ่งหนึ่งของ Transformer ซึ่งเรียกว่าตัวเข้ารหัส (สิ่งที่แมปข้อมูลอินพุตไปยังสถานะที่ซ่อนอยู่เพื่อถอดรหัสเป็นคําตอบ) PaLM และ GPT-3 จะรวมอินพุตเข้ากับตัวถอดรหัสเพื่อสร้างโปรแกรมที่ถอดออกซึ่งเป็นรุ่น "ตัวถอดรหัสเท่านั้น"

ทีม Alexa นําตัวเข้ารหัสกลับเข้าไปในโปรแกรม การอ้างสิทธิ์ของพวกเขาคือการมีองค์ประกอบทั้งสองช่วยปรับปรุงความแม่นยําในสิ่งที่เรียกว่า "การขจัดเสียงรบกวน" ซึ่งหมายถึงการสร้างประโยคต้นฉบับขึ้นใหม่ซึ่งบางคําหลุดออกไป 

ในแบบจําลองตัวถอดรหัสเท่านั้นความน่าจะเป็นตามเงื่อนไขของข้อความที่คาดการณ์จะทํางานในทิศทางเดียวเท่านั้น: ทุกคําตอบถัดไปจะขึ้นอยู่กับสิ่งที่เกิดขึ้นก่อนหน้านี้เท่านั้น ในทางตรงกันข้ามในเวอร์ชันตัวเข้ารหัส-ถอดรหัสแบบเต็มโมเดลกําลังทําการประเมินความน่าจะเป็นในทั้งสองทิศทาง: สิ่งที่เกิดขึ้นก่อนคําที่กําหนดและสิ่งที่ตามมา ซึ่งทําหน้าที่ได้ดีกว่าในงานที่ไม่เพียงแต่สร้างองค์ประกอบถัดไปในประโยค แต่ยังทําสิ่งต่างๆ เช่น การเปรียบเทียบคําต่อคํา เช่น งานแปลจากภาษาหนึ่งไปยังอีกภาษาหนึ่ง

Amazon 2022 AlexTM 20B รุ่นตัวถอดรหัสเท่านั้น

ขณะที่พวกเขาเขียนว่า "AlexaTM 20B บรรลุความล้ําสมัยใหม่ที่ 82.63% ในการตั้งค่าช็อตเป็นศูนย์ในโหมดขจัดเสียงรบกวน เหตุผลหลักที่โหมดขจัดเสียงรบกวนทํางานได้ดีกว่าสําหรับงานนี้คือในโหมดลดเสียงรบกวน อินพุตจะถูกทําซ้ําในตัวเข้ารหัสและตัวถอดรหัส ทําให้โมเดลสามารถใช้ทั้งตัวเข้ารหัสและตัวถอดรหัสได้อย่างเต็มที่เพื่อค้นหาคําตอบที่ดีที่สุด"

สิ่งที่สองที่ผู้เขียนเพิ่มคือการฝึกโมเดลด้วยสิ่งที่เรียกว่า "การสร้างแบบจําลองภาษาเชิงสาเหตุ" เรียกสั้นๆ ว่า CLM คืองานที่ใช้ใน GPT-3 และ Transformers แบบถอดรหัสเท่านั้น มันแสดงถึงทุกคําโดยเฉพาะว่าขึ้นอยู่กับคําที่มาก่อนหน้านี้เท่านั้น ซึ่งเป็นการพึ่งพาทางเดียวตามลําดับที่ได้รับการฝึกฝนเพื่อสร้างประโยคตามข้อความแจ้งเริ่มต้น

ผู้เขียนผสมผสานงานลดเสียงรบกวนกับงานเชิงสาเหตุในการฝึกอบรม AlexaTM 20B โดยการลดเสียงรบกวนจะใช้ 80% ของกิจกรรมการฝึกอบรมและการสร้างแบบจําลองสาเหตุในส่วนที่ห้า ที่เหลือ

ข้อดีของการเพิ่มการสร้างแบบจําลองเชิงสาเหตุคือ คล้ายกับ GPT-3 มันช่วยในสิ่งที่เรียกว่า "การเรียนรู้ในบริบท" การเรียนรู้ในบริบทเป็นเกณฑ์กว้างๆ ที่ครอบคลุมโมเดลใดๆ ที่สามารถทําการเรียนรู้แบบศูนย์หรือน้อยได้ นั่นหมายความว่าโปรแกรมไม่มีความรู้เฉพาะโดเมน คุณเพียงแค่ให้ตัวอย่างพร้อมท์ และโปรแกรมจะทํานายที่สอดคล้องกับประเภทของคําถามที่ถาม

เนื่องจากระบอบการฝึกอบรมแบบไฮบริดนั้น AlexTM 20B ไม่เพียงแต่สร้างประโยคใหม่ได้ดี - งานลดเสียงรบกวน แต่ยังเป็น "โมเดล seq2seq [ลําดับต่อลําดับ] หลายภาษาแรกที่สามารถเรียนรู้ในบริบทได้" กล่าวอีก นัยหนึ่งเป็นโปรแกรมไฮบริด

การปรับแต่งที่น่าสนใจประการที่สามโดย Soltan และเพื่อนร่วมงานคือการเพิ่มจํานวนจุดข้อมูลที่ป้อนเข้าโปรแกรมในระหว่างการฝึกอบรมอย่างมาก พวกเขาป้อน "โทเค็น" หนึ่งล้านล้านรายการซึ่งเป็นข้อมูลแต่ละชิ้นในระหว่างการฝึกอบรม ซึ่งมากกว่าสามเท่าของ GPT-3 ที่ได้รับ ชุดข้อมูลการฝึกอบรมในกรณีนี้ประกอบด้วยรายการ Wikipedia และสิ่งที่เรียกว่า mC4 ซึ่งเป็นชุดข้อมูลสําหรับการฝึกอบรม Transformers ที่เปิดตัวเมื่อปีที่แล้วโดย Linting Xue และเพื่อนร่วมงานที่ Google โดยอิงตามข้อความภาษาธรรมชาติใน 101 ภาษาจากแหล่งข้อมูลที่คัดลอกมาบนเว็บ Common Crawl

การใช้ข้อมูลการฝึกอบรมอินพุตจํานวนมากเป็นหนึ่งในองค์ประกอบสําคัญของงาน Alexa พวกเขาเขียนว่า Soltan และทีมงานตัดสินใจที่จะไปตามเส้นทางนั้น โดยอิงจากการสังเกตของ Jordan Hoffman และเพื่อนร่วมงานที่ OpenAI ตามที่ตีพิมพ์ในบทความเมื่อเดือนมีนาคมที่ผ่านมา "การฝึกอบรมโมเดลภาษาขนาดใหญ่ที่ปรับคอมพิวเตอร์ให้เหมาะสมที่สุด"

ในบทความนั้น Hoffman และเพื่อนร่วมงานสรุปว่า "โมเดลภาษาขนาดใหญ่ในปัจจุบันไม่ได้รับการฝึกอบรมอย่างมีนัยสําคัญ ซึ่งเป็นผลมาจากการมุ่งเน้นไปที่การปรับขนาดโมเดลภาษาเมื่อเร็ว ๆ นี้ในขณะที่รักษาจํานวนข้อมูลการฝึกอบรมให้คงที่" ด้วยการใช้โมเดลภาษาที่หลากหลายที่มีขนาดต่างกันและทดสอบทั้งหมดด้วยโทเค็นอินพุตในปริมาณที่แตกต่างกัน ผู้เขียนสรุปว่า "สําหรับการฝึกอบรมที่เหมาะสมที่สุด ขนาดโมเดลและจํานวนโทเค็นการฝึกอบรมควรปรับขนาดเท่ากัน"

ดังนั้น AlexaTM 20B จึงไม่ใช่แค่เรื่องประหยัด แต่มีจุดมุ่งหมายเพื่อพิสูจน์ว่าพารามิเตอร์ที่น้อยลงสามารถสมดุลกับข้อมูลการฝึกอบรมที่มากขึ้นเพื่อประสิทธิภาพที่น่าสนใจ เท่ากัน

อนึ่ง ผู้เขียนยังพยายามสร้างอินพุตส่วนใหญ่ให้เป็นข้อความพูดที่เป็นธรรมชาติ โดยลดการใช้อักษรตัวพิมพ์ใหญ่และเครื่องหมายวรรคตอน ซึ่งมีความสําคัญในการตั้งค่า Alexa "เรารวมข้อความพูดมากกว่าข้อความที่เป็นลายลักษณ์อักษรเพื่อตอบสนองกรณีการใช้งานภายในของเรา" 

เทคโนโลยีบางอย่างของทีม Alexa AI ถูกนํามาใช้ในผลิตภัณฑ์ Alexa แม้ว่า Amazon จะบอกกับ ZDNet ในอีเมลว่ากลุ่ม "ยังทําการวิจัยที่มองไปข้างหน้า" Amazon กล่าวว่าโมเดล AlexaTM 20B "เป็นโครงการวิจัยเป็นหลักในขั้นตอนนี้"

Amazon กล่าวเสริมว่า "เป็นไปได้ว่าโมเดลนี้จะถูกนําไปใช้ในการผลิตในอนาคต แต่จะใช้เฉพาะรุ่นดัดแปลงที่มีรั้วกั้นเท่านั้นในการพัฒนาคุณสมบัติและผลิตภัณฑ์ของ Alexa"

ผู้เขียนฝึกโมเดล AlexaTM 20B "เป็นเวลา 120 วันบน GPU A100 [Nvidia] 128 ตัวสําหรับการอัปเดตทั้งหมด 500,000 รายการด้วยขนาดแบทช์สะสม 2 ล้านโทเค็น (รวม 1 ล้านล้านโทเค็น)" 

นั่นอาจฟังดูมาก แต่น้อยกว่า PaLM ซึ่งได้รับการฝึกฝนโดย Google บน TPU Pod รุ่นที่สี่สองตัว ซึ่งประกอบด้วยชิป TPU 3,072 ชิปในแต่ละ Pod ซึ่งเชื่อมต่อกับคอมพิวเตอร์โฮสต์ 768 เครื่อง

ตามที่ผู้เขียน Google Aakanksha Chowdhery และทีมงานตั้งข้อสังเกตในเดือนเมษายน นั่นคือ "การกําหนดค่า TPU ที่ใหญ่ที่สุดที่อธิบายไว้จนถึงปัจจุบัน"

ผลลัพธ์จะสะกดไว้ในผลการทดสอบเฉพาะ Soltan และทีมงานให้ความสําคัญเป็นพิเศษกับความสําเร็จในงานเฉพาะ ซึ่งตรงข้ามกับทุกงานที่เป็นไปได้ ตัวอย่างเช่น Soltan และทีมงานสังเกตว่า "AlexaTM 20B ทํางานได้ดีกว่าหรือเทียบเท่ากับรุ่นตัวถอดรหัสที่มีความหนาแน่นสูงที่สุดจนถึงปัจจุบัน (เช่น PaLM 540B) ในการสรุปทั้งในการตั้งค่า 1 ช็อตและการปรับแต่งอย่างละเอียด" นี่เป็นเรื่องจริงโดยเฉพาะในงานสรุปย่อหน้าที่เรียกว่า MLSum ในภาษาเยอรมัน สเปน และฝรั่งเศส AlexaTM 20B เอาชนะ PaLM ได้อย่างง่ายดาย 

การทดสอบเกณฑ์มาตรฐาน MLSum ซึ่ง เปิดตัวในปี 2020 โดยศูนย์วิจัยวิทยาศาสตร์แห่งชาติของฝรั่งเศส ประกอบด้วยบทความ 1.5 ล้านบทความจากหนังสือพิมพ์ งานนี้คือสําหรับโมเดลภาษาเพื่อส่งออกข้อความสองสามประโยคที่แสดงแนวคิดที่วางไว้ในบทความทั้งหมด เห็นได้ชัดว่าสิ่งนี้ต้องการการลดคําหลายร้อยคําลงเหลือเพียงไม่กี่โหล

ในการทดสอบครั้งที่สี่ XSum ซึ่งดําเนินการเป็นภาษาอังกฤษ รุ่น AlexaTM 20B เป็นอันดับสอง และเอาชนะ PaLM เวอร์ชันที่ใหญ่กว่า AlexaTM 20B แต่เล็กกว่า PaLM เวอร์ชัน 540 พันล้านพารามิเตอร์

แม้ว่าจะเก่งในการสรุป แต่ AlexTM 20B ก็ตกอยู่ในงานอื่นๆ ตัวอย่างเช่น ทดสอบกับชุดข้อมูล "การให้เหตุผล" (เช่น MultiArith) และงานการให้เหตุผล "ห่วงโซ่ความคิด" (ซึ่งเป็นปัญหาทางคณิตศาสตร์ง่ายๆ ที่เขียนด้วยภาษาธรรมชาติ)

เขียน Soltan และทีมงานว่า "AlexaTM 20B ทํางานได้ดีกว่ารุ่นที่มีขนาดใกล้เคียงกันเล็กน้อย อย่างไรก็ตาม เราไม่ได้สังเกตเห็นกําไรที่โมเดลที่ใหญ่กว่ามากเช่น GPT3 175B แสดงจากข้อความแจ้งพิเศษดังกล่าว" ซึ่งหมายความว่าเบาะแสที่มอบให้กับโปรแกรมเกี่ยวกับขั้นตอนต่อไปในปัญหา 

"ผลลัพธ์บ่งชี้ว่าการเพิ่มขนาดพารามิเตอร์ของโมเดลมีความสําคัญอย่างยิ่งในการทํางาน 'การให้เหตุผล' ตามที่แสดงให้เห็นก่อนหน้านี้ [...] ในสถาปัตยกรรมตัวถอดรหัสเท่านั้นโดยใช้โมเดล Instruct-GPT3"

การมุ่งเน้นไปที่งานที่ประสบความสําเร็จเช่นการสรุปข้อสรุปหลักที่ Soltan และทีมงานมาถึงคือแนวทางแบบผสมผสานของพวกเขาในการฝึกอบรมโปรแกรมโดยใช้ทั้งวัตถุประสงค์ของการขจัดเสียงรบกวนและการสร้างแบบจําลองภาษาเชิงสาเหตุเป็นกุญแจสําคัญในการทําให้สิ่งต่าง ๆ มีประสิทธิภาพ มากขึ้น

"สิ่งนี้ชี้ให้เห็นว่าการฝึกอบรมล่วงหน้าแบบผสม และไม่จําเป็นต้องฝึกอบรมมัลติทาสก์เพิ่มเติม [...] เป็นกุญแจสําคัญในการฝึกโมเดลภาษาขนาดใหญ่ (LLM) ที่ใช้ seq2seq ที่แข็งแกร่ง" พวกเขาเขียน 

เพื่อกลับไปที่คําถามเดิมเกี่ยวกับขนาด ดังที่ได้กล่าวไว้ในหลายบริบท การใช้พลังงานของโปรแกรม AI ที่มีขนาดใหญ่ขึ้นเรื่อยๆ เป็นข้อกังวลด้านจริยธรรมภายในแนวทางปฏิบัติของ AI ผู้เขียนสร้างกรณีที่แข็งแกร่งสําหรับความเกี่ยวข้องของแนวทางที่มีประสิทธิภาพ มากขึ้น

เนื่องจาก AlexaTM 20B "มีขนาดเล็กกว่ารุ่นอย่าง GPT3 175B มาก แต่ให้ประสิทธิภาพที่ใกล้เคียงกันหรือดีกว่าในงานต่างๆ " พวกเขาเขียนว่า "ผลกระทบต่อสิ่งแวดล้อมอย่างต่อเนื่องของการใช้ AlexaTM 20B สําหรับการอนุมานนั้นต่ํากว่ารุ่นขนาดใหญ่มาก (ต่ํากว่าประมาณ 8.7 เท่า)"

พวกเขาเสริมว่า "ดังนั้น เมื่อเวลาผ่านไป AlexaTM 20B จึงมีคาร์บอนฟุตพริ้นท์ที่ลดลงเช่นกัน"

ผู้เขียนเสนอตารางสถิติที่แสดงการปล่อยก๊าซคาร์บอนไดออกไซด์สัมพัทธ์ และมีความแตกต่างอย่างมากในตัวเลข 

นี่คือแผนภูมิเปรียบเทียบคาร์บอนฟุตพริ้นท์ของ Amazon 2022 AlexTM 20B

ตารางคาร์บอนฟุตพริ้นท์นั้นอาจเป็นแง่มุมที่น่าสนใจที่สุดของทั้งหมดนี้ การวิจัยการเรียนรู้เชิงลึกเพิ่มเติมจะพยายามสร้างคะแนนสําหรับการประเมินสิ่งแวดล้อม เพื่อแสดงให้เห็นว่าแนวทางที่กําหนดนั้นประหยัดพลังงานเพียงใด นั่นสอดคล้องกับการให้ความสําคัญกับ "ESG" ที่เพิ่มขึ้นของโลก ซึ่งหมายถึงปัจจัยด้านสิ่งแวดล้อม สังคม และธรรมาภิบาลในทุกเรื่อง

นั่นอาจหมายความว่าการใส่ใจสิ่งแวดล้อมได้กลายเป็นส่วนหนึ่งของวัตถุประสงค์ของการวิจัย AI กระแสหลักในบางแง่มุม