พิมพ์เขียวของ IBM สําหรับการเปลี่ยนแปลงอุตสาหกรรมใช้ประโยชน์จาก AI, 5G และการทํางานร่วมกันอย่างไร

โปรแกรมของ DeepMind เป็นโปรแกรมทั่วไป เพื่อทดสอบแนวคิดที่ว่าเมื่อเวลาผ่านไป พลังการประมวลผลที่มากขึ้นจะชนะใน AI

โครงข่ายประสาทเทียม "Gato" ของ DeepMind เก่งในงานต่างๆ มากมาย รวมถึงการควบคุมแขนหุ่นยนต์ที่ซ้อนบล็อก การเล่นเกม Atari 2600 และคําบรรยายภาพ

โลกคุ้นเคยกับการเห็นพาดหัวข่าวเกี่ยวกับความก้าวหน้าล่าสุดโดยรูปแบบการเรียนรู้เชิงลึกของปัญญาประดิษฐ์ อย่างไรก็ตาม ความสําเร็จล่าสุดของแผนก DeepMind ของ Google อาจสรุปได้ว่า "โปรแกรม AI หนึ่งที่ทํางานได้ หลายอย่าง"

Gato ตามชื่อโปรแกรมของ DeepMind เปิดตัวในสัปดาห์นี้ในฐานะโปรแกรมที่เรียกว่ามัลติโมดอล ซึ่งสามารถเล่นวิดีโอเกม แชท เขียนองค์ประกอบ คําบรรยายภาพ และควบคุมบล็อกซ้อนแขนหุ่นยนต์ เป็นโครงข่ายประสาทเทียมหนึ่งตัวที่สามารถทํางานกับข้อมูลหลายประเภทเพื่อทํางานได้ หลายประเภท

"ด้วยชุดตุ้มน้ําหนักชุดเดียว Gato สามารถมีส่วนร่วมในบทสนทนา คําบรรยายภาพ ซ้อนบล็อกด้วยแขนหุ่นยนต์จริง มีประสิทธิภาพเหนือกว่ามนุษย์ในการเล่นเกม Atari นําทางในสภาพแวดล้อม 3 มิติจําลอง ทําตามคําแนะนํา และอื่นๆ อีกมากมาย" Scott Reed และเพื่อนร่วมงานเขียนในบทความของพวกเขา "A Generalist Agent" ที่โพสต์บนเซิร์ฟเวอร์ พรีพิมพ์ Arxiv

Demis Hassabis ผู้ร่วมก่อตั้ง DeepMind เชียร์ทีม โดยอุทานในทวีตว่า "ตัวแทนทั่วไปที่สุดของเรา!! ผลงานที่ยอดเยี่ยมจากทีม!" 

สิ่งเดียวที่จับได้คือ Gato ไม่ค่อยเก่งในงานหลายอย่าง 

ในแง่หนึ่งโปรแกรมนี้สามารถทําได้ดีกว่าโปรแกรมแมชชีนเลิร์นนิงโดยเฉพาะในการควบคุมแขนหุ่นยนต์ Sawyer ที่ซ้อนบล็อก ในทางกลับกัน มันสร้างคําบรรยายภาพสําหรับรูปภาพที่ในหลายกรณีค่อนข้างแย่ ความสามารถในการสนทนาแชทมาตรฐานกับคู่สนทนาที่เป็นมนุษย์นั้นปานกลางเช่นเดียวกันบางครั้งทําให้เกิดคําพูด ที่ขัดแย้งและไร้สาระ

และการเล่นวิดีโอเกม Atari 2600 นั้นต่ํากว่าโปรแกรม ML เฉพาะส่วนใหญ่ที่ออกแบบมาเพื่อแข่งขันในสภาพแวดล้อมการเรียนรู้ Arcade ที่เป็นมาตรฐาน

ทําไมคุณถึงสร้างโปรแกรมที่ทําบางสิ่งได้ค่อนข้างดีและสิ่งอื่น ๆ อีกมากมายไม่ดีนัก? แบบอย่างและความคาดหวังตามที่ผู้เขียนกล่าว 

มีแบบอย่างสําหรับโปรแกรมทั่วไปที่กลายเป็น AI ที่ทันสมัย และมีความคาดหวังว่าพลังการประมวลผลที่เพิ่มขึ้นในอนาคตจะชดเชยข้อบกพร่อง 

ความทั่วไปสามารถมีแนวโน้มที่จะชนะใน AI ตามที่ผู้เขียนตั้งข้อสังเกตโดยอ้างถึงนักวิชาการด้าน AI Richard Sutton "ในอดีต โมเดลทั่วไปที่ใช้ประโยชน์จากการคํานวณได้ดีกว่าก็มีแนวโน้มที่จะแซงหน้าแนวทางเฉพาะโดเมนที่เชี่ยวชาญมากขึ้นในที่สุด"

ดังที่ Sutton เขียนไว้ในบล็อกโพสต์ของเขาเองว่า "บทเรียนที่ยิ่งใหญ่ที่สุดที่สามารถอ่านได้จากการวิจัย AI เป็นเวลา 70 ปีคือวิธีการทั่วไปที่ใช้ประโยชน์จากการคํานวณนั้นมีประสิทธิภาพสูงสุดในท้ายที่สุด และด้วยอัตรากําไรขั้นต้นที่มาก"

Reed และทีมงานเขียนในวิทยานิพนธ์อย่างเป็นทางการว่า "เราทดสอบสมมติฐานที่ว่าการฝึกอบรมตัวแทนที่มีความสามารถโดยทั่วไปในงานจํานวนมากนั้นเป็นไปได้ และตัวแทนทั่วไปนี้สามารถปรับเปลี่ยนได้ด้วยข้อมูลเพิ่มเติมเพียงเล็กน้อยเพื่อให้ประสบความสําเร็จในงานจํานวนมากยิ่งขึ้น"

ในกรณีนี้โมเดลนั้นกว้างมาก เป็นเวอร์ชันของ Transformer ซึ่งเป็นโมเดลที่เน้นความสนใจที่โดดเด่นซึ่งกลายเป็นพื้นฐานของโปรแกรมมากมายรวมถึง GPT-3 หม้อแปลงจําลองความน่าจะเป็นขององค์ประกอบบางอย่างตามองค์ประกอบที่อยู่รอบๆ เช่น คําในประโยค 

ในกรณีของ Gato นักวิทยาศาสตร์ของ DeepMind สามารถใช้การค้นหาความน่าจะเป็นแบบมีเงื่อนไขเดียวกันกับข้อมูลหลายประเภท 

ขณะที่ Reed และเพื่อนร่วมงานอธิบายถึงภารกิจในการฝึกอบรม Gato 

ในระหว่างขั้นตอนการฝึกอบรมของ Gato ข้อมูลจากงานและรูปแบบต่างๆ จะถูกแยกเป็นลําดับโทเค็นแบบแบน เป็นชุด และประมวลผลโดยโครงข่ายประสาทเทียมหม้อแปลงที่คล้ายกับแบบจําลองภาษาขนาดใหญ่ การสูญเสียถูกปิดบังเพื่อให้ Gato คาดการณ์เฉพาะเป้าหมายการกระทําและข้อความเท่านั้น

กล่าวอีกนัยหนึ่ง Gato ไม่ได้ปฏิบัติต่อโทเค็นแตกต่างกันไม่ว่าจะเป็นคําในการแชทหรือเวกเตอร์การเคลื่อนไหวในแบบฝึกหัดการซ้อนบล็อก มันเหมือนกันหมด 

สถานการณ์การฝึกอบรม Gato

ฝังอยู่ในสมมติฐานของ Reed และทีมงานเป็นผลที่ตามมา กล่าวคือ พลังการประมวลผลมากขึ้นเรื่อย ๆ จะชนะในที่สุด ตอนนี้ Gato ถูกจํากัดด้วยเวลาตอบสนองของแขนหุ่นยนต์ Sawyer ที่ทําการซ้อนบล็อก ที่พารามิเตอร์เครือข่าย 1.18 พันล้านตัว Gato มีขนาดเล็กกว่าโมเดล AI ขนาดใหญ่มาก เช่น GPT-3 อย่างมาก เมื่อโมเดลการเรียนรู้เชิงลึกมีขนาดใหญ่ขึ้นการอนุมานจะนําไปสู่เวลาแฝงที่อาจล้มเหลวในโลกที่ไม่กําหนดของหุ่นยนต์ในโลก แห่งความเป็นจริง

แต่ Reed และเพื่อนร่วมงานคาดว่าขีดจํากัดนั้นจะเกินขีดจํากัดเนื่องจากฮาร์ดแวร์ AI ประมวลผลเร็วขึ้น

"เรามุ่งเน้นการฝึกอบรมของเราที่จุดปฏิบัติการของมาตราส่วนโมเดลที่ช่วยให้สามารถควบคุมหุ่นยนต์ในโลกแห่งความเป็นจริงได้แบบเรียลไทม์ ซึ่งปัจจุบันอยู่ที่ประมาณ 1.2B พารามิเตอร์ในกรณีของ Gato" พวกเขาเขียน "เมื่อฮาร์ดแวร์และสถาปัตยกรรมโมเดลดีขึ้น จุดปฏิบัติงานนี้จะเพิ่มขนาดโมเดลที่เป็นไปได้โดยธรรมชาติ โดยผลักดันโมเดลทั่วไปให้สูงขึ้นบนเส้นโค้งกฎหมายการปรับขนาด"

ดังนั้น Gato จึงเป็นแบบจําลองว่าขนาดของการประมวลผลจะยังคงเป็นเวกเตอร์หลักของการพัฒนาแมชชีนเลิร์นนิงโดยทําให้โมเดลทั่วไปมีขนาดใหญ่ขึ้นเรื่อย ๆ กล่าวอีก นัยหนึ่งยิ่งใหญ่ยิ่งดี

Gato ดีขึ้นเมื่อขนาดของโครงข่ายประสาทเทียมในพารามิเตอร์เพิ่มขึ้น

และผู้เขียนมีหลักฐานบางอย่างสําหรับเรื่องนี้ Gato ดูเหมือนจะดีขึ้นเมื่อมันใหญ่ขึ้น พวกเขาเปรียบเทียบคะแนนเฉลี่ยในงานเกณฑ์มาตรฐานทั้งหมดสําหรับโมเดลสามขนาดตามพารามิเตอร์ 79 ล้าน 364 ล้าน และโมเดลหลัก 1.18 พันล้าน "เราจะเห็นว่าสําหรับจํานวนโทเค็นที่เทียบเท่า จะมีการปรับปรุงประสิทธิภาพอย่างมีนัยสําคัญด้วยขนาดที่เพิ่มขึ้น" 

คําถามที่น่าสนใจในอนาคตคือโปรแกรมที่เป็นแบบทั่วไปนั้นอันตรายกว่าโปรแกรม AI ประเภทอื่นหรือไม่ ผู้เขียนใช้เวลาจํานวนมากในบทความเพื่ออภิปรายถึงข้อเท็จจริงที่ว่ามีอันตรายที่อาจเกิดขึ้นซึ่งยังไม่เข้าใจดี  

แนวคิดของโปรแกรมที่จัดการงานหลายอย่างชี้ให้เห็นถึงความสามารถในการปรับตัวของมนุษย์ แต่นั่นอาจเป็นความเข้าใจผิดที่เป็นอันตราย "ตัวอย่างเช่น การเป็นตัวตนทางกายภาพอาจนําไปสู่การทําให้ผู้ใช้เป็นมนุษย์ของตัวแทน ซึ่งนําไปสู่ความไว้วางใจที่ผิดที่ในกรณีของระบบทํางานผิดปกติ หรือถูกเอารัดเอาเปรียบโดยผู้ไม่หวังดี" Reed และทีมงานเขียน 

"นอกจากนี้ แม้ว่าการถ่ายทอดความรู้ข้ามโดเมนมักเป็นเป้าหมายในการวิจัย ML แต่ก็อาจสร้างผลลัพธ์ที่ไม่คาดคิดและไม่พึงประสงค์ได้หากพฤติกรรมบางอย่าง (เช่น การต่อสู้ในเกมอาร์เคด) ถูกถ่ายโอนไปยังบริบทที่ไม่ถูกต้อง"

ดังนั้นพวกเขาจึงเขียนว่า "การพิจารณาด้านจริยธรรมและความปลอดภัยของการถ่ายทอดความรู้อาจต้องมีการวิจัยใหม่จํานวนมากเมื่อระบบทั่วไปก้าวหน้า"

(หมายเหตุด้านข้างที่น่าสนใจ เอกสาร Gato ใช้รูปแบบเพื่ออธิบายความเสี่ยงที่คิดค้นโดยอดีตนักวิจัย AI ของ Google Margaret Michell และเพื่อนร่วมงานที่เรียกว่า Model Cards การ์ดโมเดลให้ข้อมูลสรุปโดยกระชับว่าโปรแกรม AI คืออะไร ทําอะไร และปัจจัยใดบ้างที่ส่งผลต่อวิธีการทํางาน Michell เขียนเมื่อปีที่แล้วว่าเธอถูกบังคับให้ออกจาก Google เพราะสนับสนุนอดีตเพื่อนร่วมงานของเธอ Timnit Gebru ซึ่งความกังวลด้านจริยธรรมเกี่ยวกับ AI ขัดแย้งกับความเป็นผู้นํา AI ของ Google)

Gato ไม่ได้มีเอกลักษณ์เฉพาะตัวในแนวโน้มทั่วไป เป็นส่วนหนึ่งของแนวโน้มกว้าง ๆ ในการทําให้เป็นภาพรวม และโมเดลขนาดใหญ่ที่ใช้ถังแรงม้า โลกได้ลิ้มรสความเอียงของ Google ในทิศทางนี้เป็นครั้งแรกเมื่อฤดูร้อนที่แล้ว ด้วยโครงข่ายประสาทเทียม "Perceiver" ของ Google ที่รวมงาน Transformer ข้อความเข้ากับรูปภาพ เสียง และพิกัดเชิงพื้นที่ LiDAR

ในบรรดาเพื่อนร่วมงานคือ PaLM ซึ่งเป็น Pathways Language Model ซึ่งเปิดตัวในปีนี้โดยนักวิทยาศาสตร์ของ Google ซึ่งเป็นโมเดลพารามิเตอร์ 540 พันล้านตัวที่ใช้เทคโนโลยีใหม่ในการประสานงานชิปหลายพันตัวที่เรียกว่า Pathways ซึ่งคิดค้นขึ้นที่ Google เช่นกัน โครงข่ายประสาทเทียมที่เผยแพร่ในเดือนมกราคมโดย Meta ที่เรียกว่า "data2vec" ใช้ Transformers สําหรับข้อมูลรูปภาพ รูปคลื่นเสียงพูด และการแสดงภาษาข้อความทั้งหมดในที่เดียว 

ดูเหมือนว่าสิ่งใหม่เกี่ยวกับ Gato คือความตั้งใจที่จะนํา AI ที่ใช้สําหรับงานที่ไม่ใช่หุ่นยนต์และผลักดันไปสู่อาณาจักรหุ่นยนต์

ผู้สร้างของ Gato สังเกตเห็นความสําเร็จของ Pathways และแนวทางทั่วไปอื่นๆ เห็นความสําเร็จสูงสุดใน AI ที่สามารถทํางานในโลกแห่งความเป็นจริงได้ด้วยงาน ทุกประเภท

"งานในอนาคตควรพิจารณาวิธีรวมความสามารถของข้อความเหล่านี้ให้เป็นตัวแทนทั่วไปที่สมบูรณ์ซึ่งสามารถดําเนินการแบบเรียลไทม์ในโลกแห่งความเป็นจริงในสภาพแวดล้อมและศูนย์รวมที่หลากหลาย" 

ดังนั้น คุณสามารถพิจารณา Gato เป็นก้าวสําคัญบนเส้นทางสู่การแก้ปัญหาที่ยากที่สุดของ AI นั่นคือหุ่นยนต์