AI PC คืออะไรกันแน่? และคุณควรซื้อในปี 2025 หรือไม่?

ด้วยการหลีกเลี่ยงเอาต์พุตเฉพาะข้อมูลสําหรับการแสดงภายใน Meta ตั้งเป้าไปที่ AI ประเภททั่วไปมากขึ้น

การแข่งขันกําลังดําเนินต่อไปเพื่อสร้างโครงข่ายประสาทเทียมหนึ่งเดียวที่สามารถประมวลผลข้อมูลได้หลายประเภท ซึ่งเป็นปัญญาประดิษฐ์ทั่วไปที่ไม่แยกแยะประเภทของข้อมูล แต่สามารถประมวลผลข้อมูลทั้งหมดภายในโครงสร้างพื้นฐานเดียวกันได้

Transformer ทั่วไปกลายเป็นสิ่งที่เรียกว่าการฝึกอบรมล่วงหน้าที่สามารถนําไปใช้กับโครงข่ายประสาทเทียมเฉพาะเพื่อทํางานเฉพาะ ตัวอย่างเช่น ผู้เขียนใช้ data2vec เป็นการฝึกอบรมล่วงหน้าเพื่อจัดเตรียมสิ่งที่เรียกว่า "ViT" "Vision Transformer" ซึ่งเป็นโครงข่ายประสาทเทียมที่ออกแบบมาโดยเฉพาะสําหรับงานด้านการมองเห็นที่เปิดตัวเมื่อปีที่แล้วโดย Alexey Dosovitskiy และเพื่อนร่วมงานที่ Google 

Meta แสดงคะแนนสูงสุดสําหรับการแข่งขันการจดจําภาพ ImageNet อันน่านับถือ

เมื่อใช้กับ ViT เพื่อพยายามแก้ปัญหาการทดสอบ ImageNet มาตรฐานของการจดจําภาพ ผลลัพธ์จะอยู่ในอันดับต้น ๆ ของแพ็คด้วยความแม่นยํา 84.1% ซึ่งดีกว่าคะแนน 83.2% ที่ได้รับจากทีมงานที่ Microsoft ที่ฝึกอบรม ViT ล่วงหน้าโดย Hangbo Bao เมื่อปีที่แล้ว

และ data2vec Transformer เดียวกันให้ผลลัพธ์ที่ล้ําสมัยสําหรับการรู้จําเสียงและสามารถแข่งขันได้หากไม่ใช่สิ่งที่ดีที่สุดสําหรับการเรียนรู้ภาษาธรรมชาติ:

ผลการทดลองแสดงให้เห็นว่า data2vec มีประสิทธิภาพในทั้งสามรูปแบบ โดยสร้างความล้ําสมัยใหม่สําหรับ ViT-B และ ViT-L บน ImageNet-1K ปรับปรุงจากงานก่อนหน้านี้ที่ดีที่สุดในการประมวลผลเสียงในการรู้จําเสียง และทํางานเทียบเท่ากับ RoBERTa บนเกณฑ์มาตรฐาน ความเข้าใจภาษาธรรมชาติของ GLUE

ประเด็นสําคัญคือสิ่งนี้เกิดขึ้นโดยไม่มีการดัดแปลงโครงข่ายประสาทเทียมให้เกี่ยวกับรูปภาพ และเช่นเดียวกันสําหรับคําพูดและข้อความ อินพุตทุกประเภทจะเข้าสู่เครือข่ายเดียวกันและทํางานทั่วไปเหมือนกันแทน งานนั้นเป็นงานเดียวกับที่เครือข่าย Transformer ใช้เสมอ หรือที่เรียกว่า "การคาดการณ์แบบสวมหน้ากาก" 

อย่างไรก็ตาม วิธีที่ data2vec ทําการคาดการณ์แบบปิดบังเป็นแนวทางที่เรียกว่าการเรียนรู้แบบ "ควบคุมตนเอง" ในสภาพแวดล้อมที่มีการควบคุมตนเองโครงข่ายประสาทเทียมได้รับการฝึกฝนหรือพัฒนาโดยต้องผ่านหลายขั้นตอน 

ประการแรกเครือข่ายจะสร้างการแสดงความน่าจะเป็นร่วมกันของการป้อนข้อมูลไม่ว่าจะเป็นภาพหรือคําพูดหรือข้อความ จากนั้นเครือข่ายเวอร์ชันที่สองมีรายการข้อมูลอินพุตบางส่วนที่ "ปิดบัง" โดยไม่ได้เปิดเผย ต้องสร้างความน่าจะเป็นร่วมกันที่เครือข่ายเวอร์ชันแรกสร้างขึ้นขึ้นมาใหม่ซึ่งบังคับให้สร้างการแสดงข้อมูลที่ดีขึ้นเรื่อย ๆ โดยการกรอกข้อมูลในช่องว่าง เป็นหลัก

ภาพรวมของแนวทาง data2vec

เครือข่ายทั้งสองเครือข่ายหนึ่งที่มีรูปแบบเต็มรูปแบบของความน่าจะเป็นร่วมกันและเครือข่ายที่มีเวอร์ชันที่ไม่สมบูรณ์ที่พยายามทําให้เสร็จสมบูรณ์ถูกเรียกว่า "ครู" และ "นักเรียน" อย่างสมเหตุสมผลเพียงพอ เครือข่ายนักเรียนพยายามพัฒนาความรู้สึกของข้อมูลถ้าคุณต้องการโดยการสร้างสิ่งที่ครูประสบความสําเร็จแล้ว

คุณสามารถดูโค้ดสําหรับโมเดลได้บน Github

โครงข่ายประสาทเทียมทํางานอย่างไรสําหรับครูและนักเรียนสําหรับข้อมูลสามประเภทที่แตกต่างกันมาก? กุญแจสําคัญคือ "เป้าหมาย" ของความน่าจะเป็นร่วมกันในทั้งสามกรณีข้อมูลไม่ใช่ประเภทข้อมูลเอาต์พุตที่เฉพาะเจาะจง เช่นเดียวกับในกรณีของ Transformer เวอร์ชันสําหรับประเภทข้อมูลเฉพาะ เช่น BERT ของ Google หรือ GPT-3 ของ OpenAI

แต่ data2vec กําลังคว้าเลเยอร์โครงข่ายประสาทเทียมจํานวนมากที่อยู่ภายในโครงข่ายประสาทเทียม ซึ่งอยู่ตรงกลาง ซึ่งแสดงถึงข้อมูลก่อนที่จะถูกสร้างขึ้นเป็นผลลัพธ์ ขั้นสุดท้าย

ดังที่นักวิจัยเขียนว่า "ความแตกต่างที่สําคัญอย่างหนึ่งของวิธีการของเรา [...] นอกเหนือจากการทํานายแบบปิดบังคือการใช้เป้าหมายที่ขึ้นอยู่กับการหาค่าเฉลี่ยหลายชั้นจากเครือข่ายครู" โดยเฉพาะอย่างยิ่ง "เราถดถอยการแสดงเลเยอร์โครงข่ายประสาทเทียมหลายชั้นแทนที่จะเป็นเพียงชั้นบนสุด" เพื่อให้ "data2vec คาดการณ์การแสดงที่แฝงอยู่ของข้อมูลอินพุต"

พวกเขาเสริมว่า "โดยทั่วไปเราใช้เอาต์พุตของ FFN [เครือข่ายฟีดฟอร์เวิร์ด] ก่อนการเชื่อมต่อที่เหลือสุดท้ายในแต่ละบล็อกเป็นเป้าหมาย" โดยที่ "บล็อก" คือ Transformer ที่เทียบเท่ากับเลเยอร์โครงข่ายประสาทเทียม

ประเด็นคือข้อมูลทุกประเภทที่เข้ามากลายเป็นความท้าทายเดียวกันสําหรับเครือข่ายนักเรียนในการสร้างบางสิ่งบางอย่างขึ้นมาใหม่ภายในโครงข่ายประสาทเทียมที่ครูได้สร้างขึ้น

การหาค่าเฉลี่ยนี้แตกต่างจากแนวทางล่าสุดอื่น ๆ ในการสร้าง One Network To Crunch All Data ตัวอย่างเช่น เมื่อฤดูร้อนที่แล้ว หน่วย DeepMind ของ Google ได้เสนอสิ่งที่เรียกว่า "Perceiver" ซึ่งเป็น Transformer เวอร์ชันหลายรูปแบบของตัวเอง การฝึกอบรมโครงข่ายประสาทเทียม Perceiver เป็นกระบวนการที่ได้มาตรฐานมากขึ้นในการผลิตผลลัพธ์ที่เป็นคําตอบสําหรับงานที่มีป้ายกํากับและอยู่ภายใต้การดูแล เช่น ImageNet ในแนวทางที่ดูแลตนเอง data2vec ไม่ได้ใช้ป้ายกํากับเหล่านั้น มันแค่พยายามสร้างการแสดงข้อมูล ภายในของเครือข่ายขึ้นมาใหม่

ความพยายามที่ทะเยอทะยานยิ่งกว่านั้นอยู่ที่ปีก Jeff Dean หัวหน้าฝ่ายความพยายามด้าน AI ของ Google ในเดือนตุลาคมได้ล้อเลียนเกี่ยวกับ "Pathways" โดยเรียกมันว่า "สถาปัตยกรรม AI รุ่นต่อไป" สําหรับการประมวลผลข้อมูลหลายรูปแบบ

โปรดทราบว่าแนวทางทั่วไปของ data2vec สําหรับโครงข่ายประสาทเทียมเดียวสําหรับหลายรูปแบบยังคงมีข้อมูลมากมายเกี่ยวกับประเภทข้อมูลต่างๆ รูปภาพ คําพูด และข้อความทั้งหมดจัดทําขึ้นโดยการประมวลผลข้อมูลล่วงหน้า ด้วยวิธีนี้ แง่มุมหลายโมดอลของเครือข่ายยังคงอาศัยเบาะแสเกี่ยวกับข้อมูล ซึ่งทีมงานเรียกว่า "ตัวเข้ารหัสอินพุตเฉพาะกิริยาขนาดเล็ก"

เรายังไม่ได้อยู่ในโลกที่โครงข่ายประสาทเทียมได้รับการฝึกฝนโดยไม่มีความรู้สึกใดๆ เกี่ยวกับประเภทข้อมูลอินพุต เรายังไม่อยู่ในจุดที่โครงข่ายประสาทเทียมสามารถสร้างการแสดงเดียวที่รวมประเภทข้อมูลต่างๆ ทั้งหมดเข้าด้วยกันเพื่อให้โครงข่ายประสาทเทียมกําลังเรียนรู้สิ่งต่าง ๆ ร่วมกัน

ข้อเท็จจริงนั้นชัดเจนจากการแลกเปลี่ยนระหว่าง ZDNet และนักวิจัย ZDNet ติดต่อ Baevski และทีมงานและถามว่า "การแสดงแฝงที่ทําหน้าที่เป็นเป้าหมายเป็นการเข้ารหัสรวมกันของทั้งสามรูปแบบในขั้นตอนเวลาใดขั้นตอนหนึ่ง หรือมักจะเป็นเพียงรูปแบบใดรูปแบบหนึ่ง"

Baevski และทีมงานตอบว่าเป็นกรณีหลัง และคําตอบของพวกเขาก็น่าสนใจพอที่จะอ้างถึงความยาว:

ตัวแปรแฝงไม่ใช่การเข้ารหัสแบบรวมสําหรับทั้งสามรูปแบบ เราฝึกโมเดลแยกต่างหากสําหรับแต่ละกิริยา แต่กระบวนการที่โมเดลเรียนรู้นั้นเหมือนกัน นี่เป็นนวัตกรรมหลักของโครงการของเราตั้งแต่ก่อนหน้านี้มีความแตกต่างอย่างมากในวิธีการฝึกโมเดลในรูปแบบต่างๆ นักประสาทวิทยายังเชื่อว่ามนุษย์เรียนรู้ในลักษณะเดียวกันเกี่ยวกับเสียงและโลกแห่งภาพ โครงการของเราแสดงให้เห็นว่าการเรียนรู้ภายใต้การดูแลตนเองสามารถทํางานในลักษณะเดียวกันสําหรับรูปแบบต่างๆ

ด้วยข้อจํากัดเฉพาะกิริยาของ data2vec โครงข่ายประสาทเทียมที่อาจเป็น One Network To Rule Them All อย่างแท้จริงยังคงเป็นเทคโนโลยีแห่งอนาคต