ศูนย์ข้อมูล AI กําลังกลายเป็น 'ขนาดใหญ่เหลือเชื่อ'

เครือข่ายทั่วไปของ Meta สําหรับคําพูด ข้อความ และรูปภาพกลับมาอีกครั้ง แต่คราวนี้มีเทคนิคบางอย่างเพื่อเพิ่มความเร็วในการเรียนรู้

Data2vec ของ Meta เป็นตัวอย่างของโครงข่ายประสาทเทียมทั่วไปที่สามารถใช้โค้ดเดียวกันเพื่อประมวลผลตัวอย่างข้อมูลในรูปแบบต่างๆ ในกรณีนี้คือคําพูด ข้อความ และรูปภาพ และคาดการณ์เกี่ยวกับข้อมูลนั้น

คุณจะทําอย่างไรเมื่อคุณพิสูจน์ประเด็นของคุณในโครงข่ายประสาทเทียมแล้ว

ทําเร็วขึ้นคือคําตอบ เดียว

เมื่อวันอังคาร Meta เจ้าของ Facebook, Instagram และ WhatsApp ได้เปิดตัว Data2vec 2.0 ซึ่งเป็นการปรับปรุงโครงข่ายประสาทเทียมที่เปิดตัวเมื่อต้นปีนี้ซึ่งทําหน้าที่ทั่วไปโดยทํางานที่เกี่ยวข้องกับข้อมูลข้อความรูปภาพและคําพูดด้วยแนวทางพื้นฐานเดียวกันกับทั้งสาม 

ครั้งที่สอง นักวิทยาศาสตร์ของ Meta ทําให้โปรแกรมเร็วขึ้น และในบางกรณี แม่นยํายิ่งขึ้นในการทดสอบเกณฑ์มาตรฐานของงานแมชชีนเลิร์นนิง

"Data2vec 2.0 แสดงให้เห็นว่าความเร็วในการฝึกของการเรียนรู้ภายใต้การดูแลด้วยตนเองสามารถปรับปรุงได้อย่างมีนัยสําคัญโดยไม่สูญเสียความแม่นยําของงานปลายน้ํา" เขียนผู้เขียน Alexei Baevski, Arun Babu, Wei-Ning Hsu และ Michael Auli ผู้เขียนสี่คนของบทความ Data2vec ต้นฉบับในงานใหม่นี้ การเรียนรู้ภายใต้การดูแลตนเองอย่างมีประสิทธิภาพพร้อมการแสดงเป้าหมายตามบริบทสําหรับการมองเห็น คําพูดและภาษา โพสต์บน arXiv 

ความสําเร็จเอกพจน์ของ Data2vec ที่สองนี้คือการลดเวลาที่ใช้ในการฝึก Data2vec โดยทั่วไปแล้วการฝึกอบรมโครงข่ายประสาทเทียมจะวัดในแง่ของ "ยุค" ซึ่งหมายถึงจํานวนครั้งที่โครงข่ายประสาทเทียมได้รับตัวอย่างการฝึกอบรม นอกจากนี้ยังสามารถวัดได้ด้วยเวลานาฬิกาแขวน ชั่วโมง นาที และวันที่นับตั้งแต่ต้นจนจบ

"การทดลองแสดงให้เห็นว่า Data2vec 2.0 สามารถเข้าถึงความแม่นยําเท่ากับอัลกอริทึมยอดนิยมที่มีอยู่จํานวนมากในความเร็วในการฝึก 2-16 เท่า" พวกเขาเขียน

ชื่อ Data2vec เป็นการเล่นชื่อของโปรแกรมสําหรับ "การฝัง" ภาษาที่พัฒนาโดย Google ในปี 2013 ที่เรียกว่า Word2vec โปรแกรมนั้นคาดการณ์ว่าคําต่างๆ รวมตัวกันอย่างไร ดังนั้น Word2vec จึงเป็นตัวแทนของโครงข่ายประสาทเทียมที่ออกแบบมาสําหรับข้อมูล ประเภทใดประเภทหนึ่ง

อย่างไรก็ตาม ในกรณีของ Data2vec Baevski และเพื่อนร่วมงานกําลังใช้โครงข่ายประสาทเทียมที่เรียกว่า Transformer ซึ่งพัฒนาโดย Ashish Vaswani และเพื่อนร่วมงานที่ Google ในปี 2017 และขยายให้ใช้กับข้อมูลหลายประเภท โครงสร้างเดียวกันของโครงข่ายประสาทเทียมสามารถทําหน้าที่ฝึกทั้งสาม - รูปภาพ คําพูด และข้อความ - โดยไม่ต้องเปลี่ยนแปลงให้เหมาะกับลักษณะเฉพาะของสิ่งเหล่านั้น 

Baevski และเพื่อนร่วมงานขยาย Transformer ไปสู่สิ่งที่เรียกว่าการเรียนรู้แบบ "ดูแลตนเอง" โครงข่ายประสาทเทียมได้รับการฝึกฝนโดยต้องผ่านหลายขั้นตอนซึ่งผลลัพธ์จะถูกเปรียบเทียบกัน

ประการแรก เครือข่ายจะบีบอัดตัวอย่างข้อมูล ซึ่งเรียกว่าการสร้างการแสดงข้อมูลอินพุต จากนั้นเครือข่ายเวอร์ชันที่สองมีรายการข้อมูลอินพุตบางส่วนที่ "ปิดบัง" โดยไม่ได้เปิดเผย ต้องสร้างการแสดงที่เครือข่ายเวอร์ชันแรกสร้างขึ้นขึ้นมาใหม่ซึ่งบังคับให้เครือข่ายที่สองสร้างแบบจําลองที่ดีขึ้นว่าข้อมูลเข้ากันได้อย่างไรโดยการเติมช่องว่างเป็นหลัก

เครือข่ายทั้งสอง - เครือข่ายที่มีการแสดงข้อมูลอินพุตแบบเต็มที่ไม่ได้ปิดบังแบบบีบอัด และเครือข่ายที่มีเวอร์ชันที่ไม่สมบูรณ์ที่พยายามทําให้เสร็จสมบูรณ์ - ถูกเรียกว่าครูและนักเรียนตามลําดับ เครือข่ายนักเรียนพยายามพัฒนาความรู้สึกของข้อมูล ถ้าคุณต้องการ โดยการสร้างสิ่งที่ครูประสบความสําเร็จแล้วแม้จะมีการปิดบัง

"แทนที่จะใช้ตัวถอดรหัสที่ใช้ Transformer เราใช้ตัวถอดรหัส convolutional ที่เล็กกว่า ซึ่งเราพบว่าการฝึกอบรมนั้นง่ายกว่าและเร็วกว่า" 

สําหรับการเปลี่ยนแปลงครั้งที่สอง แทนที่จะสร้างการแสดงที่บีบอัดซ้ําๆ ในเครือข่ายครู Data2vec ใหม่จะสร้างการแสดงเพียงครั้งเดียว จากนั้นจะนําสิ่งนั้นกลับมาใช้ใหม่เป็นเป้าหมายสิ่งที่ต้องคาดเดาสําหรับแต่ละจุดข้อมูลที่ปิดบัง

ดังที่ผู้เขียนกล่าวไว้ว่า "เพื่อตัดจําหน่ายค่าใช้จ่ายของการคํานวณแบบจําลองครู เราจึงนําตัวแทนของครูกลับมาใช้ใหม่สําหรับตัวอย่างการฝึกอบรมหลายเวอร์ชันที่สวมหน้ากาก

"อย่างเป็นรูปธรรม เราพิจารณาตัวอย่างการฝึกอบรมเวอร์ชันที่สวมหน้ากากที่แตกต่างกัน M และคํานวณการสูญเสียที่สัมพันธ์กับการแสดงเป้าหมายเดียวกัน"

สถาปัตยกรรมของ Data2vec 2.0 เมตาในครั้งนี้ได้แทนที่ส่วนที่สองของโปรแกรมซึ่งเคยเป็นตัวถอดรหัสที่ใช้ Transformer ด้วยตัวถอดรหัสที่ใช้โครงข่ายประสาทเทียมแบบ convolutional ซึ่งเป็นเทคโนโลยีที่เก่ากว่า พวกเขายังนําการแสดงที่บีบอัดของเครือข่าย "ครู" กลับมาใช้ใหม่เป็นเป้าหมายเดียวสําหรับอินสแตนซ์ที่ปิดบังข้อมูลของเครือข่าย "นักเรียน" หลายอินสแตนซ์

ในส่วนผลลัพธ์ของบทความ Baevski และทีมงานอธิบายว่าทั้งคู่ลดเวลาการฝึกอบรมและปรับปรุงความแม่นยําในทั้งสามโดเมนของการจดจําภาพ การรู้จําเสียง และการประมวลผลภาษา ธรรมชาติ

สําหรับการประมวลผลภาพ ผู้เขียนใช้ Data2vec เป็นพื้นฐานในการปรับแต่งสิ่งที่เรียกว่า "ViT" "Vision Transformer" ซึ่งเป็นโครงข่ายประสาทเทียมที่ออกแบบมาโดยเฉพาะสําหรับงานด้านการมองเห็นที่เปิดตัวเมื่อปี ที่แล้ว (PDF) โดย Alexey Dosovitskiy และเพื่อนร่วมงานที่ Google โปรแกรม Data2vec เป็นรากฐานที่ได้รับการฝึกอบรมล่วงหน้า ซึ่ง ViT เป็นการปรับแต่งอย่างละเอียดในแง่ของวรรณกรรม 

เมื่อเทียบกับผลลัพธ์ของเดือนมกราคม ViT ที่ได้รับการสนับสนุนจาก Data2vec ได้นําโครงข่ายประสาทเทียมอื่นๆ ที่ใช้เป็นพื้นฐานสําหรับ ViT ในแง่ของความแม่นยําบน ImageNet ซึ่งเป็นการทดสอบแบบคลาสสิกในการกําหนดป้ายกํากับให้กับรูปภาพ และยังอยู่ในอันดับต้น ๆ ของ Data2vec เวอร์ชันก่อนหน้าเช่นกัน

แต่นอกเหนือจากความแม่นยําแล้ว Data2vec ใหม่ยังใช้เวลาในการฝึกอบรมน้อยกว่ามาก Data2vec ก่อนหน้านี้ใช้เวลา 800 ยุค คราวนี้ลดลงเหลือ 150 ยุค และถัดจากเครือข่ายที่ควบคุมตนเองที่แข่งขันกัน ตัวเข้ารหัสอัตโนมัติที่สวมหน้ากาก หรือ MAE ซึ่งเป็นการสร้าง Meta อีกอย่างหนึ่ง (PDF) การฝึกอบรมจะถูกตัดจาก 1,600 ยุคเป็น 100 แม้ว่าความแม่นยําของ Data2vec ใหม่จะเหนือกว่า MAE ก็ตาม ระบบการฝึกอบรมที่เร็วขึ้นส่งผลให้เวลาสัมบูรณ์ในการฝึกลดลงอย่างมาก เพียง 66 ชั่วโมงสําหรับ Data2vec 2.0 เทียบกับ 113.6 ชั่วโมงสําหรับ MAE

ในการรู้จําเสียง งานคือการกรอกส่วนที่ขาดหายไปของตัวอย่างไฟล์เสียงของวลีที่พูด Data2vec ใหม่ต่อสู้กับโครงข่ายประสาทเทียมที่แข่งขันกันหลายตัวสําหรับการพูด รวมถึง data2vec ดั้งเดิม และโปรแกรมที่เรียกว่า Wav2vec, HuBERT และ WavLM ไม่ว่าในกรณีใด Data2vec 2.0 เอาชนะเครือข่ายเหล่านั้น แต่ "ได้รับความแม่นยําสูงกว่าโมเดลอื่นๆ ในเวลาการฝึกอบรมที่เร็วกว่า" ตัวอย่างเช่น การฝึกอบรม Data2vec 2.0 43 ชั่วโมงถึงความแม่นยําที่ต้องใช้เวลา 57 ชั่วโมงสําหรับ Data2vec ดั้งเดิม

ในเวทีที่สาม การประมวลผลภาษาธรรมชาติ Data2vec 2.0 ได้รับการทดสอบในสเปกตรัมของความท้าทายต่างๆ ซึ่งประกอบด้วยกรอบการประเมินความเข้าใจภาษาทั่วไป หรือที่เรียกว่า GLUE ซึ่งพัฒนาโดยสถาบันวิทยาศาสตร์คณิตศาสตร์ Courant ของ NYU ในปี 2019 

ในการทดสอบหนึ่งเครือข่ายต้องคาดการณ์ว่าประโยคหนึ่งตามมาจากอีกประโยคหนึ่งหรือไม่ -- การเกี่ยวข้องเชิงตรรกะ -- ในขณะที่งานตัวแทนอีกงานหนึ่งท้าทายให้เครือข่ายติดป้ายกํากับเฟสที่ถูกต้องตามหลักไวยากรณ์หรือไม่

เมื่อเทียบกับ Data2vec ดั้งเดิม บวกกับโปรแกรมที่ใช้ Transformer สองโปรแกรม BERT ของ Google และเวอร์ชันแก้ไขที่เรียกว่า RoBERTa ซึ่งเปิดตัวในปี 2019 โดย Paul Allen School of Computer Science ที่มหาวิทยาลัยวอชิงตันและ Meta Data2vec เวอร์ชัน 2.0 ให้คะแนนได้อย่างงดงามในผลลัพธ์ GLUE ในขณะที่ฝึกอบรม ได้เร็วขึ้น

คะแนนความแม่นยําเฉลี่ยทั้งหมดในงาน GLUE ทั้งหมดสําหรับเวอร์ชันใหม่นี้คือ 82.6 ซึ่งต่ํากว่า 82.7 ของ Data2vec ดั้งเดิมเพียงเศษเสี้ยว แต่สูงกว่า 81.2 ของ BERT และสูงกว่า 82.5 ของ RoBERTa แต่ Data2vec 2.0 ใช้เวลาเพียง 28.2 ชั่วโมงในการไปถึงระดับนั้น น้อยกว่าครึ่งหนึ่งของ 69 ชั่วโมงที่ใช้สําหรับ Data2vec ดั้งเดิม และน้อยกว่า 50.5 ชั่วโมงสําหรับ RoBERTa มาก

Baevski และทีมงานเขียนว่าพวกเขาจะขยาย Data2vec ในอนาคตไปยังข้อมูลรูปแบบอื่นๆ นอกเหนือจากคําพูด รูปภาพ และข้อความ ซึ่งเพิ่มโอกาสที่จะเป็นคนทั่วไป มากยิ่งขึ้น

ข้อจํากัดอย่างหนึ่งดูเหมือนจะคงอยู่ เช่นเดียวกับ Data2vec ดั้งเดิม เวอร์ชัน 2.0 ยังคงจัดการข้อมูลแต่ละประเภทแตกต่างกันเมื่อป้อนข้อมูลไปยังเครือข่ายเป็นครั้งแรกระหว่างการฝึกอบรม นั่นหมายความว่า Data2vec ยังไม่ได้พัฒนาวิธีทั่วไปอย่างสมบูรณ์ในการจัดการประเภท ข้อมูล

รูปภาพ คําพูด และข้อความทั้งหมดจัดทําขึ้นโดยการประมวลผลข้อมูลล่วงหน้า ด้วยวิธีนี้ แง่มุมหลายโมดอลของเครือข่ายยังคงอาศัยเบาะแสเกี่ยวกับข้อมูล ซึ่งทีมงานเรียกว่า "ตัวเข้ารหัสอินพุตเฉพาะกิริริตี้ขนาดเล็ก"

นอกจากนี้ การเข้ารหัสที่บีบอัดแต่ละรายการจากเครือข่ายครูจะถูกสร้างขึ้นแยกต่างหากสําหรับข้อมูลทั้งสามประเภท ยังไม่มีความสามารถในการสร้าง "การเข้ารหัสขั้นสูง" ที่จะรวมประเภทข้อมูลทั้งหมดในคราวเดียวเป็นตัวแทน เดียว

ดังนั้น เช่นเดียวกับ Data2vec 1.0 โครงข่ายประสาทเทียมที่อาจเป็น One Network to Rule Them All อย่างแท้จริงยังคงเป็นเทคโนโลยีแห่งอนาคต

เช่นเดียวกับ Data2vec ดั้งเดิม Meta ได้โพสต์โค้ดบน GitHub