3 ความเร่งรีบด้านข้างที่ร่ํารวยที่คุณสามารถเริ่มต้นได้ทันทีด้วยโปรแกรมสร้างวิดีโอ Sora ของ OpenAI

ซอฟต์แวร์ใช้วิธีการ "ความสนใจ" ที่เป็นที่นิยมเพื่อสร้างวิดีโอริมฝีปากของผู้พูดและรูปคลื่นเสียงเสริมซึ่งกันและกันในลักษณะที่มีประสิทธิภาพและแม่นยํากว่าแนวทางก่อนหน้านี้มาก

"แม้ว่าคุณจะใช้ความระมัดระวังอย่างละเอียดถี่ถ้วนในฝักเพื่อไม่ให้ฉันได้ยินคุณ แต่ฉันก็เห็นริมฝีปากของคุณขยับได้"

เป็นที่ทราบกันดีว่าผู้คนได้ยินคําพูดไม่เพียง แต่โดยการฟังด้วยหู แต่ยังโดยการรับสัญญาณจากการเคลื่อนไหวของปากที่พวกเขาสังเกตเห็นในส่วนของผู้พูด 

ในทํานองเดียวกันการรวมการสังเกตด้วยสายตาเข้ากับเสียงสามารถช่วยให้คอมพิวเตอร์แยกวิเคราะห์คําพูดของมนุษย์ได้ดีขึ้น ในแง่หนึ่งโปรแกรมคอมพิวเตอร์สามารถอ่านริมฝีปากได้แม้ว่าจะเป็นงานที่ลําบากในการเขียนวิศวกรรม 

งาน AI ล่าสุดโดย Meta ซึ่งเป็นผู้ปกครองของ Facebook, Instagram และ WhatsApp ชี้ให้เห็นเส้นทางที่มีประสิทธิภาพมากขึ้นในวันที่คอมพิวเตอร์สามารถอ่านริมฝีปากได้เช่นเดียวกับ HAL 9000 เมื่อ Dr. David Bowman และ Dr. Frank Poole พยายามหลบเลี่ยงเซ็นเซอร์เสียงภายในพ็อดในภาพยนตร์เรื่อง "2001"

เมื่อวันศุกร์ที่แล้ว นักวิทยาศาสตร์ปัญญาประดิษฐ์ของ Meta ได้เผยแพร่รายงานการวิจัยซึ่งพวกเขาสามารถลดความพยายามที่จําเป็นในการออกแบบซอฟต์แวร์เพื่อแยกวิเคราะห์คําพูดของการเคลื่อนไหวริมฝีปากของผู้พูดในวิดีโอที่บันทึกไว้ได้อย่างมาก งานนี้ยังสามารถใช้เทคโนโลยีการอ่านริมฝีปากเพื่อปรับปรุงการจดจําเสียงในสภาพแวดล้อมที่มีเสียงรบกวนอย่างมีความหมาย  

โปรแกรมนี้มี "แม่นยํากว่าระบบการรู้จําเสียงและภาพที่ดีที่สุด 75% (ซึ่งใช้ทั้งเสียงและภาพของผู้พูดเพื่อทําความเข้าใจสิ่งที่บุคคลนั้นกําลังพูด)"

แน่นอนว่ามีมุมของ Metaverse ที่นี่: โปรแกรมไม่เพียงแต่สามารถใช้สําหรับการแปลได้ทันที แต่สักวันหนึ่ง มันยังสามารถ "ช่วยสร้างการเคลื่อนไหวของริมฝีปากที่สมจริงในอวตารเสมือนจริง เพื่อมอบความรู้สึกที่แท้จริงของการมีอยู่ -- ความรู้สึกของการอยู่ที่นั่นกับใครบางคนแม้ว่าพวกเขาจะอยู่อีกฟากหนึ่งของโลกก็ตาม"

งานนี้แสดงถึงความก้าวหน้าตามสองบรรทัด หนึ่งคือการเรียนรู้ภายใต้การดูแลตนเอง ซึ่งหลีกเลี่ยงเบาะแสเฉพาะ เช่น การถอดเสียงข้อความ และมีโปรแกรมโครงสร้างอันศักดิ์สิทธิ์ตามธรรมชาติในข้อมูลแทน อีกด้านหนึ่งของการพัฒนาคือสิ่งที่เรียกว่าโครงข่ายประสาทเทียมหลายรูปแบบ ซึ่งรวมข้อมูลประเภทต่างๆ เข้าด้วยกันในลักษณะที่เสริมสร้างซึ่งกันและกัน 

ผลลัพธ์ที่เรียกว่า AV-HuBERT "AV" ย่อมาจากภาพและเสียง "Hu" ย่อมาจาก "หน่วยที่ซ่อนอยู่" รวมสัญญาณการได้ยินและภาพเพื่อตรวจจับคําจากการเคลื่อนไหวของ ริมฝีปาก

ผู้เขียนหลัก Bowen Shi และเพื่อนร่วมงาน Wei-Ning Hsu, Kushal Lakhotia และ Abdelrahman Mohamed จาก Facebook โพสต์บทความของพวกเขา "การเรียนรู้การแสดงเสียงและภาพโดยการคาดการณ์คลัสเตอร์หลายรูปแบบที่สวมหน้ากาก" บนเซิร์ฟเวอร์ พรีพิมพ์ arXiv เมื่อวันศุกร์ที่ผ่านมา ผู้เขียนยังเขียน บล็อกโพสต์ที่คุณอาจพบว่าย่อยง่ายกว่า

ตามที่ Shi & Co. อธิบายว่างานก่อนหน้านี้ยังเป็นแบบมัลติโมดัล โดยรวมข้อมูลภาพ เฟรมวิดีโอกับข้อมูลเสียง ตัวอย่างรูปคลื่นเพื่อฝึกโครงข่ายประสาทเทียมเพื่อคาดการณ์ว่าพวกเขาจับคู่กันอย่างไร 

แต่โปรแกรมดังกล่าวมีแนวโน้มที่จะพึ่งพาเบาะแสเพิ่มเติมที่เตรียมไว้ เช่น การถอดความวิดีโอของผู้พูดเป็นประโยคข้อความที่ทําหน้าที่เป็นป้ายกํากับ งานใหม่กําลังดําเนินไปตามเส้นทางที่ควบคุมตนเอง โดยรวบรวมรูปแบบเข้าด้วยกันโดยธรรมชาติโดยไม่มีโครงสร้างภายนอก

"เป็นระบบแรกที่ร่วมกันสร้างแบบจําลองคําพูดและการเคลื่อนไหวของริมฝีปากจากข้อมูลที่ไม่มีป้ายกํากับ - วิดีโอดิบที่ยังไม่ได้ถอดเสียง" ผู้เขียนเขียนในบล็อกโพสต์ของพวกเขา

วิดีโอการอ่านริมฝีปากที่มีคําอธิบายประกอบระดับคําหลายรุ่นก่อนหน้านี้" เพื่อฝึกอบรม "ซึ่งมีค่าใช้จ่ายสูงในการรวบรวมเนื่องจากต้องการข้อมูลขอบเขตคํา ในทางตรงกันข้ามกับโมเดลเหล่านี้โมเดลของเราได้รับการฝึกอบรมล่วงหน้าอย่างเต็มที่ตั้งแต่เริ่มต้นโดยใช้แนวทางที่เสนอ

โปรแกรม AV-HuBERT ที่พวกเขาคิดค้นขึ้นสร้างขึ้นจากโปรแกรมเสียงเท่านั้นที่เรียกว่า HuBERT ที่เปิดตัวเมื่อปีที่แล้วโดย Hsu และเพื่อนร่วมงาน ตามชื่อที่บ่งบอกถึง HuBERT ใช้แนวทางโครงข่ายประสาทเทียม Transformer แบบสองทิศทางที่พัฒนาขึ้นที่ Google ในปี 2018 

ด้วยการ "ปิดบัง" ส่วนต่างๆ ของการบันทึกเสียง ซึ่งหมายถึงการละทิ้งส่วนต่างๆ ของรูปคลื่นเสียง โครงข่ายประสาทเทียม HuBERT ในขั้นตอนการฝึกอบรมต้องสร้างเสียงชิ้นใดขึ้นมา ใหม่

ตอนนี้ใน AV-HuBERT Shi และทีมงาน "หลอมรวม" บิตของเสียงกับเฟรมจากวิดีโอของผู้คนที่พูด ขั้นตอนการฝึกอบรมของโครงข่ายประสาทเทียมดําเนินการในสองขั้นตอน ประการแรก เช่นเดียวกับ HuBERT ที่มีเฉพาะเสียงดั้งเดิม พวกเขาใช้วิธีการให้ความสนใจเพื่อปกปิดเสียง จากนั้นจัดกลุ่มรูปคลื่นเสียงเหล่านั้นออกเป็นคลัสเตอร์ ซึ่งกลุ่มตัวอย่างที่อยู่ใกล้กันในแอตทริบิวต์ของพวกเขา

การจัดกลุ่มเหล่านั้นจะกลายเป็นเป้าหมายสําหรับขั้นตอนที่สองของโครงข่ายประสาทเทียม ส่วนมัลติโมดอลของ AV-HuBERT จะปกปิดทั้งภาพริมฝีปากของผู้พูดและรูปคลื่นเสียงพร้อมกัน จากนั้นพยายามจับคู่กับคลัสเตอร์ที่สร้างขึ้นในคลื่นแรก ด้วยวิธีนี้โปรแกรมจะคํานวณการกําหนดค่าริมฝีปากที่สอดคล้องกับรูปคลื่นเสียงดังนั้นจึง "เรียนรู้" ความสัมพันธ์ของการเคลื่อนไหวของปากและเอาต์พุต เสียง

นั่นคือแนวทางที่ดูแลตนเองอย่างมีประสิทธิภาพซึ่งทํานายโครงสร้างโดยไม่มีเบาะแสที่ชัดเจน

โครงสร้างของโปรแกรม AV-HuBERT โดยเริ่มจากข้อมูลภาพและเสียงที่ป้อนที่ด้านล่าง และส่งออกไปยัง "คลัสเตอร์" สุดท้ายที่ด้านบน

การหลอมรวมหมายความว่าความสนใจที่วางอยู่บนเฟรมภาพและที่วางบนรูปคลื่นเสียงจะเสริมสร้างซึ่งกันและกันเพื่อสร้างคลัสเตอร์ที่เหนือกว่าเพียงอย่างเดียว คลัสเตอร์เหล่านั้นกลายเป็น "เป้าหมาย" ของงานที่ตามมา เช่น การอ่านริมฝีปากและการรู้จําเสียง 

ตามที่ผู้เขียนอธิบาย 

AV-HuBERT จับข้อมูลทางภาษาและการออกเสียงสําหรับพื้นที่ที่ไม่ได้ปิดบังพร้อมกันจากทั้งการเคลื่อนไหวของริมฝีปากและสตรีมเสียงลงในการแสดงที่แฝงอยู่ จากนั้นเข้ารหัสความสัมพันธ์ทางชั่วคราวระยะยาวเพื่อแก้ปัญหาการคาดการณ์ที่ปกปิด

เมื่อ AV-HuBERT ได้รับการฝึกอบรมด้วยตนเองด้วยวิธีนี้ผู้เขียนจะทําการปรับแต่งอย่างละเอียดโดยแนะนําวิดีโอที่มีป้ายกํากับจริงหลายชั่วโมงพร้อมการถอดเสียงอย่างเป็นทางการที่บอกเครื่องว่าคําใดในวิดีโอ

ชุดข้อมูลหลักที่ใช้ในการทดสอบและฝึกอบรมโปรแกรม AV-HuBERT คือ LRS3 ซึ่งพัฒนาขึ้นในปี 2018 โดย Triantafyllos Afouras และเพื่อนร่วมงานที่ Oxford ซึ่งเป็น "ชุดข้อมูลการอ่านริมฝีปากระดับประโยคที่ใหญ่ที่สุดที่เปิดเผยต่อสาธารณะจนถึงปัจจุบัน ประกอบด้วยวิดีโอความยาวกว่า 400 ชั่วโมง ซึ่งดึงมาจากการพูดคุยของ TED และ TEDx เป็นภาษาอังกฤษจาก YouTube"

อันเป็นผลมาจากการฝึกอบรมภายใต้การดูแลตนเองของ AV-HuBERT มันสามารถทํานายคําศัพท์จากวิดีโอของผู้พูดได้ดีกว่าความพยายามก่อนหน้านี้เขียน Shi และ บริษัท

ผลการทดสอบการอ่านริมฝีปากสําหรับระบบ Meta ที่ "เสนอ", AV-HuBERT, ด้านล่าง และโปรแกรมที่ดีที่สุดในระดับเดียวกันก่อนหน้านี้

แต่ที่สําคัญกว่าคะแนนดิบคือการลดลงอย่างมากในปริมาณข้อมูลที่จําเป็นในการฝึกอบรมโปรแกรม 

"AV-HuBERT บรรลุความล้ําสมัยโดยใช้การถอดความข้อความ 433 ชั่วโมง ซึ่งน้อยกว่า 31,000 ชั่วโมงของข้อมูลที่มีป้ายกํากับที่ใช้ในแนวทางที่ดีที่สุดก่อนหน้านี้สอง ลําดับ"

ด้วยข้อมูลที่ต้องการน้อยลงมากจึงเป็นไปได้ที่จะทํางานอ่านริมฝีปากในภาษาที่มีข้อมูลน้อยกว่าภาษาอื่น ๆ ที่เรียกว่าภาษาที่มีทรัพยากรต่ํา (ลองนึกถึงภาษาอื่นที่ไม่ใช่ภาษาอังกฤษ ฝรั่งเศส และเยอรมัน เป็นต้น)

ผู้เขียนสังเกตว่า "ในฐานะงานในอนาคต AV-HuBERT สามารถนําไปใช้กับการอ่านริมฝีปากหลายภาษาในภาษาที่มีทรัพยากรต่ํา" และ "แนวทางเดียวกันนี้สามารถขยายไปยังแอปพลิเคชันอื่นๆ ของการแสดงคําพูดด้วยภาพ เช่น การปรับปรุงและการสร้างคําพูด"

Shi และเพื่อนร่วมงานได้เพิ่มการค้นพบด้วยบทความฉบับที่สองที่โพสต์เมื่อสัปดาห์ที่แล้วซึ่งอธิบายถึงการใช้ AV-HuBERT สําหรับการจดจําเสียงอัตโนมัติ ในที่นี้จุดเน้นอยู่ที่วิธีการแยกวิเคราะห์คําพูดให้ดีขึ้นในบริบทของเสียงรบกวน 

การรู้จําเสียง "ที่ปรับใช้ในสถานการณ์การประชุมอาจมีเสียงพูดพล่าม ในขณะที่ที่ใช้ในสภาพแวดล้อมที่บ้านจะพบกับเสียงดนตรี การทําอาหาร หรือเสียงของเครื่องดูดฝุ่นตามธรรมชาติ" คําถามของพวกเขาคือ AV-HuBERT สามารถเอาชนะเสียงรบกวนรอบข้างดังกล่าวได้หรือไม่

ในระหว่างการฝึกอบรม Shi และทีมงานมิกซ์คลิปเสียงรบกวนกับเฟรมวิดีโอของ AV-HuBERT และตัวอย่างรูปคลื่นเสียง พวกเขาเขียนว่าผลที่ได้คือโปรแกรมสามารถหลีกเลี่ยงคําพูดพล่ามได้ดี มากจน AV-HuBERT ลดอัตราความผิดพลาดของคําหรือ WER ซึ่งเป็นสัดส่วนของคําที่ผิดพลาดลง 50% เมื่อเทียบกับระบบการ รู้จําเสียงก่อนหน้านี้

"งานในอนาคตของเรารวมถึงการใช้การรู้จําเสียงและภาพและเสียงในสภาพแวดล้อมที่มีทรัพยากรต่ําและหลายภาษาในโลกแห่งความเป็นจริง"

ดังนั้นการอ่านริมฝีปากของ HAL 9000 นั้นจริงแค่ไหน? แนวคิดที่ว่า AI ตอนนี้ดีกว่ามนุษย์ในการอ่านริมฝีปากได้ถูกเขียนขึ้นในช่วงไม่กี่ปีที่ผ่านมาด้วยงาน AI ก่อนหน้านี้ อัตราความผิดพลาดของคําในการแสดงที่ดีที่สุดของ AV-HuBERT นั้นดีกว่าผู้อ่านริมฝีปากมืออาชีพของมนุษย์มากที่ 26.9% เห็นได้ชัดว่าผู้อ่านริม ฝีปากที่ดีที่สุดของมนุษย์ส่วนใหญ่ได้รับเพียง 40% (พวกเขาผิดสี่ครั้งในสิบครั้ง) เห็นได้ชัดว่าสําหรับสิ่งต่าง ๆ เช่นการถอดเสียงการพูดคุยหลังจากข้อเท็จจริงนี่อาจเป็นการส่งเสริมโปรแกรมซอฟต์แวร์อย่างมาก

ในทางปฏิบัติมีข้อแม้สําคัญ นี่เป็นการจําลองการอ่านริมฝีปากจริงๆ ผลลัพธ์ AV-HuBERT ผ่านการทดสอบในวิดีโอกระป๋อง ไม่ใช่การสนทนาสด รูปแบบอิสระ ในป่า เช่น Bowman และ Poole ในภาพยนตร์ 

ในขณะนี้ คุณอาจยังปลอดภัยภายในพ็อด