Meta กล่าวว่า Movie Gen ถือเป็นความก้าวหน้า 'ของจริง' ในการสร้างวิดีโอ AI

แม้จะมีคะแนนสูงเมื่อเทียบกับเทคโนโลยี Gen AI ที่แข่งขันกัน แต่คุณยังคงต้องมีมนุษย์ตรวจสอบว่าวิดีโอนั้นดีจริงหรือไม่

วิดีโอที่ผลิตด้วยปัญญาประดิษฐ์ (AI) มีจำนวนเพิ่มมากขึ้นหรือเป็นจริงแค่ไหน?

ปรากฎว่า มีมาตรการเชิงปริมาณสำหรับสิ่งนั้น หรือเกือบจะแล้ว มนุษย์ยังต้องตัดสินใจตามการรับรู้ของมนุษย์ว่าวิดีโอดีหรือไม่

Mark Zuckerberg เจ้าของ Meta Platforms ประกาศเมื่อวันศุกร์ว่าโมเดล AI ใหม่ชื่อ Movie Gen ที่สามารถสร้างวิดีโอ HD (ความละเอียด 1080p) ได้จากข้อความแจ้ง บริษัทกล่าวว่าวิดีโอเหล่านี้ "สมจริง" โดยเฉลี่ยมากกว่าวิดีโอที่สร้างโดยเทคโนโลยีคู่แข่ง (เช่น โมเดลข้อความเป็นวิดีโอ Sora ของ OpenAI)

นอกจากนี้ยังสามารถสร้างเสียงที่ซิงค์ ปรับแต่งวิดีโอเพื่อแสดงใบหน้าของบุคคล จากนั้นแก้ไขวิดีโอโดยอัตโนมัติด้วยข้อความแจ้ง เช่น "แต่งตัวนกเพนกวินในชุดวิคตอเรียน" เพื่อปิดบังนกเพนกวินบนหน้าจอ

ในเอกสารประกอบเรื่อง "Movie Gen: A Cast of Media Foundation Models" นักวิจัยของ Meta AI อธิบายว่าพวกเขาให้มนุษย์ประเมินความสมจริงของวิดีโอที่สร้างโดย AI ได้อย่างไร:

Realness: This measures which of the videos being compared most closely resembles a real video. For fantastical prompts that are out of the training set distribution (e.g., depicting fantasy creatures or surreal scenes), we define realness as mimicking a clip from a movie following a realistic art-style. We additionally ask the evaluators to select a reason behind their choice i.e., "subject appearance being more realistic" or "motion being more realistic".

มีโพสต์บล็อกร่วมด้วย

การทดสอบโดยมนุษย์ระบุคะแนนชนะ/แพ้ของ Movie Gen เทียบกับ Sora และโมเดล AI ข้อความเป็นวิดีโอที่โดดเด่นอีกสามโมเดล ได้แก่ Runway Gen3, Lumalabs และ Kling1.5

ผู้เขียนทราบว่ายังไม่สามารถเปรียบเทียบได้ดีในแบบอัตโนมัติได้ นอกจากนี้ "การประเมินความสมจริงและสุนทรียภาพอย่างมากนั้นขึ้นอยู่กับการรับรู้และความชอบของมนุษย์" พวกเขาเขียน

ไม่ใช่แค่ความสมจริงเท่านั้น แต่ยังรวมถึงเรื่องของความเคลื่อนไหวในวิดีโอที่ดีเพียงใด ไม่ว่าจะเป็นการข้ามหรือคลำหาบางส่วนของการกระทำ และความซื่อสัตย์ของวิดีโอต่อข้อความแจ้งที่ป้อน ล้วนเป็นสิ่งที่คุณไม่สามารถทำให้เป็นอัตโนมัติได้ พวกเขาระบุ

"เราพบว่าตัววัดอัตโนมัติที่มีอยู่ประสบปัญหาในการให้ผลลัพธ์ที่เชื่อถือได้ ซึ่งตอกย้ำความจำเป็นในการประเมินโดยมนุษย์"

เกณฑ์มาตรฐานวัดว่า "มนุษย์ชอบผลลัพธ์ของแบบจำลองของเราเทียบกับแบบจำลองอุตสาหกรรมที่แข่งขันกัน" บทความนี้เกี่ยวข้อง ซึ่งส่งผลให้มี "อัตราการชนะสุทธิ" ในรูปเปอร์เซ็นต์

อัตราการชนะโดยเฉลี่ยต่อโซระคือ 11.62% ของเวลา อัตราการชนะเมื่อเทียบกับคนอื่นๆ นั้นสูงกว่ามาก

"ชัยชนะสุทธิที่สำคัญเหล่านี้แสดงให้เห็นถึงความสามารถของ Movie Gen Video ในการจำลองโลกแห่งความเป็นจริงด้วยวิดีโอที่สร้างขึ้นโดยคำนึงถึงฟิสิกส์ ด้วยการเคลื่อนไหวที่มีขนาดสมเหตุสมผล แต่สม่ำเสมอและไม่มีการบิดเบือน"

พวกเขานำเสนอตัวอย่างวิดีโอบนหน้าจอโดยตรงซึ่งตรงกันข้ามกับ Sora ดังที่ผู้เขียนเห็น "OpenAI Sora มีแนวโน้มที่จะสร้างวิดีโอที่สมจริงน้อยกว่า (เช่น จิงโจ้ที่เป็นการ์ตูนในแถวที่สอง) ซึ่งอาจขาดรายละเอียดการเคลื่อนไหวที่อธิบายไว้ในข้อความแจ้ง (เช่น หุ่นยนต์ไม่เดินที่ด้านล่าง แถว)."

ผู้เขียนสร้างโมเดล AI สำหรับ Movie Gen จากสิ่งที่พวกเขาเรียกว่า "โมเดลพื้นฐาน"

ในขั้นตอนการฝึกอบรม รูปภาพและวิดีโอจากชุดข้อมูลสาธารณะและชุดข้อมูลที่ได้รับอนุญาตจะถูกบีบอัดจนกว่าโมเดลจะเรียนรู้ที่จะสร้างพิกเซลของข้อมูลอย่างมีประสิทธิภาพ ผู้เขียนเกี่ยวข้อง ตามที่พวกเขาเรียกกันว่า "เราเข้ารหัสวิดีโอและรูปภาพในพื้นที่พิกเซล RGB ลงในพื้นที่แฝงที่ถูกบีบอัดแบบ spatiotemporal ที่เรียนรู้โดยใช้ Temporal Autoencoder (TAE) และเรียนรู้ที่จะสร้างวิดีโอในพื้นที่แฝงนี้"

Meta ใช้หลายขั้นตอนไม่เพียงแต่สร้างวิดีโอ แต่ยังซิงค์เสียง ความสามารถในการปรับแต่งส่วนบุคคล และการตัดต่อวิดีโออีกด้วย

การสร้างวิดีโอนั้นจะถูก "กำหนดเงื่อนไข" ในการป้อนข้อความเพื่อให้โมเดลสามารถผลิตวิดีโอที่สอดคล้องกับข้อความแจ้ง

ชิ้นส่วนต่างๆ รวมกันเป็นโมเดลที่มีพารามิเตอร์ถึง 3 หมื่นล้านพารามิเตอร์ ซึ่งถือว่าไม่ใหญ่มากตามมาตรฐานการฝึกอบรมในปัจจุบัน

โครงข่ายประสาทที่สองที่เรียกว่า "Movie Gen Audio" จะสร้างเสียงที่มีความเที่ยงตรงสูง แต่สำหรับเอฟเฟกต์เสียงและดนตรี ไม่ใช่สำหรับคำพูด ซึ่งสร้างขึ้นจากแนวทางที่มีอยู่เดิมที่เรียกว่า "หม้อแปลงไฟฟ้าแบบกระจาย" ซึ่งมีพารามิเตอร์ถึง 13 พันล้านพารามิเตอร์

ทั้งหมดที่ต้องใช้แรงม้าในการประมวลผลจำนวนมาก: "6,144 H100 GPU แต่ละตัวทำงานที่ 700W TDP และ 80GB HBM3 โดยใช้แพลตฟอร์มเซิร์ฟเวอร์ Grand Teton AI ของ Meta"

การสร้างวิดีโอไม่ใช่ทั้งหมดที่ Movie Gen ทำ ในขั้นตอนต่อมา ผู้เขียนยังให้โมเดลได้รับการฝึกอบรมเพิ่มเติมเพื่อสร้างวิดีโอ "เฉพาะบุคคล" ซึ่งสามารถบังคับให้ใบหน้าของบุคคลปรากฏในภาพยนตร์ได้

พวกเขายังเพิ่มองค์ประกอบสุดท้ายคือความสามารถในการแก้ไขวิดีโอด้วยข้อความแจ้ง ปัญหาที่ผู้เขียนเผชิญคือ "โมเดลการตัดต่อวิดีโอถูกขัดขวางด้วยความขาดแคลนข้อมูลการตัดต่อวิดีโอที่ได้รับการดูแล" ดังนั้นจึงไม่มีตัวอย่างเพียงพอที่จะให้โมเดล AI ฝึกได้

เพื่อแก้ไขปัญหาดังกล่าว ทีมงานจึงกลับไปใช้โมเดล Movie Gen AI และแก้ไขในหลายๆ ขั้นตอน ขั้นแรก พวกเขาใช้ข้อมูลจากการแก้ไขภาพเพื่อจำลองสิ่งที่เกี่ยวข้องกับการแก้ไขเฟรมของวิดีโอ พวกเขาใส่สิ่งนั้นลงในการฝึกโมเดลพร้อมกับการฝึกอ่านข้อความเป็นวิดีโอต้นฉบับ เพื่อให้โมเดล AI พัฒนาความสามารถในการประสานการแก้ไขแต่ละเฟรมกับวิดีโอหลายเฟรม

ในส่วนถัดไป ผู้เขียนป้อนวิดีโอให้โมเดล คำอธิบายข้อความ เช่น "คนที่เดินไปตามถนน" และวิดีโอที่แก้ไขแล้ว และฝึกโมเดลให้สร้างคำแนะนำที่จะนำไปสู่การเปลี่ยนแปลงจากวิดีโอต้นฉบับ เพื่อแก้ไขวิดีโอ กล่าวอีกนัยหนึ่ง พวกเขาบังคับให้โมเดล AI เชื่อมโยงคำแนะนำกับวิดีโอที่เปลี่ยนแปลง

เพื่อทดสอบความสามารถในการตัดต่อวิดีโอ ผู้เขียนได้รวบรวมการทดสอบเกณฑ์มาตรฐานใหม่โดยอิงจากวิดีโอ 51,000 รายการที่รวบรวมโดยนักวิจัยของ Meta พวกเขายังจ้างคนทำงานจำนวนมากเพื่อให้คำแนะนำในการแก้ไข

เพื่อประเมินการตัดต่อวิดีโอ ทีม Meta ขอให้ผู้ตรวจสอบที่เป็นมนุษย์ให้คะแนนว่าวิดีโอใดดีกว่า: วิดีโอที่สร้างขึ้นด้วยโมเดล AI ของพวกเขาหรือด้วยอุปกรณ์ที่ล้ำสมัยที่มีอยู่ พวกเขายังใช้มาตรการอัตโนมัติเพื่อเปรียบเทียบวิดีโอก่อนและหลังในงาน

"ผู้ตรวจสอบที่เป็นมนุษย์ชอบ Movie Gen Edit มากกว่าเกณฑ์พื้นฐานทั้งหมด" ผู้เขียนเขียน

ในขั้นตอนทั้งหมดเหล่านี้ ผู้เขียนได้เริ่มต้นในการประสานขนาดของโมเดล AI กับข้อมูล และปริมาณการประมวลผลที่ใช้ "เราพบว่าการปรับขนาดข้อมูลการฝึก การคำนวณ และพารามิเตอร์โมเดลของโมเดลที่ใช้ Transformer แบบธรรมดาที่ได้รับการฝึกด้วย Flow Matching จะทำให้ได้โมเดลสร้างคุณภาพสูงสำหรับวิดีโอหรือเสียง"

อย่างไรก็ตาม ผู้เขียนยอมรับว่าการประเมินโดยมนุษย์มีข้อผิดพลาด "การกำหนดเกณฑ์วัตถุประสงค์ในการประเมินการสร้างแบบจำลองโดยใช้การประเมินโดยมนุษย์ยังคงมีความท้าทาย ดังนั้นการประเมินโดยมนุษย์จึงอาจได้รับอิทธิพลจากปัจจัยอื่นๆ หลายประการ เช่น อคติส่วนบุคคล ภูมิหลัง ฯลฯ"

บทความนี้ไม่มีข้อเสนอแนะใดๆ เกี่ยวกับวิธีการจัดการกับอคติของมนุษย์ แต่ Meta ตั้งข้อสังเกตว่าพวกเขาจะปล่อยการทดสอบเกณฑ์มาตรฐานเพื่อให้ผู้อื่นใช้งาน โดยไม่เปิดเผยกรอบเวลา:

In order to thoroughly evaluate video generations, we propose and hope to release a benchmark, Movie Gen Video Bench, which consists of 1000 prompts that cover all the different testing aspects summarized above. Our benchmark is more than 3⇥ larger than the prompt sets used in prior work.

บริษัทยังให้คำมั่นที่จะเสนอวิดีโอเพื่อให้สาธารณะตรวจสอบได้: "เพื่อให้สามารถเปรียบเทียบอย่างยุติธรรมและง่ายดายกับ Movie Gen Video สำหรับผลงานในอนาคต เราหวังว่าจะเผยแพร่วิดีโอที่สร้างขึ้นที่ไม่ใช่เชอร์รี่คัดสรรของเราต่อสาธารณะสำหรับชุดพรอมต์ Movie Gen Video Bench ”

จากข้อมูลของ Meta โมเดล Movie Gen ยังไม่ได้ถูกปรับใช้ ในบทสรุปของรายงาน ผู้เขียนเขียนว่าโมเดล AI ทั้งหมด "จำเป็นต้องมีการปรับปรุงหลายประการก่อนที่จะนำไปใช้งาน" ตัวอย่างเช่น วิดีโอที่สร้างโดยโมเดล "ยังคงประสบปัญหา เช่น สิ่งประดิษฐ์ในวิดีโอที่สร้างขึ้นหรือแก้ไขเกี่ยวกับเรขาคณิตที่ซับซ้อน การจัดการกับวัตถุ ฟิสิกส์ของวัตถุ การแปลงสถานะ ฯลฯ" เสียง "บางครั้งไม่ซิงโครไนซ์เมื่อมีการเคลื่อนไหวหนาแน่น" เช่น วิดีโอการเต้นแท็ป

แม้จะมีข้อจำกัดเหล่านี้ Movie Gen ก็บอกเป็นนัยถึงเส้นทางสู่การสร้างและตัดต่อวิดีโอแบบเต็มรูปแบบ และแม้กระทั่งปรับแต่งพอดแคสต์วิดีโอให้มีลักษณะเหมือนของตัวเอง