เครื่องมือ AI ใหม่ของ Google สามารถเปลี่ยนข้อความเป็นเพลงได้

Google เพิ่งประกาศว่าได้พัฒนาเครื่องกําเนิดเพลงปัญญาประดิษฐ์ (AI) ใหม่ที่สามารถสร้างเพลงในแนวเพลงใดก็ได้พร้อมคําอธิบายข้อความ

ในบทความวิจัยที่ตีพิมพ์เมื่อวันพฤหัสบดีนักวิจัยของ Google ได้แนะนําเครื่องมือ AI ในการทําเพลงที่ขนานนามว่า "MusicLM" เป็นแบบจําลองที่สร้างเพลงที่มีความเที่ยงตรงสูงจากคําอธิบายข้อความเช่น 'ท่วงทํานองไวโอลินที่สงบเงียบซึ่งสนับสนุนด้วยริฟฟ์กีตาร์ที่บิดเบี้ยว'

MusicLM โยนกระบวนการสร้างเพลงแบบมีเงื่อนไขเป็นงานสร้างแบบจําลองลําดับต่อลําดับตามลําดับชั้น และ "สร้างเพลงที่ 24 kHz ที่ยังคงสอดคล้องกันเป็นเวลาหลายนาที ”

นอกจากนี้ เครื่องมือ AI ยังสามารถสร้างเพลง "ต้นฉบับ" จากข้อความและเสียงเตือนได้นานถึง 5 นาทีจากข้อความและสัญญาณการได้ยิน MusicLM ได้รับการฝึกอบรมเกี่ยวกับฐานข้อมูลที่ประกอบด้วยเพลงมากกว่า 2,80,000 ชั่วโมง เพื่อเรียนรู้วิธีสร้างเพลงที่สอดคล้องกันสําหรับคําอธิบายในแนวเพลงที่ต้องการ

"การทดลองของเราแสดงให้เห็นว่า MusicLM มีประสิทธิภาพเหนือกว่าระบบก่อนหน้านี้ทั้งในด้านคุณภาพเสียงและการปฏิบัติตามคําอธิบายข้อความ นอกจากนี้ เรายังแสดงให้เห็นว่า MusicLM สามารถปรับสภาพได้ทั้งข้อความและท่วงทํานอง โดยสามารถเปลี่ยนท่วงทํานองที่เป่านกหวีดและฮัมเพลงได้ตามสไตล์ที่อธิบายไว้ในคําบรรยายข้อความ"

จากรายงานการวิจัย MusicLM สามารถสร้างเพลงจากคําบรรยายที่เขียนไว้มากมาย เช่น:

เพลงประกอบหลักของเกมอาร์เคด มันดําเนินไปอย่างรวดเร็วและสนุกสนานพร้อมริฟฟ์กีตาร์ไฟฟ้าที่ติดหู ดนตรีซ้ําซากจําง่าย แต่มีเสียงที่ไม่คาดคิด เช่น ฉาบพังหรือกลองม้วน

หรือ

ผ่าน "โหมดเนื้อเรื่อง" ที่เสียงถูกสร้างขึ้นโดยให้ลําดับข้อความแจ้งที่สั้นกว่า ได้แก่ :

• เวลาทําสมาธิ (0:00-0:15), เวลาตื่นนอน (0:15-0:30), เวลาวิ่ง (0:30-0:45), เวลาให้ 100% (0:45-0:60)
• เพลงอิเล็กทรอนิกส์ที่เล่นในวิดีโอเกม (0:00-0:15), เพลงทําสมาธิที่เล่นข้างแม่น้ํา (0:15-0:30), ไฟ (0:30-0:45), ดอกไม้ไฟ (0:45-0:60)

MusicLM ของ Google ยังสามารถสร้างคลิปเพลงที่จับภาพอารมณ์และบรรยากาศจากภาพวาด โดยเฉพาะอย่างยิ่งจากคําอธิบายงานศิลปะที่มีชื่อเสียงที่สุดในโลกศิลปะ รวมถึง "The Scream " ของ Edvard Munch และ "The Persistence of Memory" ที่มีชื่อเสียงของ Salvador Dali

คุณสามารถไปที่หน้า GitHub ของ Google เพื่อฟังแทร็กเพลงบางเพลงที่สร้างโดย MusicLM

เพื่อสนับสนุนการวิจัยในอนาคต Google ได้เปิดตัว MusicCaps ซึ่งเป็นชุดข้อมูลที่ประกอบด้วยคู่เพลงและข้อความ 5.5k พร้อมคําอธิบาย Rich Text ที่จัดทําโดยผู้เชี่ยวชาญที่เป็นมนุษย์

อย่างไรก็ตาม อย่าคาดหวังว่า MusicLM จะเผยแพร่สู่สาธารณะในเร็วๆ นี้ เนื่องจากมีข้อกังวลมากมายที่ต้องแก้ไขก่อนที่จะเผยแพร่สู่สาธารณะ

นักวิจัยของ Google กล่าวว่าเครื่องมือ AI มีข้อจํากัดอยู่แล้ว ซึ่งรวมถึงอคติในการเขียนโปรแกรมที่อาจนําไปสู่การขาดการเป็นตัวแทนและการจัดสรรทางวัฒนธรรม คุณภาพเสียงร้อง และข้อบกพร่องทางเทคโนโลยี ตลอดจนการใช้การปฏิเสธและการจัดลําดับชั่วคราวที่ใช้ในข้อความแจ้ง

ในความเป็นจริงในระหว่างการทดลองนักวิจัยของ Google พบว่าประมาณหนึ่งเปอร์เซ็นต์ของตัวอย่างเพลงที่สร้างโดย MusicLM ถูกคัดลอกโดยตรงจากเพลงที่ได้รับการฝึกอบรมเกี่ยวกับการแจ้งข้อกังวลด้านลิขสิทธิ์

"เรารับทราบถึงความเสี่ยงที่อาจเกิดขึ้นกับการยักยอกเนื้อหาสร้างสรรค์ที่เกี่ยวข้องกับกรณีการใช้งาน เราเน้นย้ําอย่างยิ่งถึงความจําเป็นในการทํางานในอนาคตมากขึ้นในการจัดการกับความเสี่ยงเหล่านี้ที่เกี่ยวข้องกับการสร้างเพลง — เราไม่มีแผนที่จะปล่อยโมเดล ณ จุดนี้" การศึกษาระบุ