Nvidia ประกาศแพ็ต 'NIM' เพื่อเร่งความเร็วแอพ Gen AI

ชิปยักษ์ใหญ่ยังประกาศความร่วมมือกับ Hugging Face สำหรับการอนุมานในรูปแบบบริการ

กราฟิกฮีโร่ของ Nvidia สำหรับไมโครเซอร์วิส NIMs AI

บริษัทชิปยักษ์ใหญ่อย่าง Nvidia ประกาศเมื่อวันจันทร์ที่เริ่มต้นการประชุมคอมพิวเตอร์กราฟิก SIGGRAPH ประจำปี ข้อเสนอมากมายสำหรับซอฟต์แวร์คอนเทนเนอร์ "NIM" เพื่อรองรับฟังก์ชันและอุตสาหกรรมมากมาย และบริการคลาวด์สำหรับการรันโปรแกรมที่เรียกว่า "การอนุมาน" -as-a-service" โดยร่วมมือกับเว็บไซต์เครื่องมือสำหรับนักพัฒนา Hugging Face

NIM ใหม่ประกอบด้วยซอฟต์แวร์สำเร็จรูปสำหรับการรันโมเดล AI ที่ได้รับการปรับแต่งเพื่อใช้เป็น "โคไพล็อต" และเพื่อโต้ตอบกับโครงสร้างพื้นฐานการดึงข้อมูลหรือ "RAG" ซึ่งเป็นวิธีที่ได้รับความนิยมเพิ่มมากขึ้นในการเชื่อมต่อโมเดลภาษาขนาดใหญ่กับฐานข้อมูลภายนอก และแอปพลิเคชัน

จาก NIM สองสามโหลในปีที่แล้ว Nvidia ได้ขยายบัญชีรายชื่อเป็น NIM มากกว่าร้อยรายการในอุตสาหกรรมและกรณีการใช้งานที่แตกต่างกัน Kari Briski รองประธานฝ่ายการจัดการผลิตภัณฑ์ซอฟต์แวร์ generative AI ของ Nvidia กล่าวในการแถลงข่าว

NIM จัดทำ "โมเดลที่ได้รับการดูแลจัดการที่ดีที่สุดจากพันธมิตรโมเดล" รวมถึง Google, Meta, Microsoft และ Snowflake และโมเดลโอเพ่นซอร์ส "พร้อมใบอนุญาตที่เหมาะสมสำหรับการผลิตเชิงพาณิชย์"

("แบบจำลอง AI" เป็นส่วนหนึ่งของโปรแกรม AI ที่มีพารามิเตอร์โครงข่ายประสาทเทียมจำนวนมากและฟังก์ชันการเปิดใช้งานที่เป็นองค์ประกอบสำคัญสำหรับการทำงานของโปรแกรม AI)

NIM ใหม่ของ Nvidia รวมถึงโมเดลที่ใช้โมเดล AI แบบโอเพ่นซอร์ส เช่น โมเดลภาษา Llama 3.1 ของ Meta ที่เปิดตัวเมื่อสัปดาห์ที่แล้ว และ Mistral NeMo 12B ที่พัฒนาร่วมกับ Nvidia และบริษัท AI ของฝรั่งเศส Mistral AI นอกจากนี้ยังมี NIM ใหม่ที่มีจุดมุ่งหมายเพื่อทำให้แชทบอท "มีชีวิตขึ้นมา" ด้วยการเพิ่มคำพูด และสร้างขึ้นสำหรับโมเดล Parakeet สำหรับการรู้จำเสียงอัตโนมัติ พัฒนาโดย Nvidia และ AI สตาร์ทอัพ Suno.ai

NIM อื่นๆ มุ่งเน้นไปที่วิทยาการหุ่นยนต์และชีววิทยาดิจิทัล Nvidia ยังมี NIM ใหม่ที่มุ่งเน้นการพัฒนาผลิตภัณฑ์ 3 มิติ เพื่อใช้กับ "คำอธิบายฉากสากลแบบเปิด" หรือ Open USD ซึ่งเป็นมาตรฐานสำหรับการแปลระหว่างสภาพแวดล้อมการจำลอง 3 มิติที่แตกต่างกัน Nvidia ได้สร้าง Open USD ร่วมกับยักษ์ใหญ่ในอุตสาหกรรมอื่น ๆ รวมถึง Apple

Nvidia ยังได้อัปเกรด NIM ที่เน้นการเรนเดอร์กราฟิก Edify NIM ร่วมกับผู้ให้บริการถ่ายภาพสต็อก Getty Images การอัปเกรดดังกล่าวช่วยเพิ่มความเร็วในการเรนเดอร์ของการสร้างภาพ AI ของ Getty ได้อย่างมาก

ในบันทึกที่เกี่ยวข้อง Nvidia ได้ประกาศความพร้อมของ SDK "Omniverse" เวอร์ชันแรกสำหรับชุดหูฟัง Vision Pro ของ Apple Omniverse เป็น metaverse เวอร์ชันของ Nvidia ซึ่งมุ่งเน้นไปที่งานด้านการผลิต เช่น การแชร์โมเดล 3D ขนาดใหญ่ระหว่างทีมที่สร้างผลิตภัณฑ์

NIM เป็นตัวย่อของ Nvidia Inference Microservices เป็นส่วนโครงสร้างพื้นฐานซอฟต์แวร์ของข้อเสนอซอฟต์แวร์ AI Enterprise ของ Nvidia ซึ่งเปิดตัวครั้งแรกในเดือนมกราคม 2023 NIM เป็นโมเดล AI ในคอนเทนเนอร์แอปพลิเคชันที่ทำงานบนตัวจัดการคอนเทนเนอร์ เช่น Kubernetes และ เข้าถึงได้โดยนักพัฒนาผ่าน API เนื่องจากเป็นโมเดล AI เวอร์ชันไมโครเซอร์วิส จึงควร "ทิ้งลงใน" แอปพลิเคชันต่างๆ ได้อย่างง่ายดาย

ในขณะเดียวกัน บริการอนุมาน Hugging Face ซึ่งทำงานบน DGX Cloud ของ Nvidia ซึ่งเป็นบริการโครงสร้างพื้นฐาน ช่วยเพิ่มประสิทธิภาพการทำงานได้อย่างมาก Briski กล่าว ตัวอย่างเช่น Llama 3.1 70B รุ่นใหม่ที่ Meta เปิดตัวเมื่อสัปดาห์ที่แล้ว สามารถดำเนินการอนุมานได้เร็วกว่าการทำงานบนฮาร์ดแวร์ "นอกชั้นวาง" ถึงห้าเท่า Nvidia กล่าว

แม้ว่า Hugging Face จะมีโมเดลประมาณ 750,000 รุ่น แต่ Briski กล่าวว่าบริการอนุมานนั้นถูกจำกัดไว้ชั่วคราวสำหรับโมเดลที่ Nvidia "NIM-ified" ตามที่บริษัทกล่าวไว้ ซึ่งหมายถึง กลายเป็น NIM

NIM สามารถทำงานนอกบริการ Hugging Face ได้ในทุกสภาพแวดล้อมที่ลูกค้าต้องการ รวมถึงภายในองค์กร Briski กล่าว ตราบใดที่พวกเขาสามารถเข้าถึง GPU และตราบใดที่พวกเขาสมัครรับข้อเสนอการสมัครสมาชิก Nvidia Enterprise การสมัครสมาชิก Nvidia Enterprise มีค่าใช้จ่าย 4,500 ดอลลาร์ต่อ GPU ต่อปี