พิมพ์เขียวของ IBM สําหรับการเปลี่ยนแปลงอุตสาหกรรมใช้ประโยชน์จาก AI, 5G และการทํางานร่วมกันอย่างไร

เครื่องมือใหม่จากนักประดิษฐ์ Apache TVM ส่งเสริมสิ่งที่เรียกว่า "แอปพลิเคชันอัจฉริยะ" ซึ่งเป็นโปรแกรมที่ฝังแมชชีนเลิร์นนิงเป็นฟังก์ชัน

"โดยส่วนตัวแล้วฉันคิดว่าถ้าเราทําสิ่งนี้ถูกต้อง เราไม่จําเป็นต้องมี ML Ops" Luis Ceze ซีอีโอของ OctoML กล่าวเกี่ยวกับการเสนอราคาของบริษัทในการทําให้การปรับใช้แมชชีนเลิร์นนิงเป็นเพียงอีกฟังก์ชันหนึ่งของกระบวนการซอฟต์แวร์ DevOps

สาขา MLOps เกิดขึ้นเพื่อทําความเข้าใจความซับซ้อนของการใช้ปัญญาประดิษฐ์ในอุตสาหกรรม

Luis Ceze ซึ่งเป็นผู้ร่วมก่อตั้งและซีอีโอของสตาร์ทอัพ OctoML ซึ่งพัฒนาเครื่องมือเพื่อทําให้แมชชีนเลิร์นนิงเป็นไปโดยอัตโนมัติ

"ยังเร็วมากที่จะเปลี่ยน ML ให้เป็นแนวทางปฏิบัติทั่วไป"  Ceze กล่าวกับ ZDNet ในการให้สัมภาษณ์ผ่าน Zoom

"นั่นเป็นเหตุผลที่ฉันเป็นนักวิจารณ์ MLOps: เรากําลังตั้งชื่อให้กับบางสิ่งที่ไม่ได้กําหนดไว้อย่างดี และมีบางสิ่งบางอย่างที่กําหนดไว้อย่างดี เรียกว่า DevOps ซึ่งเป็นกระบวนการที่กําหนดไว้อย่างดีในการนําซอฟต์แวร์ไปสู่การผลิต และฉันคิดว่าเราควรใช้สิ่งนั้น"

"โดยส่วนตัวแล้วฉันคิดว่าถ้าเราทําสิ่งนี้ถูกต้อง เราไม่จําเป็นต้องมี ML Ops" Ceze กล่าว

"เราสามารถใช้ DevOps ได้ แต่สําหรับสิ่งนั้น คุณต้องสามารถปฏิบัติต่อโมเดลแมชชีนเลิร์นนิงราวกับว่าเป็นซอฟต์แวร์ชิ้นอื่นๆ ได้ ต้องพกพาได้ ต้องมีประสิทธิภาพ และการทําทั้งหมดนั้นเป็นสิ่งที่ยากมากในแมชชีนเลิร์นนิง เนื่องจากการพึ่งพากันอย่างแน่นหนาระหว่างโมเดล และฮาร์ดแวร์ กรอบงาน และห้องสมุด"

Ceze โต้แย้งว่าสิ่งที่จําเป็นคือการแก้ปัญหาการพึ่งพาที่เกิดขึ้นจากลักษณะที่แตกหักอย่างมากของสแต็กแมชชีนเลิร์นนิง

OctoML กําลังผลักดันแนวคิดของ "โมเดลเป็นฟังก์ชัน" ซึ่งหมายถึงโมเดล ML อ้างว่าแนวทางนี้ทําให้ความเข้ากันได้ข้ามแพลตฟอร์มราบรื่นและสังเคราะห์ความพยายามในการพัฒนาที่แตกต่างกันของการสร้างโมเดลแมชชีนเลิร์นนิงและการพัฒนา ซอฟต์แวร์ทั่วไป

OctoML เริ่มต้นชีวิตด้วยการนําเสนอคอมไพเลอร์ Apache TVM แบบโอเพ่นซอร์สเวอร์ชันบริการเชิงพาณิชย์ ซึ่ง Ceze และเพื่อนร่วมก่อตั้งเป็นผู้ คิดค้น

เมื่อวันพุธ บริษัทได้ประกาศการขยายเทคโนโลยี รวมถึงความสามารถในการทํางานอัตโนมัติเพื่อแก้ไขการพึ่งพา เหนือสิ่งอื่นใด และ "ข้อมูลเชิงลึกด้านประสิทธิภาพและความเข้ากันได้จากกลุ่มเป้าหมายการปรับใช้ 80+ กลุ่มที่ครอบคลุม" ซึ่งรวมถึงอินสแตนซ์คลาวด์สาธารณะมากมายจาก AWS, GCP และ Azure และการรองรับ CPU เวอร์ชันต่างๆ — x86 และ ARM — GPU และ NPU จากผู้ขาย หลายราย

"เราต้องการให้วิศวกรซอฟต์แวร์ชุดกว้างขึ้นเพื่อให้สามารถปรับใช้โมเดลบนฮาร์ดแวร์กระแสหลักได้โดยไม่ต้องมีความรู้เฉพาะทางเกี่ยวกับระบบแมชชีนเลิร์นนิง" Ceze กล่าว

รหัสนี้ได้รับการออกแบบมาเพื่อจัดการกับ "ความท้าทายครั้งใหญ่ในอุตสาหกรรม" Ceze กล่าวคือ "วุฒิภาวะของการสร้างโมเดลเพิ่มขึ้นเล็กน้อย ดังนั้น ตอนนี้ ความเจ็บปวดจํานวนมากกําลังเปลี่ยนไป เฮ้ ฉันมีโมเดล ตอนนี้จะทําอย่างไร"

เวลาเฉลี่ยในการเปลี่ยนจากโมเดลแมชชีนเลิร์นนิงใหม่คือสิบสองสัปดาห์ Ceze กล่าว และครึ่งหนึ่งของโมเดลทั้งหมดไม่ได้ถูกปรับใช้

"เราต้องการลดให้เหลือเวลาไม่กี่ชั่วโมง" Ceze กล่าว

หากทําถูกต้อง Ceze กล่าวว่าเทคโนโลยีของควรนําไปสู่โปรแกรมคลาสใหม่ที่เรียกว่า "แอปพลิเคชันอัจฉริยะ" ซึ่ง OctoML กําหนดว่าเป็น "แอปที่มีโมเดล ML รวมอยู่ในฟังก์ชันการทํางาน"

เครื่องมือของ OctoML มีไว้เพื่อทําหน้าที่เป็นไปป์ไลน์ที่แยกความซับซ้อนของการใช้โมเดลแมชชีนเลิร์นนิงและเพิ่มประสิทธิภาพสําหรับแพลตฟอร์มฮาร์ดแวร์ และซอฟต์แวร์เป้าหมายที่กําหนด

แอปคลาสใหม่นั้น "กําลังกลายเป็นแอปส่วนใหญ่" Ceze กล่าว โดยอ้างถึงตัวอย่างของแอป Zoom ที่อนุญาตให้ใช้เอฟเฟกต์พื้นหลัง หรือโปรแกรมประมวลผลคําที่ทํา "NLP ต่อเนื่อง" หรือการประมวลผลภาษา ธรรมชาติ

"ML ไปทุกที่ มันกลายเป็นส่วนสําคัญของสิ่งที่เราใช้" Ceze กล่าว "มันควรจะสามารถรวมเข้าด้วยกันได้อย่างง่ายดาย นั่นคือปัญหาที่เราตั้งใจจะแก้ไข"

Ceze กล่าวว่า ความล้ําสมัยใน MLOps คือ "เพื่อให้วิศวกรที่เป็นมนุษย์เข้าใจแพลตฟอร์มฮาร์ดแวร์ที่จะทํางาน เลือกไลบรารีที่เหมาะสม ทํางานกับไลบรารี Nvidia เช่น คอมไพเลอร์ดั้งเดิมของ Nvidia ที่เหมาะสม และมาถึงสิ่งที่พวกเขาสามารถเรียกใช้ได้

"เราทําให้ทั้งหมดนั้นเป็นไปโดยอัตโนมัติ" เขากล่าวถึงเทคโนโลยี OctoML "รับแบบจําลอง เปลี่ยนเป็นฟังก์ชัน แล้วเรียกมัน" ควรเป็นความจริงใหม่ "คุณจะได้รับโมเดล Hugging Face ผ่าน URL และดาวน์โหลดฟังก์ชันนั้น"

ซอฟต์แวร์เวอร์ชันใหม่ใช้ความพยายามเป็นพิเศษในการรวมเข้ากับซอฟต์แวร์ เซิร์ฟเวอร์การอนุมาน Triton ของ Nvidia

Nvidia กล่าวในการกล่าวสุนทรพจน์ที่เตรียมไว้ว่า "การพกพา ความเก่งกาจ และความยืดหยุ่นของ Triton ทําให้เป็นคู่หูในอุดมคติสําหรับแพลตฟอร์ม OctoML"

เมื่อถูกถามเกี่ยวกับตลาดที่สามารถระบุตําแหน่งได้สําหรับ OctoML ในฐานะธุรกิจ Ceze ชี้ไปที่ "จุดตัดของ DevOps และ AI และโครงสร้างพื้นฐาน ML" DevOps นั้น "อายเพียงหนึ่งแสนล้านดอลลาร์" และโครงสร้างพื้นฐาน AI และ ML เป็นธุรกิจประจํา ปีหลายแสนล้านดอลลาร์