คุณสามารถใช้งาน AI บนสมาร์ทโฟนของคุณได้เร็วๆ นี้หรือไม่? MediaTek บอกว่าใช่

MediaTek กำลังทำงานร่วมกับ Lllama 2 LLM ของ Meta เพื่อรันงาน AI เชิงสร้างสรรค์โดยตรงบนอุปกรณ์เคลื่อนที่ โดยไม่จำเป็นต้องประมวลผลบนคลาวด์ มีประโยชน์หลายประการสำหรับสิ่งนี้ แต่ก็มีข้อดีเช่นกัน

Generative AI ซึ่งเป็นหนึ่งในเทคโนโลยีที่กำลังเติบโตมากที่สุด ถูกใช้โดย ChatGPT และ Google Bard ของ OpenAI สำหรับการแชท และโดยระบบการสร้างภาพ เช่น Stable Diffusion และ DALL-E ยังคงมีข้อจำกัดบางประการเนื่องจากเครื่องมือเหล่านี้จำเป็นต้องใช้ศูนย์ข้อมูลบนคลาวด์ที่มี GPU หลายร้อยตัวเพื่อดำเนินกระบวนการคำนวณที่จำเป็นสำหรับทุกการสืบค้น

แต่วันหนึ่งคุณสามารถเรียกใช้งาน AI เชิงสร้างสรรค์ได้โดยตรงบนอุปกรณ์มือถือของคุณ หรือรถที่เชื่อมต่อของคุณ หรือในห้องนั่งเล่น ห้องนอน และห้องครัวของคุณด้วยลำโพงอัจฉริยะ เช่น Amazon Echo, Google Home หรือ Apple HomePod

MediaTek เชื่อว่าอนาคตนี้อยู่ใกล้กว่าที่เราตระหนัก วันนี้ บริษัทเซมิคอนดักเตอร์ในไต้หวันประกาศว่ากำลังทำงานร่วมกับ Meta เพื่อพอร์ต Lllama 2 LLM ยักษ์ใหญ่แห่งสังคมโซเชียล ร่วมกับ APU รุ่นล่าสุดของบริษัทและแพลตฟอร์มการพัฒนาซอฟต์แวร์ NeuroPilot เพื่อรันงาน AI เชิงสร้างสรรค์บนอุปกรณ์โดยไม่ต้องพึ่งพา ในการประมวลผลภายนอก

แน่นอนว่ายังมีข้อเสียอยู่: การดำเนินการนี้ไม่ได้กำจัดศูนย์ข้อมูลทั้งหมด เนื่องจากขนาดของชุดข้อมูล LLM (จำนวนพารามิเตอร์ที่มีอยู่) และประสิทธิภาพที่ต้องการของระบบจัดเก็บข้อมูล คุณยังคงต้องมีศูนย์ข้อมูล แม้ว่าจะเล็กกว่ามากก็ตาม

ตัวอย่างเช่น ชุดข้อมูล "ขนาดเล็ก" ของ Llama 2 มีจำนวนพารามิเตอร์ 7 พันล้านพารามิเตอร์ หรือประมาณ 13GB ซึ่งเหมาะสำหรับฟังก์ชัน AI ที่สร้างพื้นฐานบางอย่าง อย่างไรก็ตาม เวอร์ชันที่ใหญ่กว่ามากซึ่งมีพารามิเตอร์ถึง 72 พันล้านรายการนั้นต้องการพื้นที่จัดเก็บข้อมูลที่มากขึ้นตามสัดส่วน แม้ว่าจะใช้การบีบอัดข้อมูลขั้นสูง ซึ่งอยู่นอกเหนือความสามารถในทางปฏิบัติของสมาร์ทโฟนในปัจจุบัน ในอีกไม่กี่ปีข้างหน้า LLM ที่อยู่ระหว่างการพัฒนาจะมีขนาดใหญ่กว่า Llama 2 หรือ GPT-4 ถึง 10 ถึง 100 เท่าอย่างง่ายดาย โดยมีความต้องการพื้นที่เก็บข้อมูลเป็นร้อยกิกะไบต์และสูงกว่า

นั่นเป็นเรื่องยากสำหรับสมาร์ทโฟนที่จะจัดเก็บและมี IOPS เพียงพอสำหรับประสิทธิภาพของฐานข้อมูล แต่ไม่ใช่สำหรับอุปกรณ์แคชที่ออกแบบมาเป็นพิเศษซึ่งมีพื้นที่จัดเก็บแฟลชที่รวดเร็วและ RAM ขนาดเทราไบต์ ดังนั้น สำหรับ Llama 2 จึงเป็นไปได้ในปัจจุบันที่จะโฮสต์อุปกรณ์ที่ได้รับการปรับแต่งเพื่อให้บริการอุปกรณ์เคลื่อนที่ในแร็คยูนิตเดียวโดยไม่ต้องมีการประมวลผลหนักๆ มันไม่ใช่โทรศัพท์ แต่มันก็ค่อนข้างน่าประทับใจอยู่แล้ว!

MediaTek คาดว่าแอปพลิเคชัน AI ที่ใช้ Llama 2 จะพร้อมใช้งานสำหรับสมาร์ทโฟนที่ขับเคลื่อนโดย SoC เรือธงรุ่นถัดไป ซึ่งมีกำหนดออกสู่ตลาดภายในสิ้นปีนี้

เพื่อให้ AI กำเนิดอุปกรณ์เข้าถึงชุดข้อมูลเหล่านี้ ผู้ให้บริการมือถือจะต้องพึ่งพาเครือข่าย Edge ที่มีเวลาแฝงต่ำ เช่น ศูนย์ข้อมูลขนาดเล็ก/ตู้เก็บอุปกรณ์ที่มีการเชื่อมต่อที่รวดเร็วไปยังทาวเวอร์ 5G ศูนย์ข้อมูลเหล่านี้จะอยู่บนเครือข่ายของผู้ให้บริการโดยตรง ดังนั้น LLM ที่ทำงานบนสมาร์ทโฟนจึงไม่จำเป็นต้องผ่านเครือข่าย "กระโดด" จำนวนมากก่อนที่จะเข้าถึงข้อมูลพารามิเตอร์

นอกเหนือจากการรันปริมาณงาน AI บนอุปกรณ์ที่ใช้โปรเซสเซอร์พิเศษ เช่น MediaTek แล้ว LLM เฉพาะโดเมนยังสามารถย้ายไปใกล้กับปริมาณงานของแอปพลิเคชันได้โดยการรันในลักษณะไฮบริดด้วยอุปกรณ์แคชเหล่านี้ภายในศูนย์ข้อมูลขนาดเล็ก - ใน "ขอบของอุปกรณ์ที่มีข้อจำกัด" สถานการณ์

แล้วการใช้ AI ที่สร้างบนอุปกรณ์มีประโยชน์อย่างไร?

• เวลาแฝงที่ลดลง: เนื่องจากข้อมูลกำลังถูกประมวลผลบนอุปกรณ์ เวลาตอบสนองจึงลดลงอย่างมาก โดยเฉพาะอย่างยิ่งหากวิธีแคชที่แปลเป็นภาษาท้องถิ่นถูกใช้โดยส่วนที่เข้าถึงบ่อยของชุดข้อมูลพารามิเตอร์
• ความเป็นส่วนตัวของข้อมูลที่ได้รับการปรับปรุง: ด้วยการเก็บข้อมูลไว้ในอุปกรณ์ ข้อมูลนั้น (เช่น การสนทนาทางแชทหรือการฝึกอบรมที่ส่งโดยผู้ใช้) จะไม่ถูกส่งผ่านศูนย์ข้อมูล มีเพียงข้อมูลโมเดลเท่านั้น
• ประสิทธิภาพแบนด์วิธที่ได้รับการปรับปรุง: ในปัจจุบัน งาน AI เชิงสร้างสรรค์จำเป็นต้องใช้ข้อมูลทั้งหมดจากการสนทนาของผู้ใช้เพื่อส่งกลับไปกลับมาที่ศูนย์ข้อมูล ด้วยการประมวลผลแบบท้องถิ่น สิ่งนี้จำนวนมากจะเกิดขึ้นบนอุปกรณ์
• ความยืดหยุ่นในการดำเนินงานที่เพิ่มขึ้น: ด้วยการสร้างบนอุปกรณ์ ระบบสามารถทำงานได้ต่อไปแม้ว่าเครือข่ายจะหยุดชะงัก โดยเฉพาะอย่างยิ่งหากอุปกรณ์มีแคชพารามิเตอร์ขนาดใหญ่เพียงพอ
• ประสิทธิภาพการใช้พลังงาน: ศูนย์ข้อมูลไม่จำเป็นต้องใช้ทรัพยากรที่เน้นการประมวลผลมากนัก หรือใช้พลังงานมากในการส่งข้อมูลนั้นจากอุปกรณ์ไปยังศูนย์ข้อมูล

อย่างไรก็ตาม การบรรลุผลประโยชน์เหล่านี้อาจเกี่ยวข้องกับการแบ่งปริมาณงานและใช้เทคนิคการปรับสมดุลโหลดอื่นๆ เพื่อลดต้นทุนการประมวลผลของศูนย์ข้อมูลแบบรวมศูนย์และค่าใช้จ่ายด้านเครือข่าย

นอกเหนือจากความต้องการศูนย์ข้อมูล Edge ที่เชื่อมต่ออย่างรวดเร็วอย่างต่อเนื่อง (แม้ว่าจะเป็นศูนย์ที่มีความต้องการด้านการคำนวณและพลังงานลดลงอย่างมากก็ตาม) ยังมีอีกประเด็นหนึ่งคือ LLM ที่ทรงพลังแค่ไหนที่คุณสามารถใช้งานบนฮาร์ดแวร์ในปัจจุบันได้จริงๆ และแม้ว่าจะมีความกังวลน้อยลงเกี่ยวกับข้อมูลบนอุปกรณ์ที่ถูกดักจับข้ามเครือข่าย แต่ก็มีความเสี่ยงด้านความปลอดภัยที่เพิ่มขึ้นจากข้อมูลที่ละเอียดอ่อนจะถูกเจาะเข้าไปในอุปกรณ์ภายในเครื่อง หากไม่มีการจัดการอย่างเหมาะสม เช่นเดียวกับความท้าทายในการอัปเดตโมเดล ข้อมูลและการรักษาความสอดคล้องของข้อมูลบนอุปกรณ์แคช Edge แบบกระจายจำนวนมาก

และสุดท้ายก็มีค่าใช้จ่าย: ใครจะเป็นผู้รับผิดชอบค่าใช้จ่ายสำหรับศูนย์ข้อมูลขนาดเล็กเหล่านี้? ในปัจจุบัน เครือข่าย Edge ได้รับการว่าจ้างโดยผู้ให้บริการ Edge (เช่น Equinix) ซึ่งจำเป็นสำหรับบริการต่างๆ เช่น Netflix และ iTunes ของ Apple ซึ่งปกติแล้วไม่ใช่ผู้ให้บริการเครือข่ายมือถือ เช่น AT&T, T-Mobile หรือ Verizon ผู้ให้บริการ Generative AI เช่น OpenAI/Microsoft, Google และ Meta จะต้องจัดการข้อตกลงที่คล้ายกัน

มีข้อควรพิจารณามากมายเกี่ยวกับ AI ที่สร้างบนอุปกรณ์ แต่ก็ชัดเจนว่าบริษัทเทคโนโลยีกำลังคิดเรื่องนี้อยู่ ภายในห้าปี ผู้ช่วยอัจฉริยะในอุปกรณ์ของคุณสามารถคิดได้ด้วยตัวเอง พร้อมสำหรับ AI ในกระเป๋าของคุณแล้วหรือยัง? มันกำลังมา และเร็วกว่าที่คนส่วนใหญ่คาดคิดไว้มาก