ปี 2024 อาจเป็นปีที่ AI เรียนรู้ได้ในมือคุณ

การฝึกโมเดลภาษาขนาดใหญ่ เช่น GPT-4 ของ OpenAI บนสมาร์ทโฟนนั้นยากเกินไป แต่การเปลี่ยนแปลงอาจเกิดขึ้นในไม่ช้า ต้องขอบคุณซอฟต์แวร์ที่ชาญฉลาดยิ่งขึ้น

โลกแห่งปัญญาประดิษฐ์ (AI) ส่วนใหญ่มีอยู่ในอุปกรณ์คอมพิวเตอร์คลาวด์และแทบไม่แตะต้องสมาร์ทโฟนของคุณ เมื่อคุณใช้เครื่องมือเช่น ChatGPT เพื่อตอบรับข้อความแจ้ง การทำงานอย่างหนักในการฝึกอบรมโปรแกรมเพื่อให้ทำงานได้อย่างถูกต้องได้เสร็จสิ้นไปแล้วหลายวัน สัปดาห์ และเดือนก่อนหน้านั้น เบื้องหลังในศูนย์ข้อมูล AI ขนาดมหึมาที่สร้างโดย Microsoft และอื่น ๆ

อย่างไรก็ตาม ปี 2024 อาจเป็นปีแห่งการแบ่งแยก และอาจเป็นช่วงที่ AI เริ่มเรียนรู้ในกระเป๋าของคุณ ความพยายามอยู่ระหว่างดำเนินการเพื่อให้สามารถฝึกโครงข่ายประสาทเทียม แม้แต่โมเดลภาษาขนาดใหญ่ (LLM) บนอุปกรณ์ส่วนตัวของคุณ โดยมีการเชื่อมต่อกับคลาวด์เพียงเล็กน้อยหรือไม่มีการเชื่อมต่อกับระบบเลย

ประโยชน์ที่ชัดเจนที่สุดของการฝึกอบรมบนอุปกรณ์ ได้แก่ การหลีกเลี่ยงความล่าช้าที่เกิดขึ้นจากการต้องเชื่อมต่อกับระบบคลาวด์ การเรียนรู้จากข้อมูลท้องถิ่นอย่างต่อเนื่องและเป็นส่วนตัว และรักษาความเป็นส่วนตัวที่จะถูกละเมิดโดยการส่งข้อมูลส่วนบุคคลไปยังศูนย์ข้อมูลคลาวด์

ผลกระทบของการฝึกอบรมบนอุปกรณ์อาจเป็นการเปลี่ยนแปลงความสามารถของโครงข่ายประสาทเทียม AI สามารถปรับให้เหมาะกับการกระทำของคุณในขณะที่คุณเดินไปรอบๆ แตะ เลื่อน และลาก AI สามารถเรียนรู้จากสภาพแวดล้อมที่คุณผ่านในระหว่างกิจวัตรประจำวันของคุณ โดยรวบรวมสัญญาณเกี่ยวกับโลก

งานล่าสุดโดยวิศวกรของ Apple แนะนำว่าบริษัทกำลังมองหาการนำโครงข่ายประสาทเทียมขนาดใหญ่ขึ้น ซึ่งเป็นประเภท "เจนเนอเรทีฟ" ที่แสดงโดย ChatGPT ของ OpenAI มาทำงานบน iPhone ในเครื่อง

หากพูดกว้างกว่านั้น Google ได้เปิดตัวแนวทาง AI ที่ลดขนาดลงอย่างมากที่เรียกว่า TinyML เมื่อหลายปีก่อน TinyML สามารถรันโครงข่ายประสาทเทียมในอุปกรณ์ที่ใช้พลังงานเพียงมิลลิวัตต์ เช่น เซ็นเซอร์อัจฉริยะที่วางอยู่บนเครื่องจักร

ความท้าทายที่ยิ่งใหญ่กว่าสำหรับบริษัทเทคโนโลยีคือการสร้างโครงข่ายประสาทเทียมเหล่านั้นไม่เพียงแต่คาดการณ์บนโทรศัพท์เท่านั้น แต่ยังเรียนรู้สิ่งใหม่ๆ บนโทรศัพท์ด้วย เพื่อดำเนินการฝึกอบรมในพื้นที่

ความพยายามนั้นต้องใช้พลังในการประมวลผล หน่วยความจำที่มากกว่า และแบนด์วิธที่มากกว่าสำหรับคอมพิวเตอร์ทุกเครื่องในการฝึกโครงข่ายประสาทเทียม มากกว่าที่จะใช้โครงข่ายประสาทเทียมที่เสร็จสมบูรณ์ในการคาดการณ์

มีความพยายามในการพิชิตภูเขาคอมพิวเตอร์นั้นด้วยการทำสิ่งต่างๆ เช่น การเลือกอัปเดตเฉพาะบางส่วนของ "น้ำหนัก" หรือ "พารามิเตอร์" ของโครงข่ายประสาทเทียม ความพยายามอันเป็นเอกลักษณ์คือ TinyTL ของ MIT ซึ่งใช้สิ่งที่เรียกว่าการเรียนรู้แบบถ่ายโอนเป็นวิธีหนึ่งในการปรับแต่งเครือข่ายประสาทที่ได้รับการฝึกฝนเป็นส่วนใหญ่แล้ว

จนถึงขณะนี้ TinyTL ถูกนำมาใช้กับสิ่งเล็กๆ น้อยๆ เช่น การจดจำใบหน้า แต่ความทันสมัยกำลังเคลื่อนไปสู่การจัดการ LLM ของ generative AI รวมถึง GPT-4 ของ OpenAI LLM มีน้ำหนักประสาทนับแสนล้านที่ต้องเก็บไว้ในหน่วยความจำ จากนั้นส่งต่อไปยังโปรเซสเซอร์เพื่อรับการอัปเดตเมื่อมีข้อมูลใหม่เข้ามา ความท้าทายในการฝึกอบรมนี้เกิดขึ้นในระดับที่ไม่เคยมีมาก่อน

รายงานการวิจัยในเดือนนี้โดยเจ้าหน้าที่ของ STMicroelectronics ยักษ์ใหญ่ด้านการผลิตชิปของยุโรป ระบุว่าความพยายามในการฝึกอบรมเหล่านี้ยังไม่เพียงพอในการอนุมานบนอุปกรณ์เคลื่อนที่ แต่อุปกรณ์ไคลเอ็นต์จะต้องฝึกโครงข่ายประสาทเทียมเพื่อให้อุปกรณ์มีความสดใหม่อยู่เสมอ

"การเปิดใช้งานการอนุมานเฉพาะรุ่นบนอุปกรณ์นั้นไม่เพียงพอ" Danilo Pietro Pau และ Fabrizio Maria Aymone เขียน “ประสิทธิภาพของโมเดล AI ที่จริงแล้วจะเสื่อมลงเมื่อเวลาผ่านไปนับตั้งแต่รอบการฝึกครั้งล่าสุด ปรากฏการณ์ที่เรียกว่าแนวคิดดริฟท์” ซึ่งวิธีแก้ปัญหาคืออัปเดตโปรแกรมด้วยข้อมูลการฝึกใหม่

ผู้เขียนแนะนำให้ลดโครงข่ายประสาทเทียมลง เพื่อให้ฝึกโมเดลบนอุปกรณ์ที่มีหน่วยความจำจำกัดได้ง่ายขึ้น โดยเฉพาะอย่างยิ่ง พวกเขาทดลองโดยลบสิ่งที่เรียกว่า "back-propogation" ซึ่งเป็นวิธีการทางคณิตศาสตร์ใน LLM ซึ่งเป็นส่วนที่ต้องใช้การประมวลผลมากที่สุดในการฝึกอบรม

Pau และ Aymone พบว่าการแทนที่ back-propogation ด้วยคณิตศาสตร์ที่ง่ายกว่าสามารถลดจำนวนหน่วยความจำบนอุปกรณ์ที่จำเป็นสำหรับน้ำหนักประสาทได้มากถึง 94%

นักวิทยาศาสตร์บางคนสนับสนุนให้แบ่งงานการฝึกอบรมออกเป็นอุปกรณ์ไคลเอนต์จำนวนมาก ซึ่งเรียกว่า "การเรียนรู้แบบรวมศูนย์"

การเรียนรู้แบบสหพันธ์ในการดำเนินการ

ในเดือนนี้ นักวิจัย Chu Myaet Thwal และทีมงานที่มหาวิทยาลัย Kyung Hee ได้ปรับเปลี่ยนรูปแบบของ LLM ที่ใช้สำหรับการรับรู้ภาพในคอมพิวเตอร์เวิร์กสเตชันมากถึง 50 เครื่อง โดยแต่ละเครื่องใช้การ์ดเกม Nvidia GPU เพียงตัวเดียว โค้ดของพวกเขาใช้หน่วยความจำบนอุปกรณ์ในการฝึกน้อยกว่าโครงข่ายประสาทเทียมเวอร์ชันมาตรฐานโดยไม่สูญเสียความแม่นยำ

ผู้เชี่ยวชาญบางคนแย้งว่าการสื่อสารผ่านเครือข่ายจะต้องได้รับการปรับเปลี่ยน เพื่อให้อุปกรณ์เคลื่อนที่สามารถสื่อสารได้ดีขึ้นเมื่อดำเนินการเรียนรู้แบบรวมศูนย์

ในเดือนนี้นักวิชาการที่สถาบันวิศวกรรมไฟฟ้าและอิเล็กทรอนิกส์ได้ตั้งสมมติฐานเกี่ยวกับเครือข่ายการสื่อสารที่ใช้มาตรฐาน 6G ที่กำลังจะมีขึ้น โดยการฝึกอบรม LLM จำนวนมากจะเสร็จสิ้นในศูนย์ข้อมูลก่อน จากนั้น คลาวด์จะประสานงานอุปกรณ์ไคลเอนต์จำนวนมากที่ "ปรับแต่ง" LLM ด้วยข้อมูลในเครื่อง

"การปรับแบบละเอียดแบบรวมศูนย์" ดังกล่าว ซึ่งแต่ละอุปกรณ์เรียนรู้บางส่วนของ LLM โดยไม่ต้องเริ่มต้นใหม่ทั้งหมด สามารถทำได้โดยใช้พลังการประมวลผลบนอุปกรณ์ที่ใช้พลังงานแบตเตอรี่น้อยกว่าการฝึกเต็มรูปแบบมาก

แนวทางต่างๆ มีเป้าหมายเพื่อลดหน่วยความจำและการประมวลผลที่จำเป็นสำหรับน้ำหนักประสาทแต่ละชนิด แนวทางสุดท้ายคือสิ่งที่เรียกว่า "โครงข่ายประสาทเทียมแบบไบนารี" ซึ่งแทนที่จะให้แต่ละน้ำหนักมีค่าเป็นตัวเลข น้ำหนักจะมีเพียง 1 หรือ 0 เท่านั้น ซึ่งช่วยลดปริมาณพื้นที่จัดเก็บข้อมูลบนอุปกรณ์ที่ต้องใช้อย่างมาก

ข้อกังวลด้านเทคนิคมากมายที่กล่าวถึงข้างต้นฟังดูเป็นนามธรรม แต่ให้พิจารณากรณีการใช้งานบางกรณีของการฝึกอบรมโครงข่ายประสาทเทียมในพื้นที่

ทีมงานที่มหาวิทยาลัยเทคโนโลยีนันยางในสิงคโปร์ในเดือนนี้ใช้การเรียนรู้บนอุปกรณ์เพื่อต่อต้านภัยคุกคามทางไซเบอร์โดยให้อุปกรณ์แต่ละชิ้นฝึกฝน "ระบบตรวจจับการบุกรุก" หรือ IDS ที่ใช้ AI เวอร์ชันท้องถิ่นซึ่งเป็นโปรแกรมรักษาความปลอดภัยทางไซเบอร์ทั่วไป

แทนที่จะให้อุปกรณ์ไคลเอ็นต์ต้องโต้ตอบกับเซิร์ฟเวอร์กลาง ทีมงานสามารถดาวน์โหลดร่างรหัส IDS เริ่มต้น แล้วปรับแต่งให้เหมาะสมกับเงื่อนไขความปลอดภัยในพื้นที่ได้ การฝึกอบรมดังกล่าวไม่เพียงแต่มีความเฉพาะเจาะจงมากขึ้นสำหรับภัยคุกคามความปลอดภัยในพื้นที่เท่านั้น แต่ยังป้องกันการส่งข้อมูลความปลอดภัยที่ละเอียดอ่อนกลับไปกลับมาผ่านเครือข่าย ซึ่งอาจถูกดักจับโดยฝ่ายที่เป็นอันตราย

มีข่าวลือว่า Apple กำลังจับตาดูฟังก์ชัน AI ในตัวที่ดีขึ้นสำหรับอุปกรณ์ iOS และได้เสนอเบาะแสเกี่ยวกับสิ่งที่สามารถทำได้ในบริบทของมือถือ

ในรายงานเมื่อเดือนสิงหาคม นักวิทยาศาสตร์ของ Apple ได้อธิบายวิธีการเรียนรู้คุณสมบัติของแอพมือถือโดยอัตโนมัติ ที่เรียกว่า Never-ending UI Learner โปรแกรมทำงานบนสมาร์ทโฟนและกดปุ่มโดยอัตโนมัติและดำเนินการโต้ตอบอื่นๆ เพื่อกำหนดประเภทของการควบคุมที่อินเทอร์เฟซผู้ใช้ต้องการ

จุดมุ่งหมายคือการใช้อุปกรณ์แต่ละเครื่องเพื่อเรียนรู้โดยอัตโนมัติ แทนที่จะอาศัยคนจำนวนมากที่ใช้เวลากดปุ่มและใส่คำอธิบายประกอบฟังก์ชันของแอป

การทดลองดำเนินการในสถานที่ควบคุมโดยเจ้าหน้าที่ของ Apple หากมีการพยายามทดลองใช้งานจริงโดยใช้ iPhone ของลูกค้าจริง "จำเป็นต้องมีแนวทางการรักษาความเป็นส่วนตัว (เช่น การฝึกอบรมบนอุปกรณ์)" ผู้เขียนเขียน

นักวิทยาศาสตร์ของ Apple อธิบายแนวคิดเกี่ยวกับมือถืออีกแนวคิดหนึ่งในปี 2022 ในบทความเรื่อง "การฝึกอบรมโมเดลภาษาประสาทคำศัพท์ขนาดใหญ่โดยการเรียนรู้แบบสมาพันธ์ส่วนตัวสำหรับอุปกรณ์ที่จำกัดทรัพยากร"

เป้าหมายของพวกเขาคือการฝึกอบรม AI การรู้จำเสียงบนอุปกรณ์มือถือโดยใช้แนวทางการเรียนรู้แบบรวมศูนย์

อุปกรณ์ของแต่ละคนใช้ตัวอย่างการโต้ตอบกับ "ผู้ช่วยเสียง" (อาจเป็น Siri) เพื่อฝึกโครงข่ายประสาทเทียม จากนั้น พารามิเตอร์เครือข่ายนิวรอลที่โทรศัพท์แต่ละเครื่องพัฒนาขึ้นจะถูกส่งไปยังเครือข่าย ซึ่งพารามิเตอร์เหล่านี้จะรวมกันเพื่อสร้างโครงข่ายประสาทที่ได้รับการปรับปรุง

สิ่งสำคัญที่ได้จากความพยายามในการวิจัยเหล่านี้ก็คือ นักวิทยาศาสตร์กำลังทำงานอย่างหนักโดยพยายามค้นหาวิธีบีบอัดและแบ่งงานการฝึกอบรมเพื่อให้เป็นไปได้บนอุปกรณ์ที่ใช้แบตเตอรี่ซึ่งมีหน่วยความจำน้อยกว่าและพลังการประมวลผลน้อยกว่าเวิร์กสเตชันและเซิร์ฟเวอร์

ความพยายามในการวิจัยนี้จะประสบความสำเร็จในปี 2567 หรือไม่นั้นคงต้องรอดูกันต่อไป อย่างไรก็ตาม สิ่งที่ชัดเจนอยู่แล้วก็คือ การฝึกโครงข่ายประสาทเทียมกำลังจะย้ายออกจากระบบคลาวด์ และอาจเป็นไปได้ว่าจะอยู่ในมือคุณ