CEO ของ Pinecone มุ่งมั่นที่จะมอบความรู้ให้กับ AI

บริษัทต่างๆ พยายามค้นหาเวกเตอร์ที่เป็นหัวใจของ AI มาเป็นเวลานาน นี่เป็นเทคโนโลยีที่มุ่งเน้นในด้านนี้หรือไม่?

ChatGPT และโปรแกรม AI เจนเนอเรชั่นอื่นๆ พ่น "ภาพหลอน" ออกมา ซึ่งเป็นการยืนยันความเท็จตามความเป็นจริง เนื่องจากโปรแกรมไม่ได้สร้างมาเพื่อ "รู้" สิ่งใดเลย มันถูกสร้างขึ้นเพื่อสร้างชุดอักขระที่ต่อเนื่องมาจากสิ่งที่คุณเพิ่งพิมพ์

“ถ้าฉันถามคำถามเกี่ยวกับยา กฎหมาย หรือคำถามทางเทคนิค LLM (โมเดลภาษาขนาดใหญ่) จะไม่มีข้อมูลนั้น โดยเฉพาะอย่างยิ่งหากข้อมูลนั้นเป็นกรรมสิทธิ์” เอโดะ ลิเบอร์ตี้ ซีอีโอและผู้ก่อตั้งบริษัทสตาร์ทอัพ Pinecone กล่าวในการให้สัมภาษณ์ ล่าสุดกับ ZDNET “ดังนั้น มันจะสร้างอะไรบางอย่าง สิ่งที่เราเรียกว่าภาพหลอน”

บริษัทของ Liberty ซึ่งเป็นผู้ผลิตซอฟต์แวร์อายุสี่ขวบที่ได้รับการสนับสนุนจากธุรกิจร่วมทุนซึ่งตั้งอยู่ในนิวยอร์กซิตี้ มีความเชี่ยวชาญในสิ่งที่เรียกว่าฐานข้อมูลเวกเตอร์ บริษัทได้รับเงินทุนจำนวน 138 ล้านดอลลาร์สำหรับการค้นหาผลลัพธ์ที่น่าเชื่อถือของ GenAI ในสิ่งที่น่าเชื่อถือมากกว่า ซึ่งคล้ายกับความรู้ที่แท้จริง

"สิ่งที่ถูกต้องที่ต้องทำคือเมื่อคุณมีคำถาม ได้รับแจ้ง ให้ไปดึงข้อมูลที่เกี่ยวข้องจากฐานข้อมูลเวกเตอร์ ใส่สิ่งนั้นลงในหน้าต่างบริบท และทันใดนั้นคำถามของคุณหรือการโต้ตอบของคุณกับโมเดลภาษาก็มีจำนวนมาก มีประสิทธิภาพมากขึ้น” ลิเบอร์ตี้อธิบาย

ฐานข้อมูลเวกเตอร์เป็นมุมหนึ่งของความพยายามที่ขยายตัวอย่างรวดเร็วที่เรียกว่า "การสร้างการดึงข้อมูลเสริม" หรือ RAG โดยที่ LLM ค้นหาอินพุตจากภายนอกท่ามกลางการสร้างเอาต์พุตเพื่อขยายสิ่งที่โครงข่ายประสาทเทียมสามารถทำได้ด้วยตัวเอง

ในบรรดาแนวทางของ RAG ทั้งหมด ฐานข้อมูลเวกเตอร์เป็นหนึ่งในแนวทางที่มีพื้นฐานที่ลึกซึ้งที่สุดทั้งในด้านการวิจัยและอุตสาหกรรม อยู่ในรูปแบบที่หยาบกระด้างมานานกว่าทศวรรษ

ในบทบาทก่อนหน้าของเขาในบริษัทเทคโนโลยีขนาดใหญ่ Liberty ได้ช่วยบุกเบิกฐานข้อมูลเวกเตอร์ในฐานะงานแอบแฝงและงานสกั๊งค์ เขาดำรงตำแหน่งหัวหน้าฝ่ายวิจัยของ Yahoo! และในตำแหน่งผู้จัดการอาวุโสฝ่ายวิจัยสำหรับแพลตฟอร์ม Amazon AWS SageMaker และต่อมาเป็นหัวหน้าของ Amazon AI Labs

"หากคุณดูคำแนะนำในการช็อปปิ้งที่ Amazon หรืออันดับฟีดบน Facebook หรือคำแนะนำโฆษณา หรือค้นหาที่ Google สิ่งเหล่านี้ล้วนทำงานเบื้องหลังด้วยบางสิ่งที่เป็นฐานข้อมูลเวกเตอร์ที่มีประสิทธิภาพ" Liberty บอกกับ ZDNET

เป็นเวลาหลายปีแล้วที่ฐานข้อมูลเวกเตอร์ "ยังคงเป็นความลับที่ได้รับการดูแลอย่างดี" แม้แต่ในชุมชนฐานข้อมูลก็ตาม Liberty กล่าว ฐานข้อมูลเวกเตอร์ยุคแรกๆ ดังกล่าวไม่ใช่ผลิตภัณฑ์ที่มีวางจำหน่ายทั่วไป “ทุกบริษัทต้องสร้างบางสิ่งภายในเพื่อทำสิ่งนี้” เขากล่าว "ตัวฉันเองได้มีส่วนร่วมในการสร้างแพลตฟอร์มที่แตกต่างกันสองสามแบบที่ต้องใช้ความสามารถด้านฐานข้อมูลเวกเตอร์"

ข้อมูลเชิงลึกของ Liberty ในช่วงหลายปีที่ผ่านมาที่ Amazon คือการใช้เวกเตอร์ไม่สามารถยัดไว้ในฐานข้อมูลที่มีอยู่ได้ “มันเป็นสถาปัตยกรรมที่แยกจากกัน มันเป็นฐานข้อมูลที่แยกจากกัน บริการ -- มันเป็นฐานข้อมูลรูปแบบใหม่” เขากล่าว

เขาพูดอย่างชัดเจนว่า "เด็กซนไปไหน" กับ AI ก่อน ChatGPT เสียอีก "ด้วยโมเดลภาษาเช่น BERT ของ Google นั่นเป็นโมเดลภาษาแรกที่เริ่มได้รับความสนใจจากนักพัฒนาทั่วไป" Liberty กล่าวโดยอ้างถึงระบบ AI เจนเนอเรชั่นของ Google ซึ่งเปิดตัวในปี 2561 ซึ่งเป็นบรรพบุรุษของ ChatGPT

“เมื่อสิ่งนั้นเริ่มเกิดขึ้น นั่นเป็นช่วงเปลี่ยนผ่านในตลาด” มันเป็นการเปลี่ยนแปลงที่เขาต้องก้าวต่อไป เขากล่าว

"ฉันรู้ว่ามันยากแค่ไหน และใช้เวลานานเท่าใดในการสร้างเลเยอร์ฐานข้อมูลพื้นฐาน และเราต้องเริ่มต้นล่วงหน้า เพราะเรามีเวลาเพียงไม่กี่ปีก่อนที่บริษัทหลายพันแห่งจะนำไปใช้"

ฐานข้อมูลใดๆ ถูกกำหนดโดยวิธีการจัดระเบียบข้อมูล เช่น แถวและคอลัมน์ของฐานข้อมูลเชิงสัมพันธ์ และวิธีการเข้าถึง เช่น ภาษาคิวรีที่มีโครงสร้างของเชิงสัมพันธ์

ในกรณีของฐานข้อมูลเวกเตอร์ ข้อมูลแต่ละชิ้นจะถูกแทนด้วยสิ่งที่เรียกว่าการฝังเวกเตอร์ ซึ่งเป็นกลุ่มของตัวเลขที่วางข้อมูลในพื้นที่นามธรรม หรือที่เรียกว่า "พื้นที่ฝัง" ซึ่งมีพื้นฐานมาจากความคล้ายคลึงกัน ตัวอย่างเช่น เมืองในลอนดอนและปารีสอยู่ใกล้กันในพื้นที่ทางภูมิศาสตร์ที่ใกล้เคียงกันมากกว่าเมืองใดเมืองหนึ่งกับนิวยอร์ก การฝังเวกเตอร์เป็นเพียงวิธีตัวเลขที่มีประสิทธิภาพในการแสดงความคล้ายคลึงกัน

ในพื้นที่ฝัง ข้อมูลประเภทใดก็ได้สามารถแสดงให้ใกล้หรือไกลออกไปได้ขึ้นอยู่กับความคล้ายคลึงกัน ตัวอย่างเช่น ข้อความสามารถมองได้ว่าเป็นคำที่ใกล้เคียงกัน เช่น "ครอบครอง" และ "ตั้งอยู่" ซึ่งทั้งสองอยู่ใกล้กันมากกว่าอยู่ใกล้คำเช่น "ก่อตั้ง" รูปภาพ เสียง รหัสโปรแกรม ทุกสิ่งสามารถลดขนาดให้เป็นเวกเตอร์ตัวเลข จากนั้นจึงฝังลงไปตามความคล้ายคลึงกัน

ในการเข้าถึงฐานข้อมูล ฐานข้อมูลเวกเตอร์จะเปลี่ยนการสืบค้นให้เป็นเวกเตอร์ และเวกเตอร์นั้นจะถูกเปรียบเทียบกับเวกเตอร์ในฐานข้อมูลโดยพิจารณาจากความใกล้ชิดกับเวกเตอร์ในพื้นที่ฝัง ซึ่งเรียกว่า "การค้นหาความคล้ายคลึง" การจับคู่ที่ใกล้เคียงที่สุดคือผลลัพธ์ ซึ่งเป็นคำตอบของแบบสอบถาม

คุณสามารถดูได้ว่าสิ่งนี้มีความเกี่ยวข้องที่ชัดเจนสำหรับเครื่องยนต์ผู้แนะนำอย่างไร เครื่องดูดฝุ่นสองประเภทอาจอยู่ใกล้กันมากกว่าเครื่องดูดฝุ่นประเภทที่สาม ข้อความค้นหาเครื่องดูดฝุ่นอาจถูกจับคู่ว่าใกล้กับคำอธิบายใดๆ ของเครื่องดูดฝุ่นทั้งสามเครื่องมากน้อยเพียงใด การขยายหรือจำกัดการค้นหาให้แคบลงอาจนำไปสู่การค้นหาความคล้ายคลึงกันทั่วทั้งพื้นที่ที่ฝังในวงกว้างหรือละเอียดยิ่งขึ้น

แต่การค้นหาความคล้ายคลึงกันในการฝังเวกเตอร์นั้นไม่เพียงพอที่จะสร้างฐานข้อมูล ที่ดีที่สุดคือดัชนีเวกเตอร์อย่างง่ายสำหรับการดึงข้อมูลขั้นพื้นฐาน

Liberty เชื่อว่าฐานข้อมูลเวกเตอร์จะต้องมีระบบการจัดการ เช่นเดียวกับฐานข้อมูลเชิงสัมพันธ์ ซึ่งเป็นสิ่งที่ต้องจัดการกับความท้าทายมากมายที่ผู้ใช้ไม่รู้ด้วยซ้ำ ซึ่งรวมถึงวิธีการจัดเก็บเวกเตอร์ต่างๆ บนสื่อจัดเก็บข้อมูลที่มีอยู่ และวิธีการปรับขนาดพื้นที่จัดเก็บข้อมูลข้ามระบบแบบกระจาย และวิธีการอัปเดต เพิ่ม และลบเวกเตอร์ภายในระบบ

“สิ่งเหล่านี้เป็นคำถามที่มีเอกลักษณ์เฉพาะตัวมากและยากที่จะทำ และเมื่อคุณทำสิ่งนั้นในวงกว้าง คุณจะต้องสร้างระบบให้มีความเชี่ยวชาญสูงสำหรับสิ่งนั้น” Liberty กล่าว

“และจะต้องสร้างขึ้นใหม่ตั้งแต่ต้นจนจบ ในแง่ของอัลกอริธึม โครงสร้างข้อมูล และทุกอย่าง และจะต้องเป็นแบบคลาวด์เนทีฟ ไม่เช่นนั้น จริงๆ แล้ว คุณจะไม่สามารถรับต้นทุน ขนาด และประสิทธิภาพที่ต้องแลกมาได้จริงๆ ที่ทำให้เป็นไปได้และสมเหตุสมผลในการผลิต”

การจับคู่คำค้นหากับเวกเตอร์ที่จัดเก็บไว้ในฐานข้อมูลเข้ากันได้ดีกับโมเดลภาษาขนาดใหญ่ เช่น GPT-4 หน้าที่หลักคือจับคู่ข้อความค้นหาในรูปแบบเวกเตอร์กับข้อมูลการฝึกที่รวบรวมไว้ สรุปเป็นเวกเตอร์ และตรงกับสิ่งที่คุณพิมพ์ก่อนหน้านี้ซึ่งแสดงเป็นเวกเตอร์ด้วย

"วิธีที่ LLMs [โมเดลภาษาขนาดใหญ่] เข้าถึงข้อมูล พวกเขาเข้าถึงข้อมูลด้วยเวกเตอร์จริงๆ" Liberty อธิบาย "ไม่ใช่เมตาดาต้า ไม่ใช่ช่องที่เพิ่มซึ่งเป็นวิธีหลักในการแสดงข้อมูล"

ตัวอย่างเช่น "ถ้าคุณต้องการจะบอกว่า ให้ทุกอย่างที่มีลักษณะเช่นนี้มาให้ฉัน แล้วฉันก็เห็นภาพ -- บางทีฉันอาจจะครอบตัดใบหน้าแล้วพูดว่า โอเค ดึงทุกคนจากฐานข้อมูลที่มีลักษณะแบบนั้น จากรูปภาพทั้งหมดของฉัน ” ลิเบอร์ตี้อธิบาย

“หรือถ้าเป็นเสียง บางอย่างที่ฟังดูเหมือนนี้ หรือถ้าเป็นข้อความ ก็เป็นสิ่งที่เกี่ยวข้องจากเอกสารนี้” ข้อความค้นหาแบบรวมเหล่านั้นอาจเป็นเรื่องของการค้นหาความคล้ายคลึงกันที่แตกต่างกันในพื้นที่การฝังเวกเตอร์ที่แตกต่างกัน นั่นอาจเป็นประโยชน์อย่างยิ่งสำหรับอนาคตหลายรูปแบบที่กำลังจะมาถึง GenAI เนื่องจาก ZDNET เกี่ยวข้อง

ประเด็นทั้งหมดอีกครั้งคือการลดอาการประสาทหลอน

"สมมติว่าคุณกำลังสร้างแอปพลิเคชันสำหรับการสนับสนุนด้านเทคนิค: LLM อาจได้รับการฝึกอบรมเกี่ยวกับผลิตภัณฑ์แบบสุ่มบางอย่าง แต่ไม่ใช่ผลิตภัณฑ์ของคุณ และแน่นอนว่าจะไม่มีรุ่นใหม่ที่คุณกำลังจะออก เอกสารที่ยังไม่เปิดเผยต่อสาธารณะ” ผลที่ตามมาก็คือ "มันจะประกอบขึ้นเป็นอะไรบางอย่าง" เมื่อใช้ฐานข้อมูลเวกเตอร์ ข้อความที่เกี่ยวข้องกับผลิตภัณฑ์ใหม่จะถูกจับคู่กับข้อมูลเฉพาะนั้นแทน

มีการสำรวจช่องทางอื่นๆ ที่มีแนวโน้มดีในความพยายามของ RAG โดยรวม นักวิทยาศาสตร์ AI ตระหนักถึงข้อจำกัดของโมเดลภาษาขนาดใหญ่ จึงพยายามประมาณว่าฐานข้อมูลสามารถทำได้อย่างไร หลายๆ ฝ่ายรวมถึง Microsoft ได้ทดลองใช้การแนบโดยตรงกับ LLM บางอย่างเช่นหน่วยความจำดั้งเดิม ตามที่ ZDNET ได้รายงานไว้ก่อนหน้านี้

ด้วยการขยาย "หน้าต่างบริบท" ซึ่งเป็นคำสำหรับจำนวนสิ่งที่พิมพ์ไว้ก่อนหน้านี้ในพรอมต์ของโปรแกรมเช่น ChatGPT จะสามารถเรียกคืนได้มากขึ้นในแต่ละรอบของเซสชันการแชท

แนวทางดังกล่าวสามารถไปได้ไกลเท่านั้น Liberty บอกกับ ZDNET “หน้าต่างบริบทนั้นอาจมีหรือไม่มีข้อมูลที่จำเป็นในการสร้างคำตอบที่ถูกต้อง” เขากล่าว และในทางปฏิบัติ เขาให้เหตุผลว่า “เกือบจะไม่แน่นอน”

“หากคุณถามคำถามเกี่ยวกับการแพทย์ คุณจะไม่ใส่ความรู้ด้านการแพทย์ทั้งหมดไว้ในหน้าต่างบริบท” เขาชี้ให้เห็น ในกรณีที่เลวร้ายที่สุด "การยัดบริบท" ดังที่เรียกกันว่า อาจทำให้ภาพหลอนรุนแรงขึ้นได้ Liberty กล่าว "เพราะคุณกำลังเพิ่มเสียงรบกวน"

แน่นอนว่า ผู้จำหน่ายซอฟต์แวร์ฐานข้อมูลและเครื่องมืออื่นๆ ได้เห็นข้อดีของการค้นหาความคล้ายคลึงกันระหว่างเวกเตอร์ และเพิ่มความสามารถให้กับสินค้าที่มีอยู่ ซึ่งรวมถึง MongdoDB ซึ่งเป็นหนึ่งในระบบฐานข้อมูลที่ไม่เกี่ยวข้องที่ได้รับความนิยมมากที่สุด ซึ่งได้เพิ่ม "การค้นหาเวกเตอร์" ลงในแพลตฟอร์มฐานข้อมูลที่จัดการบนคลาวด์ Atlas นอกจากนี้ยังมี Couchbase ผู้จำหน่ายฐานข้อมูลขนาดเล็กอีกด้วย

“พวกเขาไม่ได้ผล” ลิเบอร์ตี้กล่าวถึงความพยายามของฉันก็เช่นกัน “เพราะพวกเขาไม่มีกลไกที่ถูกต้องด้วยซ้ำ”

วิธีการเข้าถึงระบบฐานข้อมูลอื่นไม่สามารถเชื่อมโยงกับการค้นหาความคล้ายคลึงกันของเวกเตอร์ในมุมมองของเขา ลิเบอร์ตี้เสนอตัวอย่างการเรียกคืน “ถ้าฉันถามคุณว่าคุณสัมภาษณ์อะไรครั้งล่าสุด สิ่งที่เกิดขึ้นในสมองของคุณไม่ใช่การสืบค้น SQL” เขากล่าว โดยอ้างถึงภาษาการดึงข้อมูลที่มีโครงสร้างของฐานข้อมูลเชิงสัมพันธ์

"คุณมีความหมายแฝง คุณสามารถดึงข้อมูลที่เกี่ยวข้องตามบริบท -- ซึ่งในทำนองเดียวกันหรือการเปรียบเทียบเป็นสิ่งที่ฐานข้อมูลเวกเตอร์สามารถทำได้เนื่องจากวิธีการแสดงข้อมูล" ซึ่งฐานข้อมูลอื่นไม่สามารถทำได้เนื่องจากโครงสร้างของมัน

"เรามีความเชี่ยวชาญสูงในการทำการค้นหาเวกเตอร์ได้เป็นอย่างดี และเราถูกสร้างขึ้นตั้งแต่ต้นจนจบ ตั้งแต่อัลกอริธึม โครงสร้างข้อมูล ไปจนถึงเค้าโครงข้อมูลและการวางแผนแบบสอบถาม ไปจนถึงสถาปัตยกรรมในระบบคลาวด์ เพื่อทำสิ่งนั้นได้ดีมาก"

สิ่งที่ MongoDB, Couchbase และที่เหลือเขากล่าวว่า "กำลังพยายามทำ และในแง่หนึ่ง ก็ประสบความสำเร็จคือการทำให้น้ำขุ่นบนสิ่งที่ฐานข้อมูลเวกเตอร์เป็น" เขากล่าว "พวกเขารู้ดีว่า เมื่อพูดถึงการสร้างแอปพลิเคชันในโลกแห่งความเป็นจริงด้วยฐานข้อมูลเวกเตอร์ จะไม่มีการแข่งขันกัน"

โมเมนตัมอยู่ที่ Pinecone, Liberty โต้แย้ง โดยอาศัยการติดตามความเข้าใจดั้งเดิมของเขาโดยมุ่งเน้นที่เยี่ยมยอด

"ทุกวันนี้ เรามีบริษัทหลายพันแห่งที่ใช้ผลิตภัณฑ์ของเรา" Liberty กล่าว "นักพัฒนาหลายแสนรายได้สร้างสิ่งต่าง ๆ บน Pinecone ลูกค้าของเราถูกดาวน์โหลดหลายล้านครั้งและนำไปใช้ทุกที่" Pinecone ได้รับการจัดอันดับให้เป็นอันดับหนึ่งโดยพระเจ้า ทรงทราบว่ามีการสำรวจที่แตกต่างกันจำนวนเท่าใด

การเติบโตของรายได้มีนัยสำคัญอย่างชัดเจนในช่วงปลายปี Pinecone สิ้นสุดปี 2022 ด้วยรายได้ประจำต่อปี 2 ล้านดอลลาร์ ซึ่งเป็นการวัดมูลค่ารวมของสัญญาของลูกค้า บริษัทกำลังจะสิ้นสุดในปีนี้ด้วย ARR "หลายสิบล้านดอลลาร์" รองประธานฝ่ายการตลาด Greg Kogan กล่าวในอีเมลถึง ZDNET

"การเติบโตของเราแข็งแกร่งในปี 2565 และบ้าคลั่งอย่างยิ่งในปี 2566 เนื่องจากฐานข้อมูลเวกเตอร์กลายเป็นองค์ประกอบหลักของ GenAI และ Pinecone เป็นมาโดยตลอดและยังคงเป็นผู้นำตลาด" Kogan เขียนในอีเมล “เราคาดว่าสิ่งนี้จะดำเนินต่อไปในปี 2567”

ในอนาคตข้างหน้า Liberty กล่าว ในอีกหลายปีข้างหน้าสำหรับ Pinecone จะเป็นเรื่องเกี่ยวกับการสร้างระบบที่เข้าใกล้ความหมายของความรู้อย่างแท้จริงมากขึ้น

"ฉันคิดว่าคำถามที่น่าสนใจคือเราจะนำเสนอความรู้ได้อย่างไร" ลิเบอร์ตี้บอกกับ ZDNET "ถ้าคุณมีระบบ AI ที่ต้องมีความชาญฉลาดอย่างแท้จริง ก็จำเป็นต้องรู้สิ่งต่างๆ"

เส้นทางสู่การนำเสนอความรู้สำหรับ AI Liberty กล่าวว่าเป็นฐานข้อมูลเวกเตอร์อย่างแน่นอน “แต่นั่นไม่ใช่คำตอบสุดท้าย” เขากล่าว “นั่นคือส่วนแรกของคำตอบ” มีอีก "สอง, สาม, ห้า, สิบปีของการลงทุนด้านเทคโนโลยีเพื่อทำให้ระบบเหล่านั้นรวมเข้าด้วยกันได้ดีขึ้นเพื่อแสดงข้อมูลได้แม่นยำยิ่งขึ้น" เขากล่าว

"มีแผนงานขนาดใหญ่รอเราอยู่ข้างหน้าในการทำให้ความรู้เป็นส่วนสำคัญของทุกการใช้งาน"