Google เปิดตัวการเข้าถึง Bigtable SQL และฟีเจอร์ใหม่ที่พร้อมใช้งาน AI ของ Spanner

การอัปเดตล่าสุดของ Google นำ SQL มาสู่ Bigtable และฟีเจอร์ข้อมูลใหม่อันทรงพลังมาสู่ Spanner ทำให้การรวม AI ง่ายขึ้น และเพิ่มขีดความสามารถของฐานข้อมูลระดับโลกที่ปรับขนาดได้สำหรับองค์กร

เมื่อวันพฤหัสบดี Google ได้ประกาศการปรับปรุงฐานข้อมูลและการวิเคราะห์ข้อมูลทั้งชุดสำหรับสถาปัตยกรรมข้อมูลบนคลาวด์

ในบทความนี้ เราจะเน้นไปที่การปรับปรุงที่สำคัญของ Spanner และ Bigtable (ข้อเสนอฐานข้อมูลคลาวด์สองรายการของ Google) การประกาศเหล่านี้เพิ่มความสามารถในการทำงานร่วมกันอย่างมาก และเปิดประตูสู่การใช้งาน AI เพิ่มเติมผ่านการใช้ฟีเจอร์ใหม่ที่ Google กำลังจัดแสดง

Spanner คือฐานข้อมูลคลาวด์ระดับโลกของ Google มีความยอดเยี่ยมในการสร้างความสอดคล้องทั่วโลก (ซึ่งยากต่อการนำไปใช้มากกว่าที่คิด) เนื่องจากปัญหาที่เกี่ยวข้องกับเวลามากมายที่ Google ได้แก้ไขแล้ว นอกจากนี้ยังสามารถปรับขนาดได้ ซึ่งหมายความว่าฐานข้อมูลสามารถขยายใหญ่และครอบคลุมประเทศและภูมิภาคต่างๆ เป็นแบบหลายรูปแบบ ซึ่งหมายความว่ารองรับข้อมูลสื่อและไม่ใช่แค่ข้อความ นอกจากนี้ยังได้รับการจัดการผ่านการสืบค้น SQL (Structured Query Language)

Bigtable ยังสามารถปรับขนาดได้อย่างมหาศาล (ดังนั้นจึงเป็น "ใหญ่" ใน Bigtable) โฟกัสไปที่คอลัมน์ที่กว้างมากซึ่งสามารถเพิ่มได้ทันที และไม่จำเป็นต้องกำหนดให้เท่ากันในทุกแถว นอกจากนี้ยังมีเวลาแฝงที่ต่ำมากและปริมาณงานสูง จนถึงขณะนี้ มีลักษณะเป็นฐานข้อมูล NoSQL ซึ่งเป็นคำที่ใช้อธิบายฐานข้อมูลที่ไม่เกี่ยวข้องซึ่งช่วยให้มีสคีมาและการจัดระเบียบข้อมูลที่ยืดหยุ่น

เครื่องมือทั้งสองนี้ให้การสนับสนุนฐานข้อมูลองค์กรขนาดยักษ์ โดยทั่วไป Spanner เป็นตัวเลือกที่ดีกว่าสำหรับแอปพลิเคชันที่ใช้ฐานข้อมูลแบบกระจายทั่วโลกที่ต้องการความสอดคล้องที่แข็งแกร่งและรวดเร็วและธุรกรรมที่ซับซ้อน Bigtable จะดีกว่าถ้าปริมาณงานสูงเป็นสิ่งสำคัญ Bigtable มีรูปแบบของความสอดคล้องกัน แต่ความล่าช้าในการเผยแพร่หมายความว่าข้อมูลจะไม่สอดคล้องกันในทันที แต่ในที่สุดจะสอดคล้องกัน

ประกาศ Bigtable

Bigtable จะถูกสอบถามผ่านการเรียก API เป็นหลัก หนึ่งในคุณสมบัติที่ใหญ่ที่สุดและเปลี่ยนแปลงเกมมากที่สุดที่ประกาศในวันนี้คือการสืบค้น SQL สำหรับ Bigtable

นี่เป็นเรื่องใหญ่มากจากมุมมองของทักษะการเขียนโปรแกรม ในการสำรวจการใช้ภาษาการเขียนโปรแกรม Stack Overflow ในปี 2023 SQL อยู่ในอันดับที่สี่ โดยมีโปรแกรมเมอร์ 48.66% ใช้งาน ไม่มีการเอ่ยถึง Bigtable ในแบบสำรวจ Stack Overflow ดังนั้นฉันจึงหันไปใช้ LinkedIn เพื่อดูมุมมองบางอย่าง การค้นหางานอย่างรวดเร็วที่มี "SQL" ส่งผลให้มีผลลัพธ์มากกว่า 400,000 รายการ ในขณะเดียวกัน การค้นหา "Bigtable" ทำให้เกิดผลลัพธ์ 1,561 รายการ ซึ่งน้อยกว่า 1% ของจำนวน SQL

ดังนั้น แม้ว่าผู้คนจำนวนไม่น้อยที่รู้จัก SQL สามารถเรียนรู้วิธีการเรียก Bigtable API ได้ แต่ SQL ก็หมายความว่าเส้นโค้งการเรียนรู้นั้นถูกทำให้แบนลงจนเกือบเป็นศูนย์ นักพัฒนาเกือบ 1 ใน 2 คนสามารถใช้อินเทอร์เฟซ SQL ใหม่กับ Bigtable เพื่อเขียนคำสั่งได้ทุกเมื่อที่ต้องการ

ข้อสังเกตประการหนึ่ง: การอัปเกรด Bigtable นี้ไม่รองรับ SQL ทั้งหมด อย่างไรก็ตาม Google ได้นำฟังก์ชันต่างๆ มาใช้งานมากกว่า 100 รายการ และสัญญาว่าจะมีฟังก์ชันอื่นๆ ตามมาอีกมากมาย

นอกจากนี้ในตาราง Bigtable ยังมีการแนะนำตัวนับแบบกระจายอีกด้วย ตัวนับคือฟีเจอร์ต่างๆ เช่น ผลรวม ค่าเฉลี่ย และฟังก์ชันทางคณิตศาสตร์อื่นๆ ที่เกี่ยวข้อง Google กำลังเปิดตัวความสามารถในการรับการรวบรวมข้อมูลเหล่านี้แบบเรียลไทม์ด้วยปริมาณการประมวลผลที่สูงมากและข้ามหลายโหนดในคลัสเตอร์ Bigtable ซึ่งช่วยให้ทำการวิเคราะห์และฟังก์ชันการรวมกลุ่มพร้อมกันในแหล่งที่มาต่างๆ

ซึ่งช่วยให้คุณทำสิ่งต่างๆ เช่น คำนวณการมีส่วนร่วมรายวัน ค้นหาค่าสูงสุดและต่ำสุดจากการอ่านเซ็นเซอร์ และอื่นๆ ด้วย Bigtable คุณสามารถปรับใช้สิ่งเหล่านี้กับโปรเจ็กต์ขนาดใหญ่มากที่ต้องการข้อมูลเชิงลึกแบบเรียลไทม์ที่รวดเร็ว และไม่สามารถรองรับปัญหาคอขวดที่ปกติมาจากการรวมต่อโหนดแล้วจึงรวมโหนด มันเป็นตัวเลขขนาดใหญ่อย่างรวดเร็ว

ประกาศเกี่ยวกับประแจ

Google มีประกาศสำคัญๆ มากมายเกี่ยวกับ Spanner ที่ล้วนย้ายเครื่องมือฐานข้อมูลไปสู่การให้การสนับสนุนโครงการ AI สิ่งที่ยิ่งใหญ่ที่สุดคือการเปิดตัว Spanner Graph ซึ่งเพิ่มความสามารถของฐานข้อมูลกราฟให้กับฟังก์ชันฐานข้อมูลแบบกระจายทั่วโลกที่เป็นแกนหลักของ Spanner

อย่าสับสนระหว่าง "ฐานข้อมูลกราฟ" กับ "กราฟิก" คำนี้หมายความว่าโหนดและการเชื่อมต่อของฐานข้อมูลสามารถแสดงเป็นกราฟได้ หากคุณเคยได้ยินคำว่า "กราฟโซเชียล" ที่อ้างอิงถึง Facebook คุณจะรู้ว่าฐานข้อมูลกราฟคืออะไร คิดว่าโหนดเป็นเอนทิตี เช่น ผู้คน สถานที่ สิ่งของ ฯลฯ และการเชื่อมต่อ (หรือที่เรียกว่าขอบ) เป็นความสัมพันธ์ระหว่างเอนทิตี

ตัวอย่างเช่น กราฟโซเชียลของคุณบน Facebook ประกอบด้วยผู้คนทั้งหมดที่คุณมีความสัมพันธ์ด้วย และผู้คนทั้งหมดที่พวกเขามีความสัมพันธ์ด้วย และอื่นๆ

ตอนนี้ Spanner สามารถจัดเก็บและจัดการข้อมูลประเภทนี้ได้อยู่แล้ว ซึ่งถือเป็นข่าวใหญ่สำหรับการใช้งาน AI สิ่งนี้ทำให้การนำ AI ไปใช้ทั่วโลก มีความสอดคล้องกันสูง และไม่มีภูมิภาคในการแสดงข้อมูลความสัมพันธ์อันกว้างใหญ่ สิ่งนี้มีประสิทธิภาพสำหรับการแวะผ่าน (ค้นหาเส้นทางหรือสำรวจเครือข่าย), การจับคู่รูปแบบ (การระบุกลุ่มที่ตรงกับรูปแบบที่แน่นอน), การวิเคราะห์ศูนย์กลาง (การกำหนดว่าโหนดใดมีความสำคัญมากกว่าโหนดอื่น) และการตรวจจับชุมชน (การค้นหากลุ่มของโหนด ที่ประกอบกันเป็นกระจุกคล้ายบริเวณใกล้เคียง)

นอกจากการแสดงข้อมูลกราฟแล้ว Spanner ยังสนับสนุน GQL (Graph Query Language) ซึ่งเป็นภาษามาตรฐานอุตสาหกรรมสำหรับดำเนินการสืบค้นที่มีประสิทธิภาพในกราฟ นอกจากนี้ยังใช้งานได้กับ SQL ซึ่งหมายความว่านักพัฒนาสามารถใช้ทั้ง SQL และ GQL ภายในแบบสอบถามเดียวกัน นี่อาจเป็นเรื่องใหญ่สำหรับแอปพลิเคชันที่ต้องกรองข้อมูลแถวและคอลัมน์และแยกแยะความสัมพันธ์ในการสืบค้นเดียวกัน

Google ยังแนะนำรูปแบบการค้นหาใหม่สองรูปแบบให้กับ Spanner: ข้อความแบบเต็มและเวกเตอร์ ข้อความฉบับเต็มเป็นสิ่งที่คนส่วนใหญ่คุ้นเคย นั่นคือความสามารถในการค้นหาภายในข้อความ เช่น บทความ และเอกสารตามรูปแบบที่กำหนด

การค้นหาเวกเตอร์จะเปลี่ยนคำ (หรือแม้แต่เอกสารทั้งหมด) ให้เป็นตัวเลขที่เป็นตัวแทนทางคณิตศาสตร์ของข้อมูล สิ่งเหล่านี้เรียกว่า "เวกเตอร์" และจับจุดประสงค์ ความหมาย หรือแก่นแท้ของข้อความต้นฉบับ ข้อความค้นหายังกลายเป็นเวกเตอร์ (การแสดงตัวเลข) ดังนั้นเมื่อแอปพลิเคชันทำการค้นหา มันจะค้นหาเวกเตอร์อื่นๆ ที่มีความใกล้เคียงกันทางคณิตศาสตร์ ซึ่งก็คือความคล้ายคลึงกันในการคำนวณ

เวกเตอร์มีพลังมากเนื่องจากการจับคู่ไม่จำเป็นต้องตรงกันอีกต่อไป ตัวอย่างเช่น แอปพลิเคชันที่ค้นหา "นิยายสืบสวน" จะต้องค้นหา "นวนิยายลึกลับ" "ประกันบ้าน" ก็ใช้ได้กับ "ความคุ้มครองทรัพย์สิน" และ "โคมไฟตั้งโต๊ะ" ก็ใช้ได้กับ "ไฟตั้งโต๊ะ" เช่นกัน

คุณจะเห็นว่าการจับคู่ความคล้ายคลึงดังกล่าวจะเป็นประโยชน์ต่อการวิเคราะห์ AI อย่างไร ในกรณีของ Spanner การจับคู่ความคล้ายคลึงกันเหล่านั้นอาจทำงานกับข้อมูลที่จัดเก็บไว้ในทวีปหรือชั้นวางเซิร์ฟเวอร์ที่แตกต่างกัน

การเปิดข้อมูลเพื่อข้อมูลเชิงลึกที่ลึกซึ้งยิ่งขึ้น

ตามรายงานแนวโน้มข้อมูลและ AI ของ Google ปี 2024 พบว่า 52% ของผู้ใช้ที่ไม่ใช่ด้านเทคนิคที่ตอบแบบสำรวจกำลังใช้ AI เชิงสร้างสรรค์เพื่อให้ข้อมูลเชิงลึกอยู่แล้ว เกือบสองในสามของผู้ตอบแบบสอบถามเชื่อว่า AI จะทำให้ "การเข้าถึงข้อมูลเชิงลึกเป็นประชาธิปไตย" โดยพื้นฐานแล้วทำให้ผู้ที่ไม่ใช่โปรแกรมเมอร์สามารถถามคำถามใหม่เกี่ยวกับข้อมูลของตนได้โดยไม่ต้องให้โปรแกรมเมอร์สร้างมันลงในโค้ด 84% เชื่อว่า generative AI จะให้ข้อมูลเชิงลึกเหล่านั้นได้เร็วขึ้น

ฉันเห็นด้วย. ฉันเป็นผู้ใช้งานด้านเทคนิค แต่เมื่อฉันป้อนข้อมูลดิบให้กับ ChatGPT จากเซิร์ฟเวอร์ของฉัน และผลลัพธ์ที่ได้คือการวิเคราะห์ธุรกิจที่เป็นประโยชน์อย่างมีประสิทธิภาพภายในไม่กี่นาที โดยไม่จำเป็นต้องเขียนโค้ดสักบรรทัด ฉันพบว่า AI เป็นตัวเปลี่ยนเกมสำหรับฉัน ธุรกิจ.

นี่คือปัญหา จากการสำรวจพบว่า 66% ของผู้ตอบแบบสอบถามรายงานว่าข้อมูลอย่างน้อยครึ่งหนึ่งของพวกเขามืดมน ความหมายก็คือมีข้อมูลอยู่ที่ใดที่หนึ่ง แต่ไม่สามารถเข้าถึงได้เพื่อการวิเคราะห์

บางส่วนเกี่ยวข้องกับปัญหาการกำกับดูแลข้อมูล บางส่วนเกี่ยวข้องกับรูปแบบข้อมูลหรือการขาดหายไป บางส่วนเกี่ยวข้องกับข้อเท็จจริงที่ว่าข้อมูลไม่สามารถแสดงเป็นแถวและคอลัมน์ได้ และบางส่วนก็เกี่ยวข้องกับ เกี่ยวข้องกับประเด็นอื่นๆ มากมาย

โดยพื้นฐานแล้ว แม้ว่าระบบ AI อาจ "ทำให้เป็นประชาธิปไตย" ในการเข้าถึงข้อมูลเชิงลึก แต่จะเป็นไปได้ก็ต่อเมื่อระบบ AI สามารถเข้าถึงข้อมูลได้

นั่นนำเราไปสู่ความเกี่ยวข้องของประกาศของ Google ในปัจจุบัน คุณลักษณะเหล่านี้ล้วนเพิ่มการเข้าถึงข้อมูล ไม่ว่าจะเป็นเพราะกลไกการสืบค้นแบบใหม่ เนื่องจากความสามารถของโปรแกรมเมอร์ในการใช้ทักษะที่มีอยู่ เช่น SQL ความสามารถของฐานข้อมูลขนาดใหญ่ในการแสดงความสัมพันธ์ของข้อมูลในรูปแบบใหม่ หรือความสามารถของการสืบค้นเพื่อ ค้นหาข้อมูลที่คล้ายกัน พวกเขาทั้งหมดเปิดสิ่งที่อาจเป็นข้อมูลที่มืดมนก่อนหน้านี้เพื่อการวิเคราะห์และข้อมูลเชิงลึก

คุณสามารถติดตามการอัปเดตโครงการในแต่ละวันของฉันได้บนโซเชียลมีเดีย อย่าลืมสมัครรับจดหมายข่าวอัปเดตรายสัปดาห์ของฉัน และติดตามฉันบน Twitter/X ที่ @DavidGewirtz บน Facebook ที่ Facebook.com/DavidGewirtz บน Instagram ที่ Instagram.com/DavidGewirtz และบน YouTube ที่ YouTube.com/DavidGewirtzTV