วิวัฒนาการอันน่าทึ่งของกล้องสมาร์ทโฟนและวิธีที่ AI ขับเคลื่อนอนาคตอันน่าตื่นตา

ในแต่ละปีตั้งแต่ปี 2000 กล้องในโทรศัพท์ของเรามีความสามารถในการสร้างภาพมหัศจรรย์มากขึ้นเรื่อยๆ นอกเหนือจากความจุที่มากขึ้นและรูปภาพคุณภาพสูงขึ้นแล้ว อนาคตจะเป็นอย่างไร? ความเป็นจริงที่อัดแน่นไปด้วย AI ใหม่กำลังได้รับความสนใจ

ยุคของสมาร์ทโฟนสมัยใหม่ที่หลายๆ คนอาจแย้งว่าเริ่มต้นในปี 2550 ด้วยการเปิดตัว iPhone ดั้งเดิม ท้ายที่สุดแล้ว อุปกรณ์ดังกล่าวมีหน้าจอแบบแผ่นพื้นที่มีพื้นผิวแบบสัมผัสเต็มรูปแบบ แทนที่จะเป็นคีย์ การเชื่อมต่อมือถือ Wi-Fi และบลูทูธ การเข้าถึงอินเทอร์เน็ต (แม้ว่าจะช้ามาก) และกล้องถ่ายรูป

ตั้งแต่นั้นมา คุณลักษณะเหล่านั้นได้กำหนดสมาร์ทโฟนทั้งหมด ยกเว้นความสามารถทั่วไปของสมาร์ทโฟนหนึ่งเดียวที่ยังไม่มาถึงจนกระทั่ง iPhone 3GS ในปี 2008: App Store แอพ ร่วมกับฟีเจอร์ฮาร์ดแวร์ที่กล่าวมาข้างต้น ถือเป็นนิยามของสมาร์ทโฟนสมัยใหม่

แต่ในบรรดาความสามารถและส่วนประกอบทั้งหมดของอุปกรณ์คอมพิวเตอร์ที่น่าทึ่งและแพร่หลายเหล่านี้ กล้องของสมาร์ทโฟนที่ได้เห็นวิวัฒนาการที่พิเศษที่สุด กล้องโทรศัพท์ปรากฏตัวครั้งแรกในยุคที่สมาร์ทโฟนเริ่มกลายเป็นอุปกรณ์ที่ใช้งานได้จริงในชีวิตประจำวัน จากนั้น กล้องเหล่านี้จะก้าวหน้าไปในโลกที่มี App Store เป็นศูนย์กลาง ซึ่งบริษัทต่างๆ เช่น Blackmagic Design สามารถสร้างแอปกล้องที่กำหนดวิธีการทำงานของกล้องในสมาร์ทโฟนใหม่ได้ ปัจจุบัน ปัญญาประดิษฐ์ (AI) และการเรียนรู้ของเครื่อง (ML) กำลังเปลี่ยนแปลงธรรมชาติของสิ่งที่กล้องสามารถทำได้

สมาร์ทโฟนยุคก่อนสมัยใหม่

การระบุสิ่งแรกๆ ถือเป็นเรื่องยุ่งยากเสมอ อุปกรณ์เครื่องแรกที่มีป้ายกำกับว่าเป็นสมาร์ทโฟน (เรียกว่า "สมาร์ทโฟน") คือ Ericsson 88 ตั้งแต่ปี 1997 มีการผลิตเพียง 200 เครื่องเท่านั้น และส่วนใหญ่เป็นผู้ช่วยดิจิทัลส่วนบุคคล มันไม่มีกล้องแน่นอน

แต่ก่อนที่จะมีสมาร์ทโฟนสมัยใหม่ โทรศัพท์ที่มีคุณสมบัติสมาร์ทโฟนสมัยใหม่บางอย่างก็ถูกนำมาใช้ แน่นอนว่าสิ่งที่รู้จักกันเป็นอย่างดีคือ BlackBerry อุปกรณ์ BlackBerry รุ่นแรกๆ รุ่น 850 และ 857 ไม่ใช่แม้แต่โทรศัพท์ พวกเขาเป็นเพจเจอร์พร้อมอีเมล จนกระทั่งปี 2003 BlackBerry 6210 ซึ่งมีคีย์บอร์ดอันโด่งดังและโทรศัพท์ในตัวได้เปิดตัว แต่ถึงอย่างนั้น BlackBerry ก็ไม่มีกล้อง

Sharp บริษัทที่ผลิตเตาอบไมโครเวฟของฉัน เปิดตัวสิ่งที่ถือได้ว่าเป็นโทรศัพท์ที่มีกล้องเครื่องแรกของโลก เปิดตัวในปี 2000 มีชื่อว่า J-SHO4 และมีจำหน่ายเฉพาะในตลาดญี่ปุ่นเท่านั้น ด้วยเซนเซอร์ 110,000 พิกเซล J-SHO4 สามารถถ่ายภาพดิจิทัลที่มีความละเอียดต่ำมาก ซึ่งเป็นภาพขนาดเล็กเกือบเท่าแสตมป์ โดยมีความละเอียด 383x287 พิกเซล

ซัมซุงยังอ้างสิทธิ์ในชื่อ "โทรศัพท์เครื่องแรกที่มีกล้องในตัว" ซึ่งก็คือ SCH-V200 ซึ่งเปิดตัวในปี 2000 โทรศัพท์มือถือรุ่นนี้มีเซ็นเซอร์ 0.35 ล้านพิกเซลและสามารถถ่ายภาพได้ถึง 20 ภาพที่มีความละเอียด 640x480 พิกเซลก่อนหน้านี้ คุณต้องเชื่อมต่อเข้ากับคอมพิวเตอร์และดาวน์โหลดภาพ ซัมซุงยังอ้างว่าได้คิดค้นกล้องเซลฟี่ด้วย ในปี 2002 บริษัทได้เปิดตัว SCH-X590 ซึ่งเป็นโทรศัพท์ฝาพับที่มีกล้องหมุนได้

นี่คือจุดที่แนวคิดเรื่องล้านพิกเซลเริ่มเข้ามาครอบงำ ยิ่งสามารถจัดเก็บข้อมูลได้มากเท่าไรก็ยิ่งมีจำนวนพิกเซลมากขึ้นเท่านั้น เมื่อภาพถ่ายเริ่มมีจำนวนพิกเซลเป็นล้านพิกเซล คำศัพท์ทางการตลาด "เมกะพิกเซล" ก็ถูกสร้างขึ้น โดยพื้นฐานแล้ว ยิ่งพิกเซลมากเท่าไร ความละเอียดของภาพก็จะยิ่งสูงขึ้น (และยิ่งคุณปรับแต่งได้มากเท่าไร)

โทรศัพท์อีกเครื่องหนึ่ง และอุปกรณ์ส่วนตัวของฉันตลอดระยะเวลาสี่ปีคือ Palm Treo 600 ซึ่งเปิดตัวในปี 2546 อุปกรณ์นี้ช่วยได้มาก รวมถึงการรองรับกล้องที่สามารถถ่ายภาพความละเอียด 640x480 ได้ Treo ไม่มี Wi-Fi หรือบลูทูธ ซึ่งจำกัดการเชื่อมต่อด้วยสายเคเบิลที่เชื่อมต่อกับคอมพิวเตอร์เพื่อดาวน์โหลดรูปภาพ การกล่าวอ้างชื่อเสียงครั้งใหญ่ก็คือสามารถเรียกใช้แอพ PalmOS นับพันที่พร้อมให้ดาวน์โหลด อย่างไรก็ตาม การติดตั้งแอปเหล่านั้นยังเกี่ยวข้องกับการต่อสายเคเบิลเข้ากับคอมพิวเตอร์ด้วย

พ.ศ. 2551: การกำเนิดของสมาร์ทโฟนสมัยใหม่

เปิดตัวเมื่อวันที่ 29 มิถุนายน พ.ศ. 2550 iPhone ระเบิดได้ พวกเราหลายคนจำการเข้าแถวรอรับโทรศัพท์เครื่องแรกได้ ฉันนั่งพูดประโยคนั้นออกไป และมีความสุขกับ Treo ของฉัน แม้ว่า iPhone เครื่องแรกจะมีคุณสมบัติเกือบทั้งหมดของสมาร์ทโฟนสมัยใหม่ ซึ่งรวมถึงกล้องหลังที่มีความละเอียด 2.0MP แต่แอปเดียวที่อนุญาตคือหน้าเว็บที่ปรับแต่งอย่างหยาบๆ Treo ของฉันมีแอป PalmOS แบบเนทีฟที่ดีกว่ามาก

ในความคิดของฉัน iPhone รุ่นแรกนั้นไม่ใช่สมาร์ทโฟนสมัยใหม่ตัวแรกที่แท้จริง เพื่อสิ่งนั้น จะต้องติดตั้งแอปบนโทรศัพท์มือถือโดยตรง เมื่อ iPhone 3G ของ Apple ออกสู่ตลาดในเดือนกรกฎาคม 2551 พร้อมด้วย App Store โลกก็ไม่เหมือนเดิมอีกต่อไป แอพสมาร์ทโฟนทำให้ผู้คนที่ไม่ใช่ช่างเทคนิคหลายพันล้านคนสามารถปรับแต่งโทรศัพท์ของตนได้ ทำให้สามารถติดตั้งซอฟต์แวร์ใหม่ได้ด้วยคลิกเดียว

โดยเฉพาะอย่างยิ่งแอปสามารถขยายฟังก์ชันการทำงานของกล้องได้ ด้วยแอปตัวกรอง ผู้ใช้สามารถเพิ่มเอฟเฟ็กต์พิเศษหรือหน้าจอจิตรกรลงบนภาพได้อย่างง่ายดาย แอพยังปูทางไปสู่ผู้นำด้านโซเชียลมีเดียเช่น Instagram และ TikTok ด้วยเหตุนี้ เครือข่ายโซเชียลจึงกลายเป็นกำลังสำคัญในทุกวันนี้ โดยผู้ใช้สามารถถ่ายภาพและวิดีโอ ตลอดจนแบ่งปันกับเพื่อน ครอบครัว และคนทั้งโลกได้ด้วยการแตะหน้าจอ ด้วยแอป รูปภาพและวิดีโอสามารถไปได้ทุกที่ในทันที

สำหรับช่างภาพและช่างวิดีโอที่จริงจัง แอปสามารถเพิ่มประสิทธิภาพกล้องของโทรศัพท์ได้ ตัวอย่างเช่น แอปกล้องของ Blackmagic Design ช่วยให้ผู้ใช้ที่ชื่นชอบการถ่ายภาพสามารถปรับแต่งการตั้งค่า เช่น อัตราเฟรม มุมชัตเตอร์ สมดุลสีขาว และ ISO ในแบบที่ช่างภาพมืออาชีพทำในกระบวนการถ่ายภาพ

หน้าจอขนาดเต็ม การเชื่อมต่ออินเทอร์เน็ตความเร็วสูง ค่อนข้างดีสำหรับกล้องคุณภาพเยี่ยม และความสามารถในการปรับแต่งโทรศัพท์ได้อย่างสมบูรณ์ด้วยแอปที่เสริมพลังให้กับผู้คนทั่วโลก และใส่มากกว่าคอมพิวเตอร์เครื่องเล็กๆ ในกระเป๋าของพวกเขา ตอนนี้ทุกคนมีพลังและความยืดหยุ่นอันน่าทึ่งนี้อยู่ตลอดเวลา

โดยส่วนตัวแล้ว iPhone 3G เป็น iPhone เครื่องแรกของฉัน (ไม่มี iPhone 2 หรือ 3) ฉันซื้อมันและ iMac ไม่กี่สัปดาห์หลังจากโทรศัพท์วางจำหน่าย และสร้างแอพ iPhone ขึ้นมา 40 แอพ iPhone 3G นั้นไม่ได้ปรับปรุงฮาร์ดแวร์กล้องมากนัก สิ่งนี้จะไม่เกิดขึ้นจนกว่า iPhone 3GS ซึ่งเพิ่มขึ้นจากกล้อง 2.0 เป็น 3.0MP และเริ่มบันทึกวิดีโอที่ 30 เฟรมต่อวินาที

ในโลก Android โทรศัพท์เครื่องแรกคือ HTC Dream ซึ่งวางตลาดในชื่อ T-Mobile G1 เปิดตัวในเดือนตุลาคม พ.ศ. 2551 และโดดเด่นด้วยหน้าจอแบบสไลด์ออกที่เปิดให้เห็นคีย์บอร์ดสไตล์แบล็คเบอร์รี่ อุปกรณ์นี้มาพร้อมกับกล้องด้านหลัง 3.15MP

ด้วย iPhone 3 และ App Store รวมถึงโทรศัพท์ Android เครื่องแรก จึงยุติธรรมที่จะกล่าวว่าปี 2008 เป็นปีแรกของยุคสมาร์ทโฟนสมัยใหม่

2010: สมาร์ทโฟนพบกับการหลงตัวเอง ซึ่งเป็นการแข่งขันที่เกิดขึ้นในสวรรค์

สมาร์ทโฟนมีการพัฒนาไปตามจังหวะที่เราทุกคนคุ้นเคย ในแต่ละปี มีการเพิ่มความสามารถใหม่ๆ และปรับปรุงคุณสมบัติต่างๆ กล้องพัฒนาจากกล้อง 3.0MP เป็นสัตว์ประหลาด 48-50MP เช่น iPhone 15 Pro Max, Google Pixel 8, OnePlus 11 และ Asus ROG Phone 8

สิ่งที่น่าสังเกตเป็นพิเศษคือสมาร์ทโฟน Sony Xperia แม้ว่าโทรศัพท์ระดับไฮเอนด์ทุกเครื่องจะมีระบบกล้องที่ยอดเยี่ยม แต่ Sony เป็นบริษัทเดียวที่ผลิตกล้องระดับโปรและระดับโปรซูเมอร์นอกเหนือจากสมาร์ทโฟน ซีรีส์ A7 ของ Sony (ฉันชอบ Sony A7 IV) เป็นหนึ่งในกล้องระดับมืออาชีพที่ได้รับการยอมรับมากที่สุดตัวหนึ่งที่มีการใช้งาน และฉันก็ใช้ กล้อง Sony ZV-E10 อยู่ในสตูดิโอวิดีโออย่างต่อเนื่องและสำหรับการถ่ายผลิตภัณฑ์ที่ ZDNET

การก้าวกระโดดเล็กน้อยอีกครั้งเกิดขึ้นในปี 2010 เมื่อ Apple เปิดตัว iPhone 4 และ HTC เปิดตัว EVO 4G ที่ใช้ระบบปฏิบัติการ Android จุดเด่นของกล้องหน้าทั้งสองรุ่นนี้เหมาะสำหรับการถ่ายเซลฟี่ ไม่มีอะไรจะเล่าให้ฟังมากนักในแง่ของความละเอียด แต่กล้องหน้าก็ดีขึ้นในช่วงหลายปีที่ผ่านมา

แน่นอนว่า เนื่องจากพื้นที่จัดเก็บข้อมูลได้รับการปรับปรุงทั้งในด้านความจุและความเร็ว คุณจึงสามารถจัดเก็บแม้แต่วิดีโอ 8K ที่ 120 เฟรมต่อวินาทีบน SSD ที่เชื่อมต่อกับกล้องผ่านพอร์ต USB-C ที่รวดเร็วได้ ทำให้สามารถบันทึกและจัดเก็บข้อมูลจำนวนมหาศาล และอุปกรณ์จำนวนมากในปัจจุบันก็จัดการข้อกำหนดได้อย่างง่ายดาย

นอกจากนี้ยังมี Samsung Galaxy S23 Ultra ซึ่งมีกล้องหลัก 200MP ที่เหนือกว่าอย่างน่าหัวเราะ ซึ่งมีขนาดประมาณ 16,384 x 12,288 พิกเซล สำหรับผู้ที่สามารถถ่ายภาพวัตถุดังกล่าวได้ JPEG ที่ถูกบีบอัดสูงแต่ละตัวจะใช้เวลา 20-40MB แต่ภาพ RAW ที่ไม่มีการบีบอัดจะใช้เวลา 100MB ต่อภาพหรือมากกว่า iPhone 3G เครื่องแรกนั้นมาพร้อมกับพื้นที่เก็บข้อมูลทั้งหมด 128MB ซึ่งอาจเก็บภาพจากโทรศัพท์รุ่นใหม่นี้ได้อย่างน้อยหนึ่งหรือสองภาพ

สมาร์ทโฟนหลายรุ่นในปัจจุบันบันทึกวิดีโอ 8K ลงพื้นที่จัดเก็บข้อมูลในโทรศัพท์โดยตรง ซึ่งรวมถึง Samsung Galaxy S23 (รองรับ 8K ย้อนกลับไปถึง S20), Asus ZenFone 9, OnePlus 11 และ iPhone 15 Pro Max ล้วนสามารถบันทึกวิดีโอ 8K ลงในอุปกรณ์ได้โดยตรง

เมื่อเวลาผ่านไป ความจุที่เพิ่มขึ้น ความเร็วโปรเซสเซอร์ อายุการใช้งานแบตเตอรี่ และความละเอียดในการแสดงผลเพิ่มขึ้นทั้งหมดมาพร้อมกับการปรับปรุงซอฟต์แวร์ในโทรศัพท์ โดยผู้ขายได้เพิ่มความสามารถทุกประเภทให้กับแอปพลิเคชันกล้องของตน

2017: จุดเริ่มต้นของยุคสมาร์ทโฟน AI/ML

เป็นการยากที่จะระบุอย่างชัดเจนเมื่อการเรียนรู้ของเครื่องเข้ามาในสมาร์ทโฟน แต่เป็นกรณีที่ดีที่สามารถทำได้ในปี 2560 ในปีนั้น Google เปิดตัว Pixel 2 ซึ่งมีโหมดแนวตั้งที่ทำให้พื้นหลังเบลอ และปรับปรุงการประมวลผลสำหรับภาพ HDR

Apple ก็มุ่งเน้นไปที่การถ่ายภาพในโหมดแนวตั้งในปี 2560 เช่นกัน โดยเปิดตัว iPhone 8, 8 Plus และ iPhone X อุปกรณ์เหล่านี้แต่ละเครื่องมีทั้งโปรเซสเซอร์หลักและ Neural Engine ซึ่งเป็นโปรเซสเซอร์ที่ออกแบบมาเพื่องานการเรียนรู้ของเครื่องโดยเฉพาะ

โดยรวมแล้ว ความสามารถในการเรียนรู้ของเครื่องในช่วงเริ่มต้นเหล่านี้ได้ปรับปรุงการประมวลผลภาพถ่ายโดยรวม ปรับปรุงด้านต่างๆ เช่น การโฟกัสอัตโนมัติ การเปิดรับแสง การปรับสมดุลสี และการลดสัญญาณรบกวน การบูรณาการการเรียนรู้ของเครื่องเข้ากับระบบกล้องของ Pixel และ iPhone ถือเป็นก้าวสำคัญในด้านคุณภาพและความสามารถในการถ่ายภาพด้วยสมาร์ทโฟน

AI และการเรียนรู้ของเครื่องในสมาร์ทโฟนปัจจุบัน

หากคุณคิดถึงขั้นตอนการถ่ายภาพ เรามีแสงและเงา จากนั้นเราก็มีภาพคงที่ซึ่งจัดเก็บโดยใช้สารเคมี (เวทีฟิล์ม) จากนั้นเราก็มีสื่อแม่เหล็ก (ยังคงเป็นแอนะล็อก) จากนั้นเราก็มีกล้องดิจิตอลและสมาร์ทโฟนเพิ่มขึ้น ในแต่ละขั้นตอนนั้น ปัจจัยหนึ่งที่พบบ่อยก็คือกล้องมีไว้เป็นอุปกรณ์จับภาพ มันไม่ได้ทำอะไรศิลปะเลย

แต่สิ่งที่เปลี่ยนแปลงไปพร้อมกับสมาร์ทโฟนยุคใหม่ ด้วยการฝังเทคโนโลยีการเรียนรู้ของเครื่องจำนวนมากไว้ในอุปกรณ์เหล่านี้ กล้องจึงกลายเป็นพันธมิตรด้านการผลิตในการสร้างภาพและวิดีโอคุณภาพที่ยอดเยี่ยม

ฉันถาม Bob Caniglia ผู้อำนวยการฝ่ายขายของ Blackmagic เกี่ยวกับวิวัฒนาการของกล้องสมาร์ทโฟน Blackmagic สร้างเครื่องมือสำคัญสำหรับจัดการกระบวนการผลิตวิดีโอ รวมถึงกล้องระดับภาพยนตร์ที่ลื่นไหลมาก เมื่อปีที่แล้ว Blackmagic ได้เปิดตัวแอพ Blackmagic Camera ซึ่งนำกล้องของ iPhone มาใช้และให้พลังพิเศษแก่มัน

"จนกระทั่งเมื่อเร็วๆ นี้" Caniglia บอกฉัน "การสนทนาส่วนใหญ่เกี่ยวกับวิธีที่กล้องของสมาร์ทโฟนถูกจำกัดอยู่ในอุปกรณ์ทางกายภาพขนาดเล็กเช่นนี้ และไม่ต้องสงสัยเลยว่ายังคงมีความแตกต่างอย่างมากระหว่างสมาร์ทโฟนและกล้องมืออาชีพขนาดใหญ่"

“แต่บทสนทนาได้เปลี่ยนไปใช้วิธีต่างๆ ในการใช้กล้องอย่าง iPhone” เขากล่าวต่อ “ผมคิดว่าฟีเจอร์ AI และการเรียนรู้ของเครื่อง เช่น ฉากของ iPhone 15 การแบ่งส่วนและการตรวจจับผิวหนังและท้องฟ้า เลนส์ซูมแบบปริทรรศน์ และโหมดถ่ายภาพบุคคล ได้เปิดโอกาสความเป็นไปได้ที่ทุกคนสามารถใช้สมาร์ทโฟนได้”

ตอนนี้เรามาดูพลังที่แมชชีนเลิร์นนิงนำมาสู่สมาร์ทโฟนกันดีกว่า โดยเฉพาะฉันจะพูดถึงเวทมนตร์การเรียนรู้ของเครื่องที่รวมอยู่ในโทรศัพท์เรือธงเช่น iPhone 15 Pro Max, Google Pixel 8, Samsung Galaxy S23 และ OnePlus 11

1. คุณภาพของภาพ

ขณะนี้สมาร์ทโฟนสามารถปรับปรุงคุณภาพของภาพได้อย่างมากเมื่อถ่ายในกล้อง ต่อไปนี้เป็นตัวอย่างการเรียนรู้ของเครื่องที่ใช้ในโทรศัพท์รุ่นเรือธงที่ระบุไว้ก่อนหน้านี้สามตัวอย่าง

การประมวลผลและการเพิ่มประสิทธิภาพภาพ: โครงข่ายประสาทเทียมแบบ Convolutional ใช้การดำเนินการทางคณิตศาสตร์ที่เรียกว่า Convolution ซึ่งจะคำนวณค่าพิกเซลตามตัวกรองแบบเลื่อน ช่วยให้อัลกอริทึมระบุคุณลักษณะเฉพาะ เช่น ขอบ พื้นผิว และรูปร่าง

ซึ่งจะช่วยให้อัลกอริธึมการเรียนรู้ของเครื่องวิเคราะห์และปรับพารามิเตอร์ต่างๆ เช่น การเปิดรับแสง คอนทราสต์ และความสมดุลของสี เพื่อปรับปรุงคุณภาพ สิ่งนี้มีประโยชน์อย่างยิ่งในสภาพแสงที่ท้าทาย นี่คือวิธีที่สมาร์ทโฟนสามารถถ่ายภาพในที่แสงน้อยและมีแสงจ้าสูงซึ่งเมื่อก่อนแทบเป็นไปไม่ได้เลยที่จะจับภาพได้

การถ่ายภาพในที่แสงน้อยและโหมดกลางคืน: เมื่อพูดถึงสภาพแสงที่ยากลำบาก แมชชีนเลิร์นนิงให้ความช่วยเหลืออันทรงพลังในการถ่ายภาพในที่แสงน้อย โดยจะช่วยลดจุดรบกวน การปรับปรุงรายละเอียด และความแม่นยำของสี โดยใช้เทคโนโลยีโครงข่ายประสาทเทียมเพื่อประมวลผลภาพซ้อน โดยรวมภาพเหล่านั้นเป็นภาพเดียว พร้อมเพิ่มรายละเอียดและลดสัญญาณรบกวน แน่นอนว่าการตัดสินใจเกี่ยวกับรายละเอียดที่ควรปรับปรุงและลดสัญญาณรบกวนคือจุดที่ AI เข้ามามีบทบาท

การประมวลผล HDR: การประมวลผลช่วงไดนามิกสูง (HDR) ช่วยปรับสมดุลพื้นที่มืดและสว่างของภาพเพื่อให้ช่วงไดนามิกดีขึ้น อัลกอริธึมจะปรับการรับแสงของบริเวณต่างๆ ในภาพถ่ายแบบไดนามิก โดยผสมผสานการรับแสงหลายค่าเพื่อให้ได้ภาพที่มีช่วงไดนามิกสูงที่สมดุล รักษาความคมชัดของภาพของภาพ ในขณะเดียวกันก็อนุญาตให้มีสีดำที่ดำกว่า สีขาวที่ขาวกว่า และสีอื่นๆ ที่เข้มและสว่างกว่าเพื่อสะท้อนสิ่งที่ เดิมทีช่างภาพตั้งใจจะจับภาพ

2. ความรู้เชิงวัตถุ

ในช่วงยุคภาพยนตร์ เทคนิคแอนะล็อกบางอย่างสามารถปรับปรุงภาพได้ ตอนนี้ AI และ ML มีความสำคัญอย่างยิ่งเมื่อต้องมีความชาญฉลาดเกี่ยวกับสิ่งที่อยู่ในฉาก นี่คือความสามารถอันทรงพลังบางส่วนที่มีอยู่ในสมาร์ทโฟนที่ฉันพูดถึงก่อนหน้านี้

การจดจำฉากและวัตถุ: สมาร์ทโฟนสามารถจดจำฉากต่างๆ ได้ -- ภูมิทัศน์ ภาพบุคคล หรือการตั้งค่าแสงน้อย -- และวัตถุภายในภาพ จากการรับรู้นี้ กล้องสามารถปรับการตั้งค่าให้เหมาะสมเพื่อให้ได้ภาพที่ดีที่สุด อัลกอริธึมการเรียนรู้เชิงลึกที่ใช้โครงข่ายประสาทเทียมแบบหมุนวนได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลขนาดใหญ่เพื่อจดจำและจัดหมวดหมู่ฉากและวัตถุต่างๆ ในรูปภาพได้อย่างแม่นยำ บ่อยครั้งที่ผลลัพธ์ของการฝึกอบรมในเวอร์ชันที่ได้รับการปรับปรุงประสิทธิภาพอย่างมากจะถูกฝังอยู่ในแอปกล้องหรือแม้แต่ในชิปเซ็ตของโทรศัพท์

โหมดภาพบุคคลและเอฟเฟ็กต์โบเก้: โมเดลการประมาณความลึก ซึ่งมักใช้เทคนิค ML เช่น การแบ่งส่วนความหมาย สามารถสร้างแผนผังความลึกของฉาก ซึ่งทำให้วัตถุแตกต่างจากพื้นหลังได้ นี่คือวิธีที่เราใช้โหมดแนวตั้ง โดยที่วัตถุอยู่ในโฟกัสในขณะที่โทรศัพท์สร้างพื้นหลังที่ดูเบลออย่างมีศิลปะ

การตรวจจับใบหน้าและการตกแต่งให้สวยงาม: อัลกอริธึมการมองเห็นของคอมพิวเตอร์สามารถตรวจจับใบหน้าในภาพและใช้การปรับปรุงเล็กๆ น้อยๆ เช่น การปรับผิวให้เรียบหรือการปรับแสง เพื่อปรับปรุงการถ่ายภาพบุคคล กระบวนการนี้มักจะทำโดยอาศัยไลบรารีของความชอบด้านสุนทรียศาสตร์ที่เรียนรู้มา

แอปพลิเคชั่นจดจำใบหน้าบางแอปพลิเคชั่นในช่วงแรก ๆ แสดงให้เห็นถึงอคติ พวกเขาใช้ข้อมูลการฝึกอบรมที่จำกัดมากและมักมีอคติ ปัจจุบันนี้ปัญหาน้อยลง เนื่องจากผู้ขายใช้ชุดการฝึกอบรมที่ใหญ่ขึ้นและครอบคลุมมากขึ้น เราจำเป็นต้องต่อสู้กับอคติใน AI ของเราต่อไป

ฟิลเตอร์และเอฟเฟ็กต์ที่ขับเคลื่อนโดย AI: คุณลักษณะภาพถ่ายของแอปดิจิทัลบนสมาร์ทโฟนรุ่นแรกๆ บางส่วนคือฟิลเตอร์และเอฟเฟกต์ที่สร้างสรรค์ เริ่มแรก ตัวกรองเหล่านี้ส่วนใหญ่เป็นอัลกอริธึม ตามโค้ดของโปรแกรมเมอร์ เมื่อเวลาผ่านไป เทคนิค ML เช่น generative adversarial Network ถูกนำมาใช้

เทคนิคนี้รวมอัลกอริธึม "ตัวสร้าง" กับกระบวนการอัลกอริธึม "ตัวแบ่งแยก" โดยที่ตัวแบ่งแยกจะให้ข้อเสนอแนะแก่ตัวสร้างเพื่อขับเคลื่อนการปรับปรุง ผลลัพธ์ที่เรียนรู้มา หรือกระบวนการถ่ายโอนสไตล์ เลียนแบบสไตล์ของศิลปินและเทคนิคต่างๆ ซึ่งช่วยให้ผู้ใช้สามารถใส่สไตล์ศิลปะที่ซับซ้อนให้กับภาพถ่ายของตนได้ และเพื่อให้ภาพที่ได้ออกมาดูมีความเกี่ยวข้องกับสไตล์ ส่งผลให้มีการฟ้องร้องด้วย

3. การปรับปรุงคุณภาพชีวิต

กล้องสมาร์ทโฟนไม่เพียงแต่ถ่ายภาพและวิดีโอได้ดีขึ้นเรื่อยๆ เท่านั้น แต่ยังใช้งานได้ง่ายขึ้นในเวลาเดียวกันอีกด้วย ต่อไปนี้คือการปรับปรุงคุณภาพชีวิตบางประการที่ทำให้กล้องสมาร์ทโฟนมีประโยชน์ต่อผู้ใช้มากขึ้น

ระบบป้องกันภาพสั่นไหวของวิดีโอ: เคยได้ยินวลี "เราจะแก้ไขในโพสต์" ไหม นั่นคือกระบวนการซ่อมแซมภาพยนตร์หรือวิดีโอหลังจากออกจากการถ่ายทำ โดยโปรแกรมตัดต่อจะใช้เครื่องมือและทักษะอันชาญฉลาดผสมผสานกันเพื่อสร้างคลิปที่ดี แต่ตอนนี้ รุ่น ML สามารถแก้ไขวิดีโอที่สั่นไหวได้ในกล้องโดยตรง

รุ่น ML ในสมาร์ทโฟนทำได้โดยการวิเคราะห์รูปแบบการเคลื่อนไหวทีละเฟรม เพื่อคาดการณ์และแก้ไขการสั่นของกล้องและภาพเบลอจากการเคลื่อนไหว ส่งผลให้คลิปมีความนุ่มนวลยิ่งขึ้น โดยปกติแล้ว การดำเนินการนี้จะ "กิน" ขอบบางส่วนของเฟรมวิดีโอ ทำให้เกิดภาพที่ครอบตัดแต่มีเสถียรภาพมากขึ้น

โฟกัสอัตโนมัติและการติดตาม: ก่อนการเรียนรู้ของเครื่อง เลนส์ที่มีโฟกัสอัตโนมัติจะใช้เซ็นเซอร์วัดระยะและการคำนวณเพื่อกำหนดจุดโฟกัสของเลนส์ แต่ตอนนี้ ML ได้ปรับปรุงประสิทธิภาพของโฟกัสอัตโนมัติ ทำให้เร็วขึ้นและแม่นยำยิ่งขึ้นอย่างมาก

อัลกอริธึมการคาดการณ์และโมเดลการตรวจจับวัตถุมักใช้สำหรับการติดตามวัตถุที่กำลังเคลื่อนไหวแบบเรียลไทม์ โดยคงการล็อคโฟกัสในขณะที่วัตถุ (หรือผู้ปฏิบัติงานกล้อง) เคลื่อนไหว

ปรับให้เข้ากับความชอบของผู้ใช้โดยอัตโนมัติ: กล้องสมาร์ทโฟนบางรุ่นใช้เทคนิคการเรียนรู้แบบเสริมเพื่อปรับให้เข้ากับความชอบของผู้ใช้เมื่อเวลาผ่านไป และปรับการตั้งค่าโดยอัตโนมัติหรือแนะนำโหมดตามการใช้งานที่ผ่านมา

สิ่งหนึ่งที่สำคัญที่ควรทราบ: AI เจนเนอเรชั่นคือสิ่งที่เกิดขึ้น ภายนอก ของกล้อง

ดังที่ Caniglia แห่ง Blackmagic Design กล่าวว่า "ความสามารถของกล้องในสมาร์ทโฟนมีการพัฒนาอย่างเหลือเชื่อเมื่อเปรียบเทียบกับเมื่อสองสามปีที่แล้ว การเรียนรู้ของเครื่อง AI โดยเฉพาะอย่างยิ่งกับ iPhone 15 ใหม่เป็นตัวขับเคลื่อนสำคัญ ส่วนใหญ่เป็นเพราะ Apple มุ่งเน้นไปที่การพัฒนาเทคโนโลยีที่ใช้ประโยชน์จากข้อมูลจริงที่เซ็นเซอร์ของกล้องจับได้มากกว่าการมุ่งเน้นไปที่การสร้าง "ภาพปลอม" ผ่าน AI เจนเนอเรชั่นแนล

มองไปสู่อนาคต

ในปีที่ผ่านมา เราได้สร้างความครอบคลุมมากมายเกี่ยวกับ generative AI และทุกปี ผู้จำหน่ายโทรศัพท์จะแนะนำความสามารถของสมาร์ทโฟนมากยิ่งขึ้น แล้วอนาคตจะเป็นอย่างไร?

คำตอบง่ายๆ คือ: ความจุที่เพิ่มขึ้นเรื่อยๆ และรูปภาพคุณภาพสูงขึ้นเรื่อยๆ นั่นคือวิถีการเรียนรู้ของเครื่องสมาร์ทโฟนที่มีมาในทศวรรษที่ผ่านมา

แต่เมื่อฉันเริ่มสำรวจ VR ด้วยชุดหูฟัง Meta Quest 3 ฉันเริ่มคิดว่ามีอีกเส้นทางหนึ่งสำหรับสมาร์ทโฟน

หลังจากการกล่าวสุนทรพจน์ WWDC ของ Apple เมื่อปีที่แล้ว ฉันได้เขียนบทวิเคราะห์เกี่ยวกับการประกาศชุดหูฟัง Vision Pro XR แม้ว่าฉันจะค่อนข้างมั่นใจในแนวคิดโดยรวม แต่ฉันกลับเยาะเย้ยความสามารถในการเล่นกล้อง 3 มิติของมัน:

Apple สาธิตการสาธิตสุดฮาโดยที่คุณพ่อสวม Vision Pro ใช้ถ่ายทำ "ภาพยนตร์" 3 มิติเกี่ยวกับวันเกิดของลูก แต่ในขณะที่ตัวอย่างดังกล่าวดูแปลกประหลาด แต่การถ่ายคลิปวิดีโอ 3 มิติอาจเป็นประโยชน์อย่างมากต่อหลักสูตรการฝึกอบรมและการสาธิตอื่นๆ ที่จะฝังไว้ในแอปพลิเคชันแบบ point-of-function

ฉันคิดว่าฉันผิด ฉันใช้ Meta Quest 3 มาประมาณหนึ่งสัปดาห์แล้วและได้ดูหนังโฮม 3 มิติที่ค่อนข้างเป็นพื้นฐานของ Quest มีบางอย่างอยู่ที่นั่น มันไม่เหมือนกับการดูหนังเฉยๆ เมื่อคุณเข้าสู่ VR คุณจะได้รับความรู้สึกจริงๆ

นอกเหนือจากการเก็บความทรงจำส่วนตัวแล้ว การจับภาพด้วยกล้อง 3D VR ยังมีศักยภาพมหาศาล โดยเฉพาะอย่างยิ่งเมื่อเราก้าวไปไกลกว่าคอนโซลที่หนักอึ้งบนใบหน้าของเราและเข้าไปในแว่นตาใส ฉันคาดหวังว่าจะได้เห็น AI และ ML จำนวนมากนำไปใช้กับรูปภาพและวิดีโอที่ใช้ในบริบทนั้น

คุณคิดอย่างไรเกี่ยวกับอนาคตของการถ่ายภาพและวิดีโอ และ AI และ ML จะช่วยได้อย่างไร แจ้งให้เราทราบในความคิดเห็นด้านล่าง

คุณสามารถติดตามการอัปเดตโครงการในแต่ละวันของฉันได้บนโซเชียลมีเดีย อย่าลืมสมัครรับจดหมายข่าวอัปเดตรายสัปดาห์ของฉันบน Substack และติดตามฉันบน Twitter ที่ @DavidGewirtz บน Facebook ที่ Facebook.com/DavidGewirtz บน Instagram ที่ Instagram.com/DavidGewirtz และบน YouTube ที่ YouTube.com/DavidGewirtzTV