Dall•E 2 ของ OpenAI อาจหมายความว่าเราไม่ต้องการภาพถ่ายสต็อกอีกต่อไป

การพิมพ์ประโยคเกี่ยวกับสถานการณ์ เช่น ผู้ใช้ Windows ที่วิตกกังวลที่นั่งอยู่ที่โต๊ะทํางานเห็นคําเตือนแพตช์ อาจให้ภาพที่คุณต้องการประกอบบทความ

Dall•E 2 ของ OpenAI ซึ่งเปิดให้สาธารณชนทั่วไปทั่วไปในสัปดาห์นี้ สามารถสร้างภาพในหลากหลายประเภทและสไตล์โดยพิมพ์วลี ในกรณีนี้ "ภาพถ่ายของคนสวมแว่นตาชี้ให้เห็นหลายคนที่โต๊ะประชุมในห้องประชุม"

อาณาจักรของของปลอมยังคงได้รับการขัดเกลาโดยปัญญาประดิษฐ์ โดยข้อความปลอมได้รับการฝึกฝนเมื่อสองสามปีก่อนด้วยโปรแกรมประมวลผลภาษาธรรมชาติ GPT-3 จากสตาร์ทอัพ OpenAI 

ตอนนี้ภาพซึ่งประสบความสําเร็จในการปลอมแปลงอย่างมากด้วยโปรแกรมต่างๆ เช่น StyleGAN ของ Nvidia ซึ่งเปิดตัวโดย Tero Karras และเพื่อนร่วมงานที่ Nvidia ในปี 2019 ได้รับการสนับสนุนในฤดูร้อนนี้ด้วยการประกาศโดย OpenAI เกี่ยวกับโปรแกรมใหม่สําหรับการปลอมแปลงภาพ DALL•E 2 ซึ่งสร้างขึ้นจาก DALL•E ตัวแรก ซึ่งเปิดตัวในเดือนมกราคม 2021 สามารถใช้วลีที่คุณพิมพ์และแปลงเป็นรูปภาพ โดยมีหลายวิธีในการกําหนดรูปร่างภาพที่ส่งออก

สัปดาห์นี้ OpenAI ได้ลบรายชื่อรอ ตอนนี้ทุกคนสามารถไปที่เว็บไซต์ เพื่อนํา DALL•E 2 ไปหมุนได้ตราบเท่าที่พวกเขาเต็มใจที่จะสร้างบัญชีบนเว็บไซต์ของ OpenAI ด้วยที่อยู่อีเมลและหมายเลขโทรศัพท์ 

จุดแข็งของ DALL•E 2 เช่นเดียวกับรุ่นก่อนคือการสร้างรูปภาพจากข้อความที่บุคคลพิมพ์ลงในฟิลด์บนหน้าเว็บ พิมพ์วลี "นักบินอวกาศขี่ม้าในสไตล์ที่เหมือนจริง" และภาพจะปรากฏในรูปแบบนั้นโดยประมาณ: การเรนเดอร์สมจริงของร่างในโปรไฟล์ในเครื่องแบบนักบินอวกาศ คร่อมม้าที่ก้าวไปกับสิ่งที่ดูเหมือนภาพของจักรวาล 

งานนี้อธิบายไว้ในรายงานการวิจัยโดยนักวิทยาศาสตร์ OpenAI Aditya Ramesh และเพื่อนร่วมงาน "การสร้างภาพแบบมีเงื่อนไขข้อความแบบลําดับชั้นด้วย CLIP Latents" ที่โพสต์บนเซิร์ฟเวอร์ก่อนพิมพ์ arXiv  

DALL•E 2 คือสิ่งที่เรียกว่าตัวเข้ารหัส-ถอดรหัสแบบคอนทราสต์ มันถูกสร้างขึ้นโดยการบีบอัดรูปภาพและคําบรรยายภาพให้เป็นตัวแทนที่เป็นนามธรรมที่รวมกันแล้วคลายการบีบอัด การฝึกอบรมนั้นพัฒนาความสามารถของโปรแกรมในการเชื่อมโยงข้อความและรูปภาพ 

ประเด็นหลักของ Ramesh และเพื่อนร่วมงานคือวิธีการบีบอัด/คลายการบีบอัดเกิดขึ้นช่วยให้เราทําได้มากกว่าแค่แปลระหว่างข้อความและรูปภาพ แต่ยังช่วยให้สามารถใช้วลีเพื่อกําหนดรูปร่างของภาพ เช่น การเพิ่มคําว่า "เหมือนจริง" ซึ่งสร้างบางสิ่งบางอย่างที่มีความสมจริงที่ลื่นไหล

แม้ว่าภาพจะยังค่อนข้างหยาบ แต่คุณจะเห็นว่า DALL•E 2 มีศักยภาพที่จะแทนที่ภาพประกอบเชิงพาณิชย์และแม้แต่การถ่ายภาพสต็อกจํานวนมาก เมื่อพิมพ์วลีและสไตล์ เช่น "ภาพถ่าย" คุณสามารถส่งออกรูปภาพต่างๆ ที่อาจเหมาะสมกับการวาดภาพประกอบบทความได้

คุณสามารถดูได้ด้วยตัวคุณเองโดยลองใช้ สิ่งส่วนใหญ่ที่กระโดดเข้ามาในใจทันทีคือคอมโบตลก ตัวอย่างเช่น "วาฬสีน้ําเงินและลูกแมวที่หาเพื่อนบนชายหาด ศิลปะดิจิทัล" สร้างผลลัพธ์สไตล์การ์ดอวยพรที่น่ารักด้านล่าง 

"วาฬสีน้ําเงินและลูกแมวที่ทําเพื่อนบนชายหาด ศิลปะดิจิทัล"

มีสี่เวอร์ชันในแต่ละครั้ง และคุณสามารถดาวน์โหลดแต่ละเวอร์ชันในรูปแบบ PNG ได้

"วาฬสีน้ําเงินและลูกแมวที่ทําเพื่อนบนชายหาด ศิลปะดิจิทัล"

แต่ก็เป็นไปได้ที่จะได้ภาพซ้ําซากมากขึ้นซึ่งเหมาะกับบริบทของการถ่ายภาพสต็อก การพิมพ์วลี "นักเขียนที่มีส่วนร่วมของ ZDNET มองเห็นอนาคตของเทคโนโลยีในบทความของตนเองโดยไหล่เขาที่ลอยอยู่ในอวกาศ" ทําให้เกิดภาพไซไฟที่ใกล้เคียงกับสิ่งที่อาจมาพร้อมกับบทความ

"นักเขียนร่วมของ ZDNET มองเห็นอนาคตของเทคโนโลยีในบทความของตนเองโดยไหล่เขาที่ลอยอยู่ในอวกาศ"

เราสามารถเพิ่มวลี "ภาพที่สมจริง" และได้อะไรที่ลื่นไหลกว่านี้อีกเล็กน้อย

"ภาพที่สมจริงของนักเขียนที่มีส่วนร่วมของ ZDNET ที่มองเห็นอนาคตของเทคโนโลยีในบทความของตนเองโดยไหล่เขาที่ลอยอยู่ในอวกาศ"

การใช้วลี "ภาพถ่ายของผู้ใช้คอมพิวเตอร์ที่วิตกกังวลมากจ้องมองที่จอคอมพิวเตอร์และเห็นการแจ้งเตือนแพตช์ Windows" ทําให้เกิดภาพที่น่ายินดีของผู้ใช้คอมพิวเตอร์ที่ มักจะกลัว

"ภาพถ่ายของผู้ใช้คอมพิวเตอร์ที่วิตกกังวลมากจ้องมองที่จอคอมพิวเตอร์และเห็นการแจ้งเตือนแพตช์ Windows"

วลีนี้สามารถขยายด้วยคําเพิ่มเติมเพื่อให้ได้ผลลัพธ์ที่เฉพาะเจาะจงมากขึ้น เช่น "ภาพถ่ายของผู้ใช้คอมพิวเตอร์ที่วิตกกังวลมากที่โต๊ะทํางานจ้องมองที่จอคอมพิวเตอร์และเห็นการแจ้งเตือนแพตช์ Windows"

"ภาพถ่ายของผู้ใช้คอมพิวเตอร์ ที่วิตกกังวลมากที่โต๊ะทํางาน จ้องมองจอคอมพิวเตอร์และเห็นการแจ้งเตือนแพตช์ Windows"

เมื่อคุณเริ่มจมอยู่กับการถ่ายภาพสต็อก คุณจะพบว่าคุณสามารถสร้างสถานการณ์มากมายเพื่อเปลี่ยนเป็นภาพ ตัวอย่างเช่น "ภาพถ่ายของคนสวมแว่นตาที่ชี้ให้เห็นหลายคนที่โต๊ะประชุมในห้องประชุม" ให้การเลือกสิ่งที่ดูบลัชออนครั้งแรกได้ค่อนข้างดีเหมือนฉากสํานักงาน จริง

"ภาพถ่ายของคนสวมแว่นตาที่ชี้ให้เห็นหลายคนที่โต๊ะประชุมในห้องประชุม"

เราสามารถรับคุณลักษณะที่เฉพาะเจาะจงมากขึ้นและเปลี่ยนคุณลักษณะของฉากได้ด้วยคําไม่กี่คํา เช่น "ภาพถ่ายของคนสวมแว่นตายืนอยู่ข้างกระดานดําในห้องประชุมกําลังอธิบายบางอย่างให้เพื่อนร่วมงานฟัง"

"ภาพถ่ายของคนสวมแว่นตายืนอยู่ข้างกระดานดําในห้องประชุมกําลังอธิบายบางอย่างให้เพื่อนร่วมงานฟัง"

อย่างที่คุณเห็น สิ่งต่างๆ เช่น ลักษณะใบหน้าโดยทั่วไปจะลดลงในเอาต์พุต DALL•E 2

ด้วยการใช้คําศัพท์ของศิลปินหรือสื่อศิลปะหรือสไตล์เราสามารถเปลี่ยนภาพเดียวกันจากขอบเขตของการถ่ายภาพสต็อกไปสู่ขอบเขตของภาพประกอบเช่นในวลีที่ว่า "Francis Bacon วาดภาพกลุ่มคนในห้องประชุมและคนหนึ่งสวมแว่นตายืนอยู่ข้างกระดานดําอธิบายบางสิ่งบางอย่าง"

"ภาพวาดของฟรานซิส เบคอน ของกลุ่มคนในห้องประชุม และคนหนึ่งสวมแว่นตายืนอยู่ข้างกระดานดําอธิบายบางสิ่งบางอย่าง"

เมื่อคุณสร้างบัญชี OpenAI จะให้ "เครดิต" 50 เครดิตแก่คุณ ซึ่งเป็นคําขอฟรีไปยังระบบ ซึ่งแต่ละวลีที่ป้อนจะนับเป็นคําขอเดียว เมื่อคุณใช้เงิน 50 ใบจนหมดแล้ว คุณสามารถรอหนึ่งเดือนและรับเครดิตฟรี 15 เครดิตถัดไป หรือซื้อเครดิตก็ได้ เครดิตขายเป็นแพ็คละ 115 ในราคา 15 ดอลลาร์หรือ 13 เซนต์ต่อเครดิต 

เป็นไปได้ที่จะตอโปรแกรม คําขอบางอย่างอาจเป็นการผสมผสานระหว่างความเป็นจริงและจินตนาการมากเกินไปที่จะแสดงในรูปแบบที่น่าเชื่อถือ ตัวอย่างเช่น คําขอ "หนูขนสีน้ําเงินเข้ายึดครองไทม์สแควร์" ทําให้เกิดความพยายามครั้งแรกที่ดี แต่องค์ประกอบขนทําให้ภาพมีคุณภาพเลอะเทอะและไม่สม่ําเสมอซึ่งไม่ได้ผล จริงๆ

"หนูขนสีน้ําเงินเข้ายึดครองไทม์สแควร์"

คําขออื่นๆ อาจสะดุด DALL•E 2 เนื่องจากการเลือกคําเดียว 

คําขอ "ถุงเงินนั่งอยู่บนเก้าอี้สนามหญ้าบนระเบียงที่มองเห็นพระอาทิตย์ตกดิน" สร้างภาพที่แปลกประหลาดและไม่เกี่ยวข้องกันอย่างสิ้นเชิง เช่น ภาพระยะใกล้ของเล็บเท้า และภาพคลุมเครือที่ดูเหมือนจะเป็นดอกไม้บางดอกติดอยู่ในพรม 

"ถุงเงินนั่งอยู่บนเก้าอี้สนามหญ้าบนระเบียงที่มองเห็นพระอาทิตย์ตกดิน"

การแทนที่คําว่า "วาง" สําหรับ "นั่ง" ทําให้ DALL•E 2 สร้างผลลัพธ์ที่น่าพอใจในหนึ่งในสามภาพ

"ถุงเงินวางอยู่บนเก้าอี้สนามหญ้าบนระเบียงที่มองเห็นพระอาทิตย์ตกดิน"

อาจเป็นไปได้ว่าโปรแกรมไม่พบการรวมกันขององค์ประกอบที่เหมาะสมสําหรับสิ่งที่ดูเหมือนจะเป็นคํากริยาที่ใช้งานอยู่นั่งเมื่อรวมกับวัตถุที่ไม่มีชีวิตกระสอบ

โดยทั่วไป โปรแกรมดูเหมือนจะต่อสู้กับแง่มุมต่างๆ ของสถานที่ เช่น "ยืนอยู่หน้าขาตั้ง" 

วลีที่ไม่ใช่คําอธิบาย แต่เป็นคําถามหรือคําอุทานดูเหมือนจะบูตระบบเข้าสู่โหมดสุ่ม ตัวอย่างเช่น "DALL•E 2 รู้จักชื่อของตัวเองหรือไม่" เป็นนิพจน์ที่สร้างภาพดอกไม้หลายภาพ นั่นอาจเป็นการตอบสนองเชิงกวี แต่ให้ความรู้สึกเหมือนเป็นการปฏิเสธข้อความแจ้งมากกว่า

"DALL•E 2 รู้จักชื่อของตัวเองหรือไม่"

มีรั้วกั้นบางอย่างที่ OpenAI วางไว้ ซึ่งสะกดไว้ในนโยบายเนื้อหาที่โพสต์ และจะใช้เพื่อระงับความพยายามใดๆ โดยอัตโนมัติ ตัวอย่างเช่น การพิมพ์ "Bill Gates ผู้ร่วมก่อตั้ง Microsoft สูบบุหรี่ซิการ์ในอพาร์ทเมนต์ที่พังทลาย" จะไม่ถูกสร้างขึ้น ข้อความแสดงข้อผิดพลาดจะปรากฏขึ้นโดยระบุว่าคําขอละเมิดนโยบายและนําคุณไปยังหน้านโยบายแทน นี่อาจเป็นกรณีของการละเมิดกฎ "อย่าสร้างภาพบุคคลสาธารณะ"

คําขอเดียวกันนี้แทนที่บุคคลสาธารณะที่ไม่ค่อยมีชื่อเสียง Tiernan Ray ซึ่งเป็นนักเขียนร่วมของ ZDNET ได้สร้างภาพที่น่าขบขันของผู้คนที่ไม่ใช่ Tiernan Ray

"Tiernan Ray สูบซิการ์ในอพาร์ทเมนต์ที่พังทลาย"

ยิ่งไปกว่านั้นข้อความที่มีลิขสิทธิ์ดูเหมือนจะได้รับการคุ้มครองจากการถูกละเมิดแบบขายส่ง วลี "กลุ่มคนออกไปเที่ยวหน้าแมคโดนัลด์" สร้างฉากที่เหมาะสมพอ แต่ทุกผลลัพธ์ที่นําเสนอมีการดัดแปลง "แมคโดนัลด์" เล็กน้อยเพื่อให้ไม่ใช่คํานั้น จริงๆ

"กลุ่มคนออกไปเที่ยวหน้าแมคโดนัลด์"

สิ่งต่าง ๆ จะไปที่ไหนต่อไป? การทํางานเกี่ยวกับแนวทางพื้นฐานของข้อความเป็นรูปภาพกําลังดําเนินการในหลายด้าน หนึ่งคือการเพิ่มความซับซ้อนของคําศัพท์ให้กับโปรแกรม ตัวอย่างเช่น Chitwan Saharia และทีมงานที่ Google Brain ในเดือนพฤษภาคมได้เผยแพร่ผลงานของพวกเขาเกี่ยวกับ "Imagen" ซึ่งเป็นโปรแกรมที่พวกเขากล่าวว่ามี "ความสมจริงในการถ่ายภาพในระดับที่ไม่เคยมีมาก่อน" เคล็ดลับคือการใช้คลังข้อมูลภาษาที่มากขึ้นเพื่อฝึกเครือข่าย 

และยังมีงานที่กําลังทําเพื่อขยายความซับซ้อนของสิ่งต่าง ๆ ที่โปรแกรมสามารถทําได้ ตัวอย่างเช่น Wenhu Chen นักวิทยาศาสตร์ของ Google และเพื่อนร่วมงานในเดือนนี้ได้สร้างโปรแกรมที่ขยาย Imagen ของ Sahari และทีมที่เรียกว่า "Re-imagen" ซึ่งรวมแนวคิดพื้นฐานของการบีบอัดข้อความและรูปภาพเข้ากับองค์ประกอบที่สามคือผลการค้นหา 

ด้วยการเพิ่มสิ่งที่พวกเขาเรียกว่า "การดึงข้อมูล" โปรแกรมได้รับการพัฒนาเพื่อไม่เพียงแต่ค้นหาการผสมผสาน "ความหมาย" ของคําและรูปภาพ แต่ยังค้นหาในชุดค่าผสมผลการค้นหาทางอินเทอร์เน็ตที่จะปรับแต่งผลลัพธ์อย่างละเอียด พวกเขาอ้างว่าผลลัพธ์นั้นเหนือกว่า Imagen และ DALL•E 2 มากในการจัดการกับวลีที่หายากและคลุมเครือ เช่น "Picarones เสิร์ฟพร้อมไวน์" ซึ่งหมายถึงขนมมัน เทศเปรู