เพิ่มความละเอียดผ่าน AI ลักษณะและการทำงาน

การเพิ่มความละเอียดของทั้งวิดีโอเกมและภาพยนตร์มีผลในแง่ของกำลังที่ต้องใช้ในการสร้างภาพเนื่องจากยิ่งเราต้องการให้พิกเซลมีความละเอียดมากขึ้นเป็นความละเอียดเอาต์พุตเราก็จะต้องใช้พลังงานมากขึ้น แนวคิดเบื้องหลังการใช้อัลกอริทึมเพื่อสร้างภาพที่มีความละเอียดสูงขึ้นจากภาพที่มีความละเอียดต่ำนั้นมีจุดมุ่งหมายเพื่อประหยัดพลังงานและเวลาในการคำนวณ

สาเหตุของการใช้ AI เพื่อสร้างภาพที่มีความละเอียดเพิ่มขึ้น

อัลกอริธึมการปรับขนาดภาพหรืออัลกอริทึมความละเอียดสูงคืออัลกอริทึมที่แปลงบัฟเฟอร์ภาพในความละเอียด "X" เป็นความละเอียดที่สูงขึ้น

อัลกอริทึมการปรับขนาดภาพไม่ได้ขึ้นอยู่กับ AI

เพื่อให้เข้าใจถึงความจำเป็นในการใช้ปัญญาประดิษฐ์เป็นเครื่องมือในการเพิ่มความละเอียดของภาพจำเป็นต้องทราบล่วงหน้าถึงข้อ จำกัด ของอัลกอริทึมแบบคลาสสิกที่ไม่ได้ใช้ AI

แต่เราจะปรับขนาดภาพในแง่ของความละเอียดได้อย่างไร? เมื่อเราเพิ่มความละเอียดเราพบว่าพิกเซลใหม่ส่วนใหญ่ที่เกี่ยวกับความละเอียดก่อนหน้านั้นไม่มีค่าสีที่กำหนดไว้ดังนั้นเราจึงต้องเติมเต็มด้วยวิธีใดวิธีหนึ่ง

วิธีที่ง่ายที่สุดในการเพิ่มความละเอียดคือการคัดลอกค่าสีของพิกเซลที่อยู่ติดกัน แต่ผลลัพธ์ที่แท้จริงไม่ใช่ภาพที่มีความละเอียดสูงกว่า แต่เป็นภาพที่มีความละเอียดเท่ากันโดยใช้จำนวนจุดต่อพิกเซลที่สูงกว่า อัลกอริทึมนี้เรียกว่า Nearest Neighbor (a) (Close Neighbor)

เทคนิคอื่น ๆ ขึ้นอยู่กับอัลกอริทึมการแก้ไขซึ่งใช้ค่าสีของพิกเซลที่อยู่ติดกันเพื่อทราบค่าของพิกเซลกลางโดยใช้ตัวอย่างจำนวนมากหรือน้อยกว่าเพื่อให้ทราบค่าของพิกเซลดังกล่าว ที่มีชื่อเสียงที่สุดคือการแก้ไขทวิภาคี (b) ซึ่งใช้สำหรับการกรองพื้นผิวในเกมและการแก้ไขแบบไบคิวบิก (c)

ไม่มีอัลกอริทึมการปรับขนาดใดที่ถึงระดับคุณภาพที่เหมาะสมและไม่เคยให้ภาพที่คมชัดเท่ากับการสร้างภาพโดยตรงที่ความละเอียดสูงกว่า (d)

ปัญญาประดิษฐ์เพื่อช่วยเหลือ

เมื่ออัลกอริทึมปัญญาประดิษฐ์ปรับขนาดภาพสิ่งที่พวกเขาทำคือจินตนาการหรือประดิษฐ์พิกเซลกลางที่เราไม่รู้จักด้วยเหตุนี้จึงจำเป็นต้องฝึกปัญญาประดิษฐ์ด้วยชุดภาพตัวอย่างตราบเท่าที่ปัญญาประดิษฐ์เรียนรู้รูปแบบ จากการสร้างภาพใหม่ที่มีความละเอียดสูงกว่าจากภาพอื่นที่มีความละเอียดต่ำกว่า

สำหรับสิ่งนี้จำเป็นต้องป้อนเครือข่ายประสาทในระหว่างขั้นตอนการฝึกอบรมด้วยภาพหลายร้อยและหลายพันภาพเพื่อให้พบรูปแบบที่ตายตัวซึ่งสามารถนำไปใช้เมื่อสร้างพิกเซลที่หายไป สิ่งนี้เรียกว่าการฝึกอบรม AI

เมื่อปัญญาประดิษฐ์พบรูปแบบแล้วสิ่งที่มันทำคือสร้างอัลกอริธึมแบบกำเนิดที่จะนำไปใช้ในการสร้างภาพที่มีความละเอียดสูงขึ้นเสมอและจะดำเนินการกับฮาร์ดแวร์ AI เฉพาะที่เกี่ยวข้องซึ่งเราใช้ในระบบ เราเรียกสิ่งนี้ว่าการอนุมานของ AI

Neural Networks เพื่อความละเอียดของภาพที่สูงขึ้น

เครือข่ายประสาทเทียมมีหลายประเภท แต่เครือข่ายที่มักใช้ในการสร้างภาพที่มีความละเอียดสูงกว่านั้นเรียกว่าเครือข่ายปฏิปักษ์ทางกำเนิดในภาษาอังกฤษ Generative Adversial เครือข่าย หรือ GAN

รูปแบบที่ง่ายที่สุดของเครือข่ายประเภทนี้เป็นตัวอย่างที่จุดเริ่มต้นของส่วนย่อยนี้ GAN ทำงานกับเครือข่ายประสาทสองเครือข่ายที่เรียกว่า Generator และ Discriminator

Generator มีหน้าที่สร้างตัวอย่างที่ไม่มีอะไรมากไปกว่าเสียงรบกวนในตอนแรกในขณะที่อันที่สองซึ่งเราเรียกว่า Discriminator จะประเมินโดยการเปรียบเทียบกับตัวอย่างของภาพจริง การประเมินนี้มีเพียงสองคำตอบที่เป็นจริงหรือเท็จ หากการประเมินผลเป็นไปในเชิงบวกรูปภาพจะถูกใช้เป็นข้อเสนอแนะเพื่อให้เครือข่ายกำเนิดเรียนรู้ว่ารูปแบบคืออะไรในการสร้างภาพใหม่ที่มีลักษณะคล้ายกับสิ่งที่เราต้องการให้เรียนรู้ในการสร้างมากขึ้น

ตัวอย่างเช่นหากเราให้อาหาร Discriminator โดยมีรูปถ่ายของแมวในตอนท้ายเครื่อง Generator จะเรียนรู้ว่าภาพที่จะต้องสร้างเป็นภาพถ่ายของแมว

การใช้ AI ช่วยเพิ่มความละเอียดในวิดีโอเกม

เมื่อเราเล่นวิดีโอเกมมันไม่เหมือนกับภาพยนตร์ที่มีการจัดเก็บเฟรมทั้งหมดไว้ล่วงหน้าดังนั้น Discriminator จึงขาดภาพตัวอย่างที่เป็นตัวอย่างโดยสิ้นเชิง

เราสามารถฝึก GAN เพื่อให้มันเรียนรู้ที่จะปรับขนาดภาพจากฟิล์มเก่าให้มีความละเอียดสูงขึ้นโดยใช้เป็นตัวอย่างสำหรับภาพการฝึกอบรมจากภาพยนตร์ที่ใหม่กว่าและมีความละเอียดสูงกว่าอื่น ๆ เนื่องจากเรากำลังพูดถึงเฟรมที่ถ่ายจากชีวิตจริง

แต่ในกรณีของวิดีโอเกมไม่เพียง แต่แต่ละเฟรมจะไม่ซ้ำกันและไม่มีการทำซ้ำอีกดังนั้นจึงไม่มีเฟรมก่อนหน้านี้ที่มีความละเอียดสูงกว่าให้เปรียบเทียบ แต่ยังรวมถึงความจริงที่ว่าแต่ละเกมมีรูปแบบภาพของตัวเองทำให้อัลกอริทึมเรียนรู้ ในการสร้างบัฟเฟอร์ภาพที่ความละเอียดสูงกว่าของเกมจะใช้ไม่ได้กับเกมอื่น ๆ หากพวกเขาไม่ได้มีสไตล์ศิลปะที่คล้ายกัน

สิ่งนี้บังคับให้เครือข่ายปฏิปักษ์กำเนิดที่เราต้องใช้ในการฝึกอบรม AI และด้วยเหตุนี้จึงสร้างอัลกอริทึมการอนุมานเพื่อให้สามารถสร้างภาพที่มีความละเอียดสูงขึ้นเพื่อเป็นสิ่งที่แตกต่างออกไป

ในการฝึก AI ให้เรียนรู้ที่จะเพิ่มความละเอียดของวิดีโอเกมสิ่งที่ทำได้คือการใช้พีซีที่ทรงพลังมากพร้อมความสามารถในการแสดงภาพที่มีความละเอียดสูงมาก

พีซีที่ทรงพลังมากนี้อาจเป็นเหมือนเซิร์ฟเวอร์ที่มี GPU หลายตัวทำงานพร้อมกันเพื่อแสดงภาพที่ความละเอียดสูงมาก ตัวอย่างเช่น, NVIDIA ใช้ซูเปอร์คอมพิวเตอร์ Saturn V เพื่อสร้างบัฟเฟอร์ภาพที่มีความละเอียดสูงขึ้น

ในทางกลับกันเรามีไฟล์ GPU การแสดงฉากเดียวกันที่ความละเอียดต่ำกว่าฉากความละเอียดต่ำนี้ใช้เป็นตัวอย่างอินพุตสำหรับเครื่องกำเนิดไฟฟ้าซึ่งจากภาพนี้จะพยายามสร้างภาพที่มีความละเอียดสูงขึ้นซึ่งผู้แยกแยะเองจะต้องประเมินจากภาพ ด้วยความละเอียดที่สูงกว่าเมื่อเปรียบเทียบทั้งสองอย่าง

ตามที่คาดไว้ผลลัพธ์ที่ได้คือประสิทธิภาพที่สูงขึ้นความละเอียดที่เพิ่มขึ้นเนื่องจากการปรับขนาดภาพและความชัดเจนในมุมมองของนักเล่นเกม