ตัวประมวลผลสัญญาณภาพ (ISP) การทำงานและลักษณะเฉพาะ

ในแต่ละวันเราทุกคนใช้ไฟล์ ห้อง ในชีวิตประจำวัน; ไม่ว่าจะเป็น ทุ่มเทหรือบูรณาการ เว็บแคม ในการจัดประชุมทางวิดีโอกล้องสะท้อนเพื่อถ่ายภาพหรือกล้องที่รวมอยู่ในสมาร์ทโฟนองค์ประกอบนี้แทบจะขาดไม่ได้ในชีวิตของเรา แต่คุณเคยหยุดคิดบ้างไหมว่าจะจับภาพสิ่งที่เราเห็นในชีวิตจริงให้เป็นภาพดิจิทัล เกี่ยวข้องกับไฟล์ ISP, โปรเซสเซอร์สัญญาณภาพ และนั่นคือสิ่งที่เราจะพูดถึงต่อไป

หลายปีที่ผ่านมาผู้ที่มีเว็บแคมบนพีซีของพวกเขาได้รับสิทธิพิเศษ แต่ปัจจุบันพวกเขาถูกรวมเข้ากับช่องว่างเล็ก ๆ ขอบ ของหน้าจอแล็ปท็อปหรือสมาร์ทโฟน สิ่งนี้เป็นไปได้เนื่องจากออปติกลดลงอย่างมากในขณะที่คุณภาพของภาพที่ถ่ายได้รับการปรับปรุงและต้องขอบคุณหน่วยประมวลผลขนาดเล็กที่เรียกว่า ISP ซึ่งทั้งหมดนี้รวมเข้าด้วยกัน

ตัวประมวลผลสัญญาณภาพ

ISP (Image Signal Processor) ของกล้องคืออะไร

ISP เป็นโปรเซสเซอร์ขนาดเล็กที่ติดตั้งอยู่ในกล้อง (ในกรณีของสมาร์ทโฟนสามารถติดตั้งใน SoC ได้) และหากต้องการทำความเข้าใจวิธีการทำงานคุณควรทราบว่าพิกเซลมีความไวต่อแสงระหว่างความยาวคลื่นบางชุด โดยพื้นฐานแล้วพวกมันไม่ขึ้นกับสี วิธีการรับภาพสีคือการวางฟิลเตอร์ไว้ด้านบนโดยปกติจะเป็นฟิลเตอร์สีรูปแบบไบเออร์แล้วสอดแทรกสีของพิกเซลที่อยู่ติดกัน ดังนั้นเซ็นเซอร์ CMOS ของกล้องจะไม่ตรวจจับสีแดงสีเขียวและสีน้ำเงินสำหรับแต่ละพิกเซล แต่จะตรวจจับสีที่แตกต่างกันสำหรับแต่ละพิกเซลและเป็นโปรเซสเซอร์ ISP ที่คาดเดาสีโดยขึ้นอยู่กับสีที่อยู่ข้างๆ

ISP

สิ่งนี้เรียกว่าการสาธิตและเป็นงานหลักของ ISP ในกล้อง นอกจากนี้ ISP ยังดูแลงานทั่วไปทั้งหมดของกล้องเช่นโฟกัสอัตโนมัติค่าแสงหรือสมดุลแสงขาวเป็นต้น เมื่อเร็ว ๆ นี้มีการเพิ่มฟังก์ชั่นในการแก้ไขความไม่สมบูรณ์ของเลนส์เช่นขอบมืดหรือการบังสีที่มาจากระบบเลนส์ที่ไม่สมบูรณ์พร้อมกับสิ่งต่างๆเช่นการรวมกันของ HDR การลดสัญญาณรบกวนฟิลเตอร์การตรวจจับใบหน้าและการแปลงระหว่างช่องว่างสี .

เห็นได้ชัดว่าส่วนสุดท้ายทั้งหมดนี้หมายความว่าในกรณีที่ผู้ผลิตกล้องต้องการพวกเขาสามารถกำหนดฟังก์ชันการกำหนดค่าภาพทั้งหมดที่ ISP ใช้ในซอฟต์แวร์ให้กับ ISP ได้แม้ว่าพวกเขาจะมีตัวเลือกในการทำให้ทุกอย่างเป็นไปโดยอัตโนมัติ (Apple) หรือตัวเลือกที่กำหนดโดยผู้ใช้ตามความต้องการ นี่คือสิ่งที่ช่วยให้คุณสามารถเบลอพื้นหลังในไฟล์ Skype การประชุมทางวิดีโอ

ISP ใช้ Skype

เหตุใดโปรเซสเซอร์นี้จึงมีความสำคัญ?

เนื่องจากสมาร์ทโฟนกลายเป็นอุปกรณ์หลักในการถ่ายภาพและวิดีโอในชีวิตประจำวันของผู้คน (และในช่วงไม่กี่ปีที่ผ่านมาก็มีเว็บแคมแม้ว่าจะเป็นอุปกรณ์ที่ติดตั้งมาในแล็ปท็อปก็ตาม) ฟังก์ชันชุดนี้ที่เราพิจารณาพื้นฐานเนื่องจากโฟกัสอัตโนมัติมีความสำคัญมากขึ้นเรื่อย ๆ ผู้ผลิตจึงมี ถูกบังคับให้ปรับปรุง ISP และเพิ่มจำนวนงานที่สามารถทำได้

ตอนนี้ประสบการณ์ผู้ใช้และอินเทอร์เฟซกล้องกำลังเปลี่ยนแปลงอย่างรวดเร็วจากรุ่นสู่รุ่นและมีการรวมฟังก์ชันที่จริงจังมากขึ้นเรื่อย ๆ ในแง่ที่ว่าพวกเขาต้องการการใช้ทรัพยากรมากขึ้น (เช่นตัวอย่างการเบลอพื้นหลังของ Skype ที่เราใส่ไว้ ก่อนหน้านี้) เช่นเดียวกับตัวควบคุมของไฟล์ SSDISP ของกล้องจะมีบทบาทสำคัญมากขึ้นเรื่อย ๆ นอกเหนือจากความสามารถของเลนส์หรือล้านพิกเซลที่มีกล้อง

สำหรับวิดีโอเราต้องเพิ่มอีกหนึ่งปัจจัยให้กับสมการนี้ตัวเข้ารหัส วิธีการทำงานนั้นคล้ายคลึงกันมากแม้ว่าโดยปกติ ISP จะทำงานร่วมกับตัวอย่างของเซ็นเซอร์ CMOS ของกล้องขึ้นอยู่กับความสามารถของเซ็นเซอร์ ตัวเข้ารหัสนำภาพเหล่านี้และบีบอัดเป็นรูปแบบและอัตราบิตตามที่ OEM หรือผู้ใช้เลือก (โดยพื้นฐานแล้วปัจจุบันคือ H.264) และแม้ว่าตัวเข้ารหัสทั้งหมดจะไม่เหมือนกัน แต่ก็ควรทำงานร่วมกับ ISP เพื่อให้สามารถบันทึกวิดีโอได้

ในทำนองเดียวกันวิดีโอจะถูกบันทึกด้วยความละเอียดที่สูงขึ้นและมีการเพิ่มเอฟเฟกต์แบบเรียลไทม์และนี่คือสิ่งที่สร้างภาระให้กับโปรเซสเซอร์ของกล้องซึ่งไม่ใช่ทุกคนที่สามารถทำได้ กล่าวโดยย่อคือเมื่อเทคโนโลยีก้าวหน้าขึ้นจึงมีการเพิ่มฟังก์ชั่นต่างๆให้กับกล้องมากขึ้นและหน่วยประมวลผลของมันก็มีมากเกินไปดังนั้นจึงเป็นเรื่องสำคัญที่การพัฒนาของพวกเขาจะต้องดำเนินต่อไปตามวิวัฒนาการของอุตสาหกรรมไม่เช่นนั้นเราจะติดอยู่กับที่