Tetracell/Nonacell 센서의 동작원리

최근 출시된 삼성의 ISOCELL 센서들을 보면 tetracell/nonacell 센서라는 표현이 등장합니다. 광량이 충분할 때는 센서를 고해상도 모드로 사용하다가 광량이 적을 때는 4개(tetracell) 또는 9개(nonacell)의 픽셀을 합쳐 하나의 픽셀처럼 사용하는 센서인데, 빛을 받아들일 수 있는 양은 픽셀의 면적에 비례하기 때문에 여러개의 픽셀을 합쳐서 사용하면 해상도는 떨어지더라도 저조도 촬영시 노이즈가 적은 사진을 얻을 수 있습니다.

ISOCELL 센서의 설명 자료를 보면 아래 그림과 같이 4개의 픽셀마다 같은색의 컬러 필터를 가지도록 만들어진 센서가 (가운데), 고해상도 모드에서는 픽셀 별로 각각 다른색의 컬러필터를 가진 것 처럼 (왼쪽) 동작한다고 설명하는데 이러한 동작이 어떻게 가능한지 궁금하여 글을 시작하게 되었습니다. 4개의 픽셀을 하나의 픽셀처럼 읽어내는 것은 (오른쪽) 각 픽셀의 photo diode (이하 PD)에 모인 전하를 하나의 capacitor에 모은 다음 전압으로 변환해서 읽어내면 되니 직관적으로 이해가 되었지만, 4개의 픽셀이 같은 색을 받아들이도록 고정된 컬러필터를 어떻게 조절해서 각 픽셀마다 다른 색을 가진 것처럼 동작할 수 있는지 방법이 떠오르지 않았습니다.

 

Tetracell/Nonacell 센서의 동작원리

그림 출처 – 삼성전자 뉴스룸 https://www.samsung.com/semiconductor/newsroom/tech-leadership/how-tetracell-delivers-crystal-clear-photos-day-and-night/

 

Bayer 패턴과 Quad/Nona Bayer 패턴

보통의 센서는 2×2=4개의 픽셀을 단위로 초록색 픽셀 2개, 붉은색과 파란색 픽셀을 각각 1개씩 가지고 있는데 이러한 컬러필터의 배열을 Bayer 패턴이라고 합니다. Tetracell 센서의 경우 2×2=4개의 픽셀이 같은 색의 컬러필터를 가지고 다시 4개의 픽셀을 하나의 단위로 총 16개의 픽셀이 Bayer 패턴을 이루도록 되어 있는데 이러한 패턴을 Quad Bayer 패턴이라고 합니다. 아래의 그림은 다양한 컬러필터 배열을 보여주고 있는데, 왼쪽 상단의 패턴이 Bayer, 오른쪽 하단의 패턴이 Quad Bayer 패턴입니다. 마찬가지로 Nonacell 센서의 경우는 3×3=9개의 픽셀이 같은 색을 가지는 단위가 되고 이를 단위로 Nona Bayer 패턴을 이루게 됩니다.

Tetracell/Nonacell 센서의 동작원리

여러가지 컬러필터 배열 (그림 출처 – 논문 [2] “The Effect of the Color Filter Array Layout Choice on State-of-the-Art Demosaicing” 에서 발췌)

Tetracell/Nonacell 센서에서 Quad/Nona Bayer 패턴을 그대로 출력하지 않고 Re-mosaic 모드를 제공하여 Bayer 패턴을 출력하는 이유는 AP(Application Processor)와의 호환성을 고려했기 때문입니다. 지금까지의 센서는 대부분 Bayer 패턴을 기본으로 하고 있었기 때문에 Bayer 이외의 패턴을 센서에서 출력할 경우 AP내의 ISP(Image Signal Processor) 에서 센서 신호를 제대로 처리하지 못할 가능성이 높습니다.

 

ISP를 내장한 센서

Tetracell/Nonacell 센서의 동작원리

이미지 출처 – https://news.samsung.com/us/samsungs-isocell-image-sensor-3-stack-isocell-fast-2L3/

자료를 찾아보니 Tetracell/Nonacell 센서에서 Bayer 패턴을 출력하는 방법은 센서내에 ISP가 내장되어 있고 ISP 에서 계산을 통해 Quad/Nona Bayer 패턴으로 부터 계산한 virtual Bayer 패턴을 출력하는 방식으로 보입니다. (관련 링크) 물리적으로 고정된 컬러필터의 배열을 바꿀 수는 없지만 센서의 출력 포맷은 Bayer 패턴을 지원해야 하니 ISP가 들어갈 수 밖에 없는 것이지요. 뒤에서 언급하겠지만 이렇게 들어간 ISP는 Quad/Nona Bayer 패턴을 virtual Bayer 패턴으로 변환 하는 것 이외에도 포커스 픽셀의 보간, HDR(High Dynamic Range) 구현에도 사용됩니다.

삼성의 Tetracell/Nonacell의 경우 센서에 ISP(Image Signal Processor)가 내장되어 있다고 명시적으로 언급한 자료는 찾지 못했지만, [1]의 논문 내용을 통해 센서내에 ISP가 내장되어 있다고 추정할 수 있습니다. [1]의 논문은 삼성의 108M Nonacell 센서에서 색상 정보가 없는 포커스 픽셀의 값을 어떻게 주변 픽셀의 값을 이용해서 보간(interpolation) 하는지에 대한 내용인데, 논문의 포함된 센서 구조도를 보면 ISP가 센서의 일부로 포함되어 있습니다. Tetracell/Nonacell 센서 이전의 제품에서도 오른쪽 그림과 같이 이미지센서/ISP/DRAM이 3층으로 적층된 구조의 센서를 발표한 적이 있으니 계속 동일한 구조를 계속 사용하고 있을 것이란 추정도 가능합니다.

 

Virtual Bayer 패턴의 한계

Tetracell/Nonacell 센서의 경우 컬러필터의 해상도와 픽셀의 해상도가 다릅니다. 예를 들어 Quad Bayer 패턴을 가진 48M Tetracell 센서의 경우 컬러필터의 해상도는 12M 픽셀이고 컬러필터의 한 픽셀당 하나당 4개의 sub-pixel이 있는 것과 마찬가지기 때문에 Bayer 패턴을 가진 48M 센서와는 해상도(resolution)에 차이가 있습니다. [2]의 논문에서는 앞의 그림에서 예로 들었던 5가지 컬러필터 패턴들에 대해 지금까지 성능이 가장 좋다고 알려진 ACUDe 알고리즘과 CDMNet neural network 을 통해 demosaic된 이미지의 화질을 PSNR(Peak Signal-to-Noise Ratio)을 통해 비교했는데, PSNR 비교 그래프를 살펴보면 여러 컬러필터들 중에 Quad Bayer 패턴의 화질이 제일 떨어지는 결과를 확인할 수 있습니다.

아래 그림 역시 [2]의 논문에서 발췌한 그림으로 5가지 컬러필터 패턴들에 대해 ACUDe 알고리즘과 CDMNet의 demosaic 결과를 보여주고 있는데 기둥이 빽빽하게 늘어선 담벼락에서 하얀색으로 demosaic 되어야 할 이미지가 Quad Bayer 패턴에 ACUDe 알고리즘을 적용할 경우 파란색 바둑판 무늬의 defect이 발생할 수도 있음을 보여주고 있습니다. 참고로 demosaic은 컬러필터를 통해 받아들인 색상별 픽셀 정보를 바탕으로 녹색/빨강/파란색 채널별 이미지를 전체 해상도로 복원하는 과정을 말합니다.

Tetracell/Nonacell 센서의 동작원리

컬러 필터에 따른 demosaic 결과 비교 (그림 출처 – 논문 [2] “The Effect of the Color Filter Array Layout Choice on State-of-the-Art Demosaicing” 에서 발췌)

Quad/Nona Bayer 패턴의 한계를 생각하면 Tetracell/Nonacell 센서는 48M/108M 픽셀 그대로의 해상도를 가진 센서로 생각하기 보다는 컬러필터의 해상도인 12M 픽셀보다 조금 더 해상력을 높일 수 있는 센서라고 생각하는 쪽이 적절할 것 같습니다. 컬러필터 한 픽셀에 속한 정보를 4개 또는 9개의 픽셀로 나누어 받아들인 다음 계산을 잘 하더라도 컬러필터 자체의 해상도를 높인 것 만큼의 효과는 나오지 않는 것이지요. 참고로 AnadTech의 View20 스마트폰 리뷰 기사를 보면 소니의 48M 픽셀 Quad Bayer 패턴 센서는 27M 픽셀의 Bayer 패턴 센서와 비슷한 해상도를 보여준다는 언급이 있습니다.

 

HDR 기능 지원

Tetracell/Nonacell 센서는 컬러필터의 해상도 보다 높은 해상도를 얻는 장점 이외에 (HDR) High Dyanmic Range 이미지를 얻는데도 유리한 구조를 가지고 있습니다. 광량이 충분할 경우 4개 또는 9개의 픽셀의 값을 합쳐서 하나의 픽셀로 읽어내는 대신 sub-pixel 별로 다른 노출시간을 적용하고 노출시간 별로 이미지를 따로 읽어들인 다음, 각 이미지에서 가장 적절한 노출을 골라 하나의 이미지로 합성하면 HDR 이미지를 얻을 수 있습니다. 앞에서 설명한대로 센서내에 ISP를 내장하고 있기 때문에 이러한 동작이 가능한데, AP(Application Processor)에 내장된 ISP에서도 비슷한 작업을 수행할 수 있지만 센서내에서 HDR 처리를 지원하면 AP쪽의 부하를 줄일 수 있고 ISP에 따른 화질 편차를 피할 수 있는 장점이 있습니다.

이해를 돕기위해 Tetracell 센서를 설명하는 사이트의 스크린샷을 가져왔는데, 그림은 Tetracell 센서에서 같은 색의 컬러필터를 공유하는 4개의 픽셀을 Short/Medium/Long 3가지 노출로 설정하여 따로 읽어들일 수 있음을 보여주고 있습니다.

 

Tetracell/Nonacell 센서의 동작원리

Tetracell 센서의 HDR 동작 (이미지 출처 – https://www.samsung.com/semiconductor/minisite/isocell/mobile-image-sensors/isocell-hm2/ )

 

Tetracell/Nonacell 센서의 동작에 대해 간단히 알아 보았는데, 글을 쓰면서 센서의 다음 로드맵이 궁금해 집니다. Nonacell 센서에서는 컬러필터 한 픽셀당 9개의 픽셀을 가지도록 했는데 이를 16개까지 늘린 센서가 나올지, 아니면 이제는 방향을 틀어 다른 아이디어를 적용할지 궁금합니다. 곧 iPhone13의 공개가 다가오는데,  iPhone13에도 Quad/Nona Bayer 패턴을 적용하게 될지도 살펴봐야겠습니다.

 

Update (2021/09/02)

공교롭게도 이번 글을 쓰고 히루만에 새로운 센서가 나왔네요. 설마 나올까 싶었는데 ISOCELL HP1 이라는 센서가 발표됐습니다. 컬러필터의 해상도는 동일하게 12M 픽셀이지만 컬러필터 1 픽셀당 4×4=16개의 픽셀이 있어 총 200M 픽셀의 해상도를 가집니다. 재미있는 점은 픽셀을 16개씩 합쳐서 읽을수도 있고 4개씩 합쳐서 읽을수도 있다는 점입니다. 0.64um 사이즈 픽셀이 2억개나 있다보니 센서의 사이즈도 1/1.22″로 엄청 커졌습니다. 스마트폰에 이정도 사이즈의 센서가 들어갈 수 있을지가 궁금해 집니다.

 

References

[1] Yeongheup Jang et. al., “A new PDAF correction method of CMOS image sensor with Nonacell and Super PD to improve image quality in binning mode”, Electronic Imaging, Image Quality and System Performance XVIII, pp. 220-1-220-5(5), 2021

[2] Stojkovic, Ana, Ivana Shopovska, Hiep Luong, Jan Aelterman, Ljubomir Jovanov, and Wilfried Philips. 2019. “The Effect of the Color Filter Array Layout Choice on State-of-the-Art Demosaicing” Sensors 19, no. 14: 3215. https://doi.org/10.3390/s19143215

You may also like...

2 Responses

  1. Jung-wook Kim 말해보세요:

    좋은 글 감사합니다. 말씀하신대로 Tetracell/Nonacell을 이용한 센서의 한계가.. Re-mosaicing (Color Interpolation)에 있죠. 각 센서별로 각각 다른 CI 를 다 ISP에 넣어야 하는데.. 이게 이미지 센서와 별개로 많이 팔려고 하는 AP 입장에서 쉽지 않죠.. 애플처럼 최종 프로덕트를 보고 만드는 회사가 아닌이상.. 삼성에서도 위에서 교통정리를 잘 해줘야 진정한 혁신이 나올 것같습니다.

    • 골수공돌이 말해보세요:

      댓글 감사합니다. 글을 쓰면서 demosaic 알고리즘의 대세가 Neural Network 기반으로 가게되면 여러가지 CFA 패턴에 적응하기가 쉬워지지 않을까란 생각을 해봤습니다. ISP 설계자가 아닌 입장에서 스쳐가는 생각입니다. ^^

댓글 남기기