Tetracell/Nonacell 센서의 동작원리

최근 출시된 삼성의 ISOCELL 센서들을 보면 tetracell/nonacell 센서라는 표현이 등장합니다. 광량이 충분할 때는 센서를 고해상도 모드로 사용하다가 광량이 적을 때는 4개(tetracell) 또는 9개(nonacell)의 픽셀을 합쳐 하나의 픽셀처럼 사용하는 센서인데, 빛을 받아들일 수 있는 양은 픽셀의 면적에 비례하기 때문에 여러개의 픽셀을 합쳐서 사용하면 해상도는 떨어지더라도 저조도 촬영시 노이즈가 적은 사진을 얻을 수 있습니다.

ISOCELL 센서의 설명 자료를 보면 아래 그림과 같이 4개의 픽셀마다 같은색의 컬러 필터를 가지도록 만들어진 센서가 (가운데), 고해상도 모드에서는 픽셀 별로 각각 다른색의 컬러필터를 가진 것 처럼 (왼쪽) 동작한다고 설명하는데 이러한 동작이 어떻게 가능한지 궁금하여 글을 시작하게 되었습니다. 4개의 픽셀을 하나의 픽셀처럼 읽어내는 것은 (오른쪽) 각 픽셀의 photo diode (이하 PD)에 모인 전하를 하나의 capacitor에 모은 다음 전압으로 변환해서 읽어내면 되니 직관적으로 이해가 되었지만, 4개의 픽셀이 같은 색을 받아들이도록 고정된 컬러필터를 어떻게 조절해서 각 픽셀마다 다른 색을 가진 것처럼 동작할 수 있는지 방법이 떠오르지 않았습니다.

 

 

Bayer 패턴과 Quad/Nona Bayer 패턴

보통의 센서는 2×2=4개의 픽셀을 단위로 초록색 픽셀 2개, 붉은색과 파란색 픽셀을 각각 1개씩 가지고 있는데 이러한 컬러필터의 배열을 Bayer 패턴이라고 합니다. Tetracell 센서의 경우 2×2=4개의 픽셀이 같은 색의 컬러필터를 가지고 다시 4개의 픽셀을 하나의 단위로 총 16개의 픽셀이 Bayer 패턴을 이루도록 되어 있는데 이러한 패턴을 Quad Bayer 패턴이라고 합니다. 아래의 그림은 다양한 컬러필터 배열을 보여주고 있는데, 왼쪽 상단의 패턴이 Bayer, 오른쪽 하단의 패턴이 Quad Bayer 패턴입니다. 마찬가지로 Nonacell 센서의 경우는 3×3=9개의 픽셀이 같은 색을 가지는 단위가 되고 이를 단위로 Nona Bayer 패턴을 이루게 됩니다.

글의 처음에서 언급했듯이 Tetracell/Nonacell 센서는 물리적인 컬러필터 배열과 일치하는 Quad/Nona Bayer 패턴을 그대로 출력할 수도 있지만 Bayer 패턴의 출력도 제공합니다. AP(Application Processor)와의 호환성을 위해서는 Bayer 패턴을 지원하는 것이 매우 중요한데, 지금까지의 센서는 대부분 Bayer 패턴을 기본으로 하고 있었기 때문에 Bayer 이외의 패턴을 센서에서 출력할 경우 AP내의 ISP(Image Signal Processor) 에서 센서 신호를 제대로 처리하지 못할 가능성이 높기 때문입니다. 지금 부터는 Tetracell/Nonacell 센서에서 어떤 방식으로 Bayer 패턴을 지원하는지 살펴보겠습니다.

 

ISP를 내장한 센서

자료를 찾아보니 Tetracell/Nonacell 센서에서 Bayer 패턴을 출력하는 방법은 센서내에 ISP가 내장되어 있고 ISP 에서 re-mosaic 알고리즘을 통해 Quad/Nona Bayer 패턴으로 부터 Bayer 패턴을 계산하여 출력하는 방식으로 보입니다. (관련 링크) 컬러필터의 배열은 물리적으로 고정되어 바꿀 수 없지만 센서의 출력 포맷은 Bayer 패턴을 지원해야 하니 ISP가 들어갈 수 밖에 없는 것이지요. 이 글에서는 계산을 통해 얻어진 Bayer 패턴을 물리적인 Bayer 패턴과 구분하기 위해 virtual Bayer 패턴으로 부르겠습니다. 뒤에서 언급하겠지만 센서에 내장된 ISP는 Quad/Nona Bayer 패턴을 virtual Bayer 패턴으로 변환 하는 작업 이외에 포커스 픽셀의 보간, HDR(High Dynamic Range) 구현에도 사용됩니다.

삼성의 Tetracell/Nonacell의 경우 센서에 ISP(Image Signal Processor)가 내장되어 있다고 명시적으로 언급한 자료는 찾지 못했지만, [1]의 논문 내용을 통해 센서내에 ISP가 내장되어 있다고 추정할 수 있습니다. [1]의 논문은 삼성의 108M Nonacell 센서에서 색상 정보가 없는 포커스 픽셀의 값을 어떻게 주변 픽셀의 값을 이용해서 보간(interpolation) 하는지에 대한 내용인데, 논문의 포함된 센서 구조도를 보면 ISP가 센서의 일부로 포함되어 있습니다. Tetracell/Nonacell 센서 이전의 제품에서도 오른쪽 그림과 같이 이미지센서/ISP/DRAM이 3층으로 적층된 구조의 센서를 발표한 적이 있으니 계속 동일한 구조를 계속 사용하고 있을 것이란 추정도 가능합니다.

 

Virtual Bayer 패턴의 한계

Tetracell/Nonacell 센서의 경우 컬러필터의 해상도와 픽셀의 해상도가 다릅니다. 예를 들어 Quad Bayer 패턴을 가진 48M Tetracell 센서의 경우 컬러필터의 해상도는 12M 픽셀이고 컬러필터의 한 픽셀당 하나당 4개의 sub-pixel이 있는 것과 마찬가지기 때문에 Bayer 패턴을 가진 48M 센서와는 해상도(resolution)에 차이가 있습니다. [2]의 논문에서는 앞의 그림에서 예로 들었던 5가지 컬러필터 패턴들에 대해 지금까지 성능이 가장 좋다고 알려진 ACUDe 알고리즘과 CDMNet neural network 을 통해 demosaic된 이미지의 화질을 PSNR(Peak Signal-to-Noise Ratio)을 통해 비교했는데, PSNR 비교 그래프를 살펴보면 여러 컬러필터들 중에 Quad Bayer 패턴의 화질이 제일 떨어지는 결과를 확인할 수 있습니다.

아래 그림 역시 [2]의 논문에서 발췌한 그림으로 5가지 컬러필터 패턴들에 대해 ACUDe 알고리즘과 CDMNet의 demosaic 결과를 보여주고 있는데 기둥이 빽빽하게 늘어선 담벼락에서 하얀색으로 demosaic 되어야 할 이미지가 Quad Bayer 패턴에 ACUDe 알고리즘을 적용할 경우 파란색 바둑판 무늬의 defect이 발생할 수도 있음을 보여주고 있습니다. 참고로 demosaic은 컬러필터를 통해 받아들인 색상별 픽셀 정보를 바탕으로 녹색/빨강/파란색 채널별 이미지를 전체 해상도로 복원하는 과정을 말합니다.

Quad/Nona Bayer 패턴의 한계를 생각하면 Tetracell/Nonacell 센서는 48M/108M 픽셀 그대로의 해상도를 가진 센서로 생각하기 보다는 컬러필터의 해상도인 12M 픽셀보다 조금 더 해상력을 높일 수 있는 센서라고 생각하는 쪽이 적절할 것 같습니다. 컬러필터 한 픽셀에 속한 정보를 4개 또는 9개의 픽셀로 나누어 받아들인 다음 계산을 잘 하더라도 컬러필터 자체의 해상도를 높인 것 만큼의 효과는 나오지 않는 것이지요. 참고로 AnadTech의 View20 스마트폰 리뷰 기사를 보면 소니의 48M 픽셀 Quad Bayer 패턴 센서는 27M 픽셀의 Bayer 패턴 센서와 비슷한 해상도를 보여준다는 언급이 있습니다.

 

HDR 기능 지원

Tetracell/Nonacell 센서는 컬러필터의 해상도 보다 높은 해상도를 얻는 장점 이외에 (HDR) High Dyanmic Range 이미지를 얻는데도 유리한 구조를 가지고 있습니다. 광량이 충분할 경우 4개 또는 9개의 픽셀의 값을 합쳐서 하나의 픽셀로 읽어내는 대신 sub-pixel 별로 다른 노출시간을 적용하고 노출시간 별로 이미지를 따로 읽어들인 다음, 각 이미지에서 가장 적절한 노출을 골라 하나의 이미지로 합성하면 HDR 이미지를 얻을 수 있습니다. 앞에서 설명한대로 센서내에 ISP를 내장하고 있기 때문에 이러한 동작이 가능한데, AP(Application Processor)에 내장된 ISP에서도 비슷한 작업을 수행할 수 있지만 센서내에서 HDR 처리를 지원하면 AP쪽의 부하를 줄일 수 있고 ISP에 따른 화질 편차를 피할 수 있는 장점이 있습니다.

이해를 돕기위해 Tetracell 센서를 설명하는 사이트의 스크린샷을 가져왔는데, 그림은 Tetracell 센서에서 같은 색의 컬러필터를 공유하는 4개의 픽셀을 Short/Medium/Long 3가지 노출로 설정하여 따로 읽어들일 수 있음을 보여주고 있습니다.

 

 

Tetracell/Nonacell 센서의 동작에 대해 간단히 알아 보았는데, 글을 쓰면서 센서의 다음 로드맵이 궁금해 집니다. Nonacell 센서에서는 컬러필터 한 픽셀당 9개의 픽셀을 가지도록 했는데 이를 16개까지 늘린 센서가 나올지, 아니면 이제는 방향을 틀어 다른 아이디어를 적용할지 궁금합니다. 곧 iPhone13의 공개가 다가오는데,  iPhone13에도 Quad/Nona Bayer 패턴을 적용하게 될지도 살펴봐야겠습니다.

 

Update (2021/09/02)

공교롭게도 이번 글을 쓰고 히루만에 새로운 센서가 나왔네요. 설마 나올까 싶었는데 ISOCELL HP1 이라는 센서가 발표됐습니다. 컬러필터의 해상도는 동일하게 12M 픽셀이지만 컬러필터 1 픽셀당 4×4=16개의 픽셀이 있어 총 200M 픽셀의 해상도를 가집니다. 재미있는 점은 픽셀을 16개씩 합쳐서 읽을수도 있고 4개씩 합쳐서 읽을수도 있다는 점입니다. 0.64um 사이즈 픽셀이 2억개나 있다보니 센서의 사이즈도 1/1.22″로 엄청 커졌습니다. 스마트폰에 이정도 사이즈의 센서가 들어갈 수 있을지가 궁금해 집니다.

 

References

[1] Yeongheup Jang et. al., “A new PDAF correction method of CMOS image sensor with Nonacell and Super PD to improve image quality in binning mode”, Electronic Imaging, Image Quality and System Performance XVIII, pp. 220-1-220-5(5), 2021

[2] Stojkovic, Ana, Ivana Shopovska, Hiep Luong, Jan Aelterman, Ljubomir Jovanov, and Wilfried Philips. 2019. “The Effect of the Color Filter Array Layout Choice on State-of-the-Art Demosaicing” Sensors 19, no. 14: 3215. https://doi.org/10.3390/s19143215