iPhone 11 프로 카메라 이야기

지난 iPhone 11 시리즈 발표 이벤트에서 A13 Bionic 프로세서, 향상된 디스플레이와 스피커 등을 비롯해서 다양한 기능들이 소개되었지만 역시 주인공은 단연 프로 모델의 트리플 카메라가 아니었나 싶습니다. 개인적으로 관심이 가는 부분이라 iPhone 11 프로의 카메라에 대해서 발표 이벤트에서 언급되지 않은 이야기들을 다루려고 합니다.

같은 듯 다른 센서

iPhone11 프로의 트리플(광각/망원/초광각) 카메라는 동일하게 1200만 화소의 사양을 가지고 있지만 조금 더 자세히 살펴보면 세 개의 카메라 중에 가장 많이 사용되는 광각 카메라에 보다 뛰어난 성능의 센서를 적용하고 있습니다. TechInsight의 “Apple iPhone 11 Pro Max Teardown” 분석글에 의하면 광각 카메라의 센서 면적은 40.5mm² 이고 초광각과 망원 카메라의 센서 면적은 각각 32.8mm² 과, 32.7mm² 로 광각 카메라의 센서가 다른 두 카메라의 센서 보다 24%정도 큽니다. 센서 면적이 크면 픽셀당 받아들일 수 있는 빛의 양이 늘어나기 때문에 풍부한 계조와 정확한 색 표현 및 야경촬영에 유리합니다.

YouTube 영상 중 발췌 “September Event 2019 — Apple”

또한 광각 카메라의 센서는 다른 카메라의 센서들에 비해 보다 넓은 ISO 범위를 지원 하는데, iPhone에서 RAW 파일 사진 촬영을 지원하는 앱인Halide앱의 개발사 블로그에 의하면 광각 카메라의 센서는 30~3072, 망원/초광각 카메라의 센서는 21~2016의 ISO 범위를 지원합니다. 광각 카메라는 높은 최대 ISO 값에 더해 F1.8의 가장 밝은 렌즈까지 갖추고 있어 야경 촬영에 제일 유리하지요. 이에 더해 광각카메라의 센서는 다음 단락에서 자세히 설명할 특징을 한 가지 더 가지고 있는데, iPhone 11 프로 소개 때 사용된 “100% Focus Pixels”라는 표현 그대로 센서의 모든 픽셀이 포커스 픽셀로 동작이 가능하다는 점 입니다. 포커스 픽셀로 넘어가기 전에 지금까지 언급한 내용을 간단히 표로 정리해 보았습니다. 

100% 포커스 픽셀

카메라에서 오토포커스(Auto Focus, 이하 AF)를 구현 하는 방법은 크게 컨트라스터와 위상차를 검출하는 두 가지 방식이 있습니다. 먼저 초기 스마트폰 카메라에서 주로 사용되던 컨트라스트 AF는 포커스를 가까운 곳부터 먼 곳까지 훑어가면서 피사체가 가장 선명한 지점을 찾기 때문에 느리지만 포커스가 정확하고 별도의 센서가 필요 없다는 장점이 있습니다. 위상차 AF의 경우 하나의 피사체에서 나온 빛이 렌즈의 다른 부분을 통과하여 센서의 두 지점에 상이 맺히게 한 후 이들의 위치 관계를 통해 포커스를 가까운 쪽 또는 먼 쪽으로 옮겨야 하는지 판단합니다. 포커스를 옮길 방향과 거리를 바로 알 수 있어 AF속도가 빠르긴 하지만 별도의 AF 센서 또는 특수한 포커스 픽셀을 탑재한 센서가 필요해서 컨트라스트 AF에 비해 구현은 좀 더 복잡합니다. 

애플은 위상차 AF 구현을 위해 iPhone 6 부터 포커스 픽셀이 탑재된 센서를 사용해 왔는데, 아래 TechInsight의 분석 자료에 보이는 것과 같이 픽셀의 좌/우 또는 상/하 반쪽이 가려진 타입의 픽셀이 포커스 픽셀입니다. 왼쪽(또는 윗쪽)이 가려진 포커스 픽셀에서 캡처한 영상과 오른쪽 (또는 아랫쪽)이 가려진 포커스 픽셀에서 캡처한 영상을 비교해서 포커스를 옮길 방향과 거리를 결정하는데, 정확한 AF를 위해서는 포커스 픽셀이 촘촘히 있어야 하므로 iPhone Xs 까지 세대가 변하면서 포커스 픽셀의 비율은 점점 늘어 왔습니다. 이런 방식의 단점은 포커스 픽셀에서는 정상적인 이미지를 캡처할 수 없으므로 주변 픽셀 값을 통해 포커스 픽셀의 값을 보간(interpolation)해서 채워 넣어야 하고 이 때문에 화질이 저하 된다는 점입니다. 

자료 출처 – TechInsight 사이트 “Apple iPhone Xs Max Teardown” 기사

이러한 단점을 해결하기 위해 모든 픽셀을 두개의 sub-pixel로 나누어서 포커스 픽셀로 사용할 수 있는 센서가 등장했는데 DSLR이나 미러리스 카메라에는 수년 전 부터 적용되던 기술이지만 iPhone의 경우 11 시리즈에서 처음 적용 되었습니다. iPhone 11 프로의 카메라에는 소니의 센서가 탑재되지만 2016년 캐논에서 발표한 “A Low Noise and High Sensitivity Image Sensor with Imaging and Phase-Difference Detection AF in All Pixels”라는 제목의 논문(링크)에 동작원리가 잘 설명되어 있어 내용을 소개하려 합니다. 

“A Low Noise and High Sensitivity Image Sensor with Imaging and Phase-Difference Detection AF in All Pixels” 논문의 Figure 1

오른쪽은 소개한 논문에 실린 그림인데, 위에서 설명한 포커스 픽셀과는 달리 픽셀의 반쪽이 가려진 것이 아니라 하나의 픽셀이 PD-A/PD-B의 두개의 서브픽셀로 나누어져 있는 것을 보실 수 있습니다. (PD는 photo diode의 약자) 각 픽셀에서 렌즈의 왼쪽 부분을 통과한 빛은 PD-B에서만, 렌즈의 오른쪽 부분을 통과한 PD-A에서만 받아들이도록 광학계와 각 픽셀 상부의 마이크로 렌즈를 설계한 후 이미지 센서로 부터 PD-A의 정보만을 모아 image-A를, PD-B의 정보만을 모아서 image-B를 구성합니다. Image-A/B에 포착된 파사체의 위치를 비교했을 때 오른쪽 그림의 (b) 처럼 두 이미지 상에서 피사체의 위치가 일치한다면 포커스가 맞은 상태인 것이고 그림 (a)나 (c)처럼 피사체의 위치가 일치하지 않으면 상대적인 위치 관계를 통해 포커스를 먼쪽 또는 가까운 쪽으로 얼마나 움직여야 하는지 추정할 수 있습니다. 설명이 잘 이해가 되지 않는다면 캐논에서 만든 영상을 보면 도움이 되겠습니다. 사진을 찍을 때는 PD-A/B의 값을 따로 읽어내지 않고 합쳐서 하나의 픽셀로 읽어내면 일반적인 이미지 센서와 같은 방식으로 동작하게 됩니다. 

이러한 방식의 센서는 한 픽셀 내에서 PD-A와 PD-B로 들어오는 빛이 서로 섞이지 않도록 설계해야 하는 기술적 어려움이 있기는 하지만  모든 픽셀이 위상차 검출에 사용될 수 있어 AF가 보다 정확해지며 포커스 픽셀의 값을 주변픽셀의 값을 이용하여 보간할 필요가 없기때문에 화질 저하에서도 자유롭습니다. 

함께 한 픽셀안에서 photo diode가 두개로 분리되어 있을 경우HDR(High Dynamic Range) 구현에 유리해진다는 부수적인 장점도 얻을 수 있는데, 소니에서 발표한 “A 4M pixel full-PDAF CMOS image sensor with 1.58 μm 2×1 On-Chip Micro-Split-Lens technology” 라는 제목의 논문(링크)에 따르면 PD-A 와 PD-B의 노출을 시간을 다르게 해서 시간차 없이 장노출 이미지와 단노출 이미지를 얻을 수 있다고 합니다. 보통의 센서라면 장노출/단노출 이미지를 순서대로 읽어내기 때문에 노출이 다른 프레임 간 시간 차이에 의해 HDR 이미지 합성시 어색한 부분이 나타날 수 있지만 한 픽셀에 두개의 photo diode를 가지는 센서는 이런 부분에서 자유로워 집니다. 다만 한 픽셀에서 동시에 노출이 다른 프레임을 읽어내는 방법은 포커스가 맞은 피사체 부분에서는 PD-A와 PD-B에 맺힌 상이 일치하기 때문에 문제가 없지만 포커스가 맞지 않은 배경 부분은 상의 위치가 달라져서 이를 보정할 필요가 있습니다. 소니의 논문을 소개한 이유는 이전 세대와 다른 방식의 HDR 처리방식이 iPhone 11에 적용 되었을 가능성을 언급하고 싶었기 때문이고, 실제 iPhone 11 프로의 카메라에 어떤 방식의 HDR 알고리즘을 사용하는지 저로서는 알 수가 없어 아쉽네요 ㅜ.ㅠ 

유기적인 트리플 카메라 시스템

iPhone 11프로의 카메라 시스템의 특징은 3개의 카메라가 별개로 동작하는 것이 아니라 유기적으로 협력한다는 점 입니다. iPhone 11 발표 행사에서 소개한 대로 광각(또는 망원) 카메라를 사용할 때 각각 초광각(또는 광각) 카메라가 프레임 밖의 이미지를 같이 캡처해서 프레임 경계에서 아쉽게 잘린 인물이나 피사체를 iOS 기본 사진앱에서 보정할 때 살릴 수 있게 하는 것 이외에도 3개의 카메라가 협력하는 시나리오는 많이 있습니다.

애플 홈페이지 스크린 샷 – https://www.apple.com/kr/iphone-11-pro/

우선 광각 카메라의 센서가 다른 카메라들에 비해 센서 성능이 좋은 관계로 전체 카메라 시스템의 동작에서 보다 많은 역할을 담당하고 있는 것으로 보입니다. 애플에서 공개한 기술문서를 읽은 것은 아니고 사용하다 보니 우연히 알게 됐는데, 광각 카메라를 손으로 가린 상태에서는 가려지지 않은 망원/초광각 카메라의 노출도 맞지 않게되고 망원 카메라의 촛점을 맞추는 속도가 눈에 띄게 느려지는 것으로 보아 광각 카메라는 어떤 카메라가 사용되든 항상 카메라 시스템 전체의 AF와 자동 노출에 관여하는 것으로 보입니다. 또한 망원 카메라를 사용하면서 먼 곳을 보다가 가까운 물체로 촛점을 옮기면 사용자가 눈치 못채게 망원에서 광각 카메라로 전환 되는데, 망원 카메라가 렌즈의 스펙 상 가까운 물체의 촛점을 잡지 못하는 한계를 광각 카메라의 디지털 줌으로 보완 하는 것 같습니다. 이는 망원 카메라를 가린 상태에서도 50~60cm 정도 떨어진 가까운 물체를 비추면 화면이 검게 변하지 않고 문제없이 1X/2X 줌이 전환되는 점과 망원 카메라를 가린 상태로 먼 곳을 보다가 가까운 쪽으로 카메라를 돌리면 아무것도 보이지 않던 라이브뷰 화면이 가려지지 않은 것처럼 보이는 것을 통해 알 수 있습니다.

과감해진 스마트 HDR

iPhone 11 프로의 카메라를 사용하면서 이전 모델에 비해 크게 차이를 느꼈던 부분은 스마트 HDR의 적용이 매우 과감해 졌다는 점 입니다. 특히 하늘 사진에서 극적인 느낌이 더해지는데 아래 두 사진의 구름을 비교해 보면 바로 차이를 알 수 있습니다. 비슷한 조건에서 iPhone 11 프로와 소니 α6000 미러리스 카메라로 찍은 결과물인데 구름의 명암 차이가 iPhone 11쪽에서 훨씬 강조되어 있어 보기는 좋지만 소니 카메라 쪽이 실제 눈에 보이는 풍경에 가까웠습니다. iPhone 11 프로의 동영상 촬영시에는 하늘의 명암이 사진만큼 강조되지 않는 것으로 보아 머신 러닝을 통해 사진에서 하늘이 어디 있는지를 판단한 후에 하늘만 사진의 다른 부분에 비해 contrast를 높이는 것으로 생각됩니다. iPhone 11 발표 때 Semantic Rendering 이라는 개념을 소개하면서 사진상에서 얼굴을 찾으면 눈, 코, 입, 머리카락 등을 따로 분리하여 각각 다른 최적의 보정을 적용한다는 사실은 이미 공개 했습니다만 이외에도 머신 러닝을 통해 특정 상황을 인식하고 이에 맞는 보정을 적용하는 부분이 더 있는 것 같습니다. 요즘 스마트폰 카메라에서는 이미지 처리 알고리즘의 힘으로 작은 센서의 물리적 한계를 보완하는 computational photography가 대세이긴 한데, 이번엔 조금 과하지 않았나 싶은 인상이 있습니다.

마무리

iPhone 11 프로의 카메라를 이야기 할 때 빠질 수 없는 나이트 모드와 딥 퓨전에 대한 내용은 다루지 않았는데, 이들에 대해서는 이미 너무 많은 리뷰가 나와 있기도 하지만 사정상 여러 샘플샷을 찍고 화질을 세세히 비교하기는 힘들기도 해서 다루지 않은 점은 양해 부탁드립니다. 대신에 사용하면서 주관적으로 느낌 점 몇가지와 개인적으로 관심이 가던 센서에 대한 이야기를 조금 다루었습니다. iPhone 11 프로를 사용한지 1달이 조금 넘었는데 HDR이 좀 과하다는 느낌 이외에는 지금까지 사용해 본 iPhone 카메라 중에 가장 만족스러운 카메라임은 틀림 없습니다. 화질도 훌륭하지만 특히 셔터랙이 거의 없어서 담고 싶은 순간을 놓치는 경우가 많이 줄었다는 점은 꼭 언급하고 싶네요.