LOFIC: как новая технология в смартфонах борется с пересветом на фото

Зададим вопрос: удалось ли вам сделать хорошие снимки на праздники?

Недавно автор статьи по имени Тони фотографировал фейерверк. Предпросмотр в видоискателе выглядел потрясающе, и он уже предвкушал отличные кадры. Однако, открыв позже галерею, он обнаружил, что все снимки оказались пересвеченными. Яркое шоу превратилось в серию ослепляющих вспышек.

А на снимках других пользователей в соцсетях всё было идеально: проработанные детали, чёткое разделение света и тени.

Хотя это и раздражало, но навыки Тони в фотографии общеизвестны, поэтому проблема явно была в оборудовании.

Сравнив два разных смартфона, он обнаружил, что в одном из них используется технология «LOFIC» (Lateral Overflow Integration Capacitor) для расширения динамического диапазона.

Эту технологию сейчас активно продвигают многие производители, утверждая, что небольшое аппаратное изменение в сенсоре может решить проблему пересвета. Как же это работает?

Принцип на самом деле не сложен. Представьте, что вы наливаете воду в бутылку. Если воды слишком много, маленькая бутылка переполнится, и вам понадобится ведро, чтобы собрать излишки, иначе вода просто выльется.

Вернёмся к CMOS-сенсору. В сцене с фейерверком световой сигнал от вспышек превышает максимальную ёмкость, которую может вместить отдельный пиксель (полный потенциал ямы). Избыточный световой сигнал теряется, и на снимке появляются белые, лишённые деталей участки — это и есть пересвет.

Технология LOFIC решает эту проблему, интегрируя рядом с основным фотодиодом пикселя дополнительную ёмкость (конденсатор). Эта ёмкость собирает избыточные электроны, которые «переливаются» из основного фотодиода при ярком свете. Затем при считывании сигналы от основного фотодиода и дополнительной ёмкости объединяются, что позволяет сохранить на снимке гораздо больше информации, особенно в ярких участках.

Таким образом, в сценах с высоким контрастом, таких как ночной фейерверк, LOFIC позволяет за одну экспозицию зафиксировать детали как в тенях, так и в светах, создавая HDR-фотографию на аппаратном уровне.

Звучит впечатляюще, но ведь смартфоны уже много лет снимают HDR с помощью алгоритмов. В чём же разница?

Традиционный HDR реализуется методом «мультикадрового наложения». Смартфон делает несколько снимков с разной экспозицией, а затем с помощью алгоритмов совмещает их, «вытягивая» детали из тёмных участков и «приглушая» слишком яркие.

У этого метода есть недостатки. Во-первых, съёмка занимает больше времени, и в процессе нельзя двигаться, иначе кадры смажутся. Во-вторых, алгоритмы не могут преодолеть физические ограничения сенсора. При экстремальном контрасте света и тени детали всё равно могут теряться.

Здесь проявляется преимущество LOFIC: он расширяет динамический диапазон на аппаратном уровне. Поскольку это технология одноэкспозиционного HDR, смартфон захватывает больше информации за один раз. Это означает, что итоговый снимок будет гораздо ближе к тому, что вы видите в видоискателе, решая проблемы медленной съёмки и возможного смазывания.

Однако у технологии LOFIC есть и свои ограничения. Она доступна не для всех моделей смартфонов. По своей сути LOFIC жертвует частью площади сенсора для размещения дополнительной аппаратуры.

Несколько лет назад, когда многослойные (Stacked) CMOS-сенсоры не были распространены, структура пикселя была проще, и интегрировать такие сложные компоненты, как LOFIC, было практически невозможно.

Даже сейчас, когда многослойные сенсоры стали мейнстримом, для большинства смартфонов площадь сенсора невелика, и сложно выделить место для дополнительного конденсатора у каждого пикселя. Поэтому на данный момент LOFIC в основном используется в крупных сенсорах, устанавливаемых в флагманские модели с упором на камеру.

Наличие места — лишь первый шаг. Последующая обработка данных — настоящая проблема.

После добавления LOFIC основной фотодиод пикселя по-прежнему отвечает за формирование обычного изображения. Только когда яркость сцены приближается к максимальной ёмкости пикселя, избыточные электроны «перетекают» в конденсатор LOFIC.

Фактически, один пиксель использует два разных пути формирования изображения в зависимости от уровня яркости: один для «качественного изображения», другой для «спасения пересвеченных участков».

При объединении этих двух сигналов в один кадр на стыке могут возникать «ступенчатые переходы» и аномальные шумы.

Для качественного восстановления информации, сохранённой LOFIC, требуются значительные вычислительные мощности процессора изображений (ISP) смартфона. Если обработка не успевает, детали в ярких участках, хотя и были «спасены» аппаратно, на итоговой фотографии могут так и не проявиться.

Помимо сложностей обработки, дополнительная интеграция конденсатора LOFIC усложняет и без того精密ную структуру сенсора. Если технология проектирования или производства недостаточно зрелая, конденсатор может создавать паразитные токи (темновой ток) при высоких температурах или длительной экспозиции, мешая работе основного фотодиода.

Кроме того, сам конденсатор LOFIC также восприимчив к свету. Если не обеспечить надлежащее экранирование, попадание рассеянного света может привести к появлению артефактов на снимке.

Чтобы гарантировать качество, производителям приходится добавлять к этому «ведру» своеобразный «фильтр». Эти дополнительные затраты также объясняют, почему технология LOFIC пока встречается лишь в немногих моделях, ориентированных на фотосъёмку.

На пути расширения динамического диапазона сенсоров LOFIC — не единственное решение.

Например, технология «DCG» (Dual Conversion Gain), которую массово используют Sony и Samsung, представляет собой интеллектуальный переключатель в цепи сенсора. Он автоматически меняет чувствительность в зависимости от интенсивности света. При ярком освещении используется большая ёмкость, чтобы избежать пересвета, а при слабом — меньшая, чтобы снизить уровень шума.

Многие производители теперь комбинируют DCG и LOFIC. DCG оптимально настраивает изображение при среднем и низком уровне освещённости, а LOFIC страхует в экстремально ярких сценах. Их совместная работа позволяет получить широкий и плавный динамический диапазон с более естественным HDR-эффектом.

Помимо DCG и LOFIC, существуют и другие технологии. Например, 2x2 OCL (On-Chip Lens, технология фокусировки по всем пикселям), при которой четыре пикселя используют одну общую крупную микролинзу. Это увеличивает количество захватываемого света, улучшает эффективность сбора света по краям кадра и предоставляет более чистые исходные данные для HDR. Более передовая технология In-Pixel Memory (внутрипиксельная память) интегрирует высокоскоростной буфер, давая сенсору «память» и позволяя считывать данные несколько раз за одну экспозицию, реализуя HDR на аппаратном уровне.

Появление множества подобных решений связано с тем, что в последние годы требования к мобильной фотографии сместились в сторону «реалистичности» и принципа «что видишь, то и получаешь». Производителям приходится решать эти задачи на аппаратном уровне. LOFIC, как наиболее прямой метод подавления пересветов, несмотря на существующие сложности, стал одним из главных трендов.

Остаётся надеяться, что производители продолжат совершенствовать настройку технологии LOFIC, чтобы в следующий раз при съёмке фейерверка можно было быть уверенным в результате.

Интересный факт: Технологии расширения динамического диапазона, подобные LOFIC, изначально разрабатывались для профессиональных кинокамер и высококачественных полнокадровых фотоаппаратов. Их адаптация для компактных сенсоров смартфонов — яркий пример того, как инновации из профессионального сегмента постепенно становятся доступными массовому потребителю, значительно повышая качество мобильной фотографии в сложных условиях освещения.