Фотосъемка на базе ии что это

Фотосъемка на базе ии что это

Хотите улучшить фотографии со смартфона до уровня зеркальных камер? Исследовательская группа ученых ETH Zurich из Швейцарии пытается сделать это возможным. Они создали нейронную сеть, которая направлена на автоматическое повышения низкого качества снимков с телефонов.

«Компактные мобильные камеры имеют не высокое качество снимков в основном за счет маленького размера и ограничений стоимости устройств», пишут ученые. «Мы предлагаем решение проблемы на основе обучения искусственного интеллекта, который преобразует фотографии, сделанные с помощью компактных камер до уровня профессиональных фотоаппаратов».

Сначала ученые обучили систему, показывая ей качественные фотографии с зеркальных камер. Затем были показаны сниммки, сделанные в тех же местах на смартфоны iPhone 3Gs, BlackBerry Passport и Sony Xperia Z. Также использовалась камера Canon 70D. После было использовано множество снимков с различных зеркальных камер. Которые уже не были связаны с аналогичными фотографиями со смартфонов.

Таким образом, вместо того, чтобы использовать гигантский массив данных качественных фото в паре со снимками со смартфонов, учёным удалось создать базу данных только из хороших фотографий.

Вот примеры до и после применения алгоритма улучшения:

До iPhone-6 После iPhone 6. До. Nexus-5X После. Nexus-5X До. HTC-One-M9 После. HTC-One-M9 До. Xiaomi-Redmi-3X После. Xiaomi-Redmi-3X До. HTC-One-M9 После. HTC-One-M9 До После

Как вы можете видеть из этих примеров фотографий, у нейронной сети есть плохая привычка пересвечивать небо, теряя детализацию. Алгоритм всё ещё находится в стадии обучения и наверняка данный недочёт будет исправлен.

Ученые из ETH Zurich говорят, что преимущество их системы заключается в возможности обучать себя для работы с любой новой камерой при помощи набора фотографий.

Хотите попробовать эту нейронную сеть? Ученые создали веб-страницу, которая позволяет загружать собственные фотографии, сделанные на смартфон и получать улучшенный вариант.

Следите за новостями: Facebook, Вконтакте и Telegram

Если вас заботит вопрос о том, насколько будет хороша камера вашего следующего смартфона, то стоит обратить внимание на то, что производитель говорит о наличии искусственного интеллекта (ИИ). Если отбросить шумиху и чистый маркетинг, то нет смысла отрицать, что эта технология подняла прогресс фотографии на новый уровень за последние несколько лет и нет никаких сомнений полагать, что темп прогресса замедлятся.

Аппаратное обеспечение тоже не стоит на месте, но самые впечатляющие достижения в области фотографии за последнее время случились на программном уровне, и это во многом благодаря ИИ, который даёт понять объективам куда их навёл пользователь.

Сервис Google Фото продемонстрировал, как искусственный интеллект умеет взаимодействовать с огромными массивами снимков. До его запуска Google использовала машинное обучение для категоризации изображений в Google+, эти навыки перекочевали в Google Фото. ИИ привел в порядок миллиарды неорганизованных пользовательских библиотек в порядок.

Искусственный интеллект Google Фото основывался на предыдущей разработки компании DNNresearch, которую поисковый гигант приобрел в 2013 году. Компания создала нейронную сеть с контролируемым обучением, она могла находить визуальные подсказки на уровне пикселей, чтобы идентифицировать категорию. Со временем алгоритм научился правильно распознавать изображения с помощью шаблонов, например, по снимку панды он обучился правильно идентифицировать другие фотографии панд. Он определяет, где черный мех, а где белый, а также пропорции животного. Используя эту информацию ИИ отличает панд от коров голштинской породы. Все эти «знания» классифицируются и заносятся в базу данных, они используются для поиска снимков по абстрактным терминам, таким, как «животное» или «завтрак».

Подобный алгоритм требует много времени и вычислительной мощности, поэтому вся работа выполняется на серверах компании после того, как снимок загружается в облако. Как только фотографии попадают в центр обработки данных (ЦОД) Google начинает использование алгоритма для анализа и маркировки. Примерно через год после запуска сервиса Google Фото компания Apple анонсировала функцию поиска фотографий, которая аналогичным образом задействовала нейронные сети, но в рамках обязательств компании по обеспечению конфиденциальности категоризация выполняется процессором устройства без отправки данных на сервера. Обычно этот процесс занимает несколько дней и происходит в фоновом режиме.

Искусственный интеллект и машинное обучение, помимо управления фотографиями, также оказывают большое влияние на процесс создания снимка. Количество объективов на спинках смартфонов растет как грибы, а матрицы увеличиваются в размерах, но физику не обманешь — прогресс ограничивает толщина корпуса мобильных устройств. Несмотря на это, современные смартфоны нередко делают более качественные снимки, чем некоторые камеры. Всё потому, что обычные камеры не в состоянии конкурировать с аппаратным обеспечением смартфонов, которое также важно для фотографии — центральный процессор (ЦП), процессор обработки сигналов изображения и блок ИИ, если такой предусмотрен производителем.

Читайте также:  Материнская плата gigabyte ga 770 ud3

Эти компоненты используются в «вычислительной» фотографии, под этот термин попадают такие явления современного мобильного фото, как эффект глубины резкости портретных режимов и алгоритмы, позволяющие создавать качественные изображения в смартфонах Pixel. Apple использует эту технологию для управления портретным режимом в смартфонах с двумя камерами. Процессор обработки изображений iPhone идентифицирует в кадре человека с помощью одной камеры, а вторая камера создает карту глубины резкости, чтобы отделить объект и размыть фон.

Google остается очевидным лидером в области «вычислительной фотографии» и превосходные результаты камер всех трех поколений Pixel тому доказательство. Режим HDR+ использует сложный алгоритм, объединяющий несколько снимков с разным уровнем экспозиции в одну фотографию. Наличие машинного обучения означает, что система продолжает улучшаться со временем. Google обучил свой искусственный интеллект огромному набору данных с помощью сервиса Google Фото и эти знания помогают камере Pixel в подборе правильной экспозиции.

Говоря о преимуществе смартфонов Google стоит упомянуть режим Night Sight, который с помощью длинных выдержек и алгоритма машинного обучения показывает впечатляющие результаты на съемках в условиях плохого освещения. Эта функция наилучшим образом реализована в Pixel 3, потому что алгоритмы разрабатывались с учетом аппаратного обеспечения этого устройства. Несмотря на это, Google сделала режим Night Sight доступным для всего модельного ряда смартфонов Pixel, даже для самых первых, в которых отсутствует оптическая стабилизация. Это решение доказывает, что программное обеспечение выходит на первый план, когда дело доходит до мобильной фотографии.

Тем не менее, аппаратная составляющая все еще имеет значение, особенно в случаях, когда она умеет взаимодействовать с искусственным интеллектом. Отдельные процессоры обработки изображения были очень важны для качества мобильной фотографии, но похоже, что чипы с ИИ будут играть более важную роль в развитии цифровой фотографии. Huawei была первой компанией, представившей систему на кристалле (SoC) с искусственным интеллектом — Kirin 970, хотя Apple Bionic A11 в конечном итоге первым добрался до пользователей. Крупнейший поставщик процессоров Qualcomm не уделяет особого внимания машинному обучению. Google разработала свой собственный чип под названием Pixel Visual Core, который помогает решать задачи связанные с ИИ. Последняя версия Apple A12 Bionic оснащена восьмиядерным нейронным движком, который может выполнять задачи в среде машинного обучения Apple до 9 раз быстрее, чем A11. Apple сообщает, что это дает камере лучшее понимание фокальной плоскости, а это помогает создавать более реалистичную глубину резкости.

Эта технология важнее для эффективного и производительного машинного обучения прямо на устройстве. Google продемонстрировала впечатляющую работу, которая снижает нагрузку на обработку с ghvhom. ЦОД, в то же время нейронные движки (Neural Engine) становятся быстрее с каждым годом. На раннем этапе развития «вычислительной» фотографии у камер смартфонов, которые разрабатывались для работы в тандеме с машинным обучением, есть реальные преимущества. Из всех возможностей искусственного интеллекта, фотография — наиболее практичная область применения. Камера — неотъемлемая часть любого смартфона, а ИИ — отличный способ её улучшить.

Поделитесь в соцсетях:

Гонку технологий нельзя закончить, но удивлять и привлекать потребителя числовыми характеристиками становится все сложнее. Поэтому за последние пару лет мы увидели немало экспериментов в дизайне и новых программных возможностей смартфонов. Можно вспомнить всеми «любимые» вырезы в экранах, но, пожалуй, с конца 2017 года чаще всего приходится слышать словосочетание «искусственный интеллект». То, что еще 10 лет назад жило в научных лабораториях, пять лет назад стало общедоступным через сервисы Google, сегодня в буквальном смысле появляется в наших карманах.

Наличие «искусственного интеллекта» стало модной и даже обязательной характеристикой любого актуального аппарата и порою удивляешься, как много привычных функций вдруг стали «умными». Впрочем, вендоров тут можно как поругать, так и понять, ведь ИИ — весьма широкое понятие, за которым не обязаны скрываться сложные алгоритмы.

Изображение из статьи про ИИ на vas3k.ru

На примере материалов из исследовательского центра Google ( 1 , 2 ) мы знаем, что компания давно использует машинное обучение и нейронные сети в частности для совершенствования сервисов почты, обработки изображений, в голосовых ассистентах и переводчике. Интересно, что на смартфонах сценарии применения в целом схожи, но к ним добавляются функции безопасности и оптимизации работы, автономности устройств.

Читайте также:  Indesit фирма какой страны

Облака VS устройства

Пользователи того же Gmail или Ассистента Google могут спросить — если на смартфонах уже есть подобные «умные» сервисы, то что изменилось за последний год? В первую очередь — часть функций теперь можно реализовать прямо на устройствах, не задействуя «облака».

Например, Google Фото и раньше распознавал людей на фотографиях, а также позволял совершать поиск по изображениям, но каталогизация фотографий происходила только после их загрузки на сервера компании. С появлением чипсетов вроде Kirin 970 cо встроенным NPU-модулем (Neural Processing Unit) распознавание изображений можно реализовать прямо на устройстве, а значит — более быстро (не тратится время на загрузку-выгрузку данных) и безопасно (ваши фото точно никто не увидит, даже алгоритм на сервере). Использование для этих задач специального модуля позволяет оптимизировать энергопотребление и скорость работы, ведь реализация подобной функциональности силами CPU и GPU возможна, но не эффективна.

Huawei первыми заявили об «умности» своих смартфонов, но не единственные, кто работает в этой области. После анонса Kirin 970 и Mate 10 (Pro) Apple представила платформу A11 Bionic со встроенным Neural Engine, а в Snapdragon 845 есть DSP Hexagon 685, ориентированный на решения тех же задач.

Сказать, чей ИИ лучше, даже в плане характеристик, сложно, ведь какого-то стандартного и независимого инструмента измерений пока не придумали, и на разных устройствах «интеллект» решает разные задачи. Поэтому нет ничего удивительного в том, что когда Huawei измеряет производительность своего NPU по сравнению с решением от Qualcomm первый оказывается быстрее. Но ничто не мешает как минимум ознакомиться с возможностями конкретного смартфона, которые задействуют ИИ-функциональность.

ИИ для камер

«Искусственный интеллект» давно доказал свою эффективность в задачах распознавания изображений и вполне очевидно, что он применяется в камерах смартфонов. В случае Huawei P20 Pro — это функциональность распознавания сцен. Модуль NPU распознает порядка 2000 изображений в минуту, значит практически в режиме реального времени может опознать, что именно находится в кадре и подобрать максимально подходящие для конкретного сюжета настройки.

Что это дает? Обычно автоматика подбирает параметры съемки исходя из освещенности, контрастности сцены и прочих параметров. Распознавание объектов позволяет улучшить алгоритмы. Для тех, кто понимает что такое ручные настройки, вполне очевидно, что снимая подвижный объект в первую очередь стоит задача получить резкий снимок, поэтому стоит уменьшить выдержку и можно поднять ISO немного пожертвовав качеством, а для съемки пейзажа или портрета нужен другой набор настроек.

Софт распознает сцену и подбирает лучшие параметры съемки или переключает камеру в нужный режим работы. Заодно может происходить пост-обработка фотографии — ПО повысит контрастность и насыщенность цветов, будто на фото уже наложен фильтр Instagram. С точки зрения профессиональной фотографии такой снимок может показаться неправильным, но будем честны — в мобильной фотографии всегда были важны алгоритмы, чтобы фото отлично выглядело на экране и нравилось рядовому пользователю, а точность передачи цветов оставим DSLR-камерам.

Актуальные модели уже распознают порядка 20 сцен с набором дополнительных настроек в зависимости от конкретных условий съемки. Набор сцен заранее «зашит» в ПО, производитель сам занимается первоначальным обучением нейронной сети (если используются именно сети), подбором фотографий для такого обучения и так далее. В дальнейшем эту функциональность можно расширять с помощью классических обновлений ПО.

Использование ИИ не заканчивается на одном только распознавании сцен. Тот же P20 Pro может похвастаться «интеллектуальным» автофокусом и стабилизацией видео. Работа первого заметна в виде небольших квадратов, которые обозначают точки фокусировки на подвижных объектах, например, они появляются на качающихся от ветра растениях.

Второй задействуется для продвинутой стабилизации видео и работает в паре с оптическим стабилизатором — при съемке Full HD с рук можно получить плавную картинку при ходьбе, сравнимую с той, что дают отдельные стабилизаторы. Правда, без ограничений не обошлось — это работает только для съемки Full HD @30fps и не доступно для Full HD @60fps и 4K-видео.

Еще один пример работы ИИ — съемка замедленного видео (HD @960fps). Впервые функция появилась на смартфонах Sony и тестируя ее мы отмечали, что добиться желаемого результата сложно, нужно самому ловить момент, когда пора нажать на спуск, а камера замедляет всего секунду реального времени. В Huawei P20 Pro изначально это работало таким же образом, но потом алгоритм изменили. Теперь пользователь включает нужный режим, наводит камеру и помещает специальный квадрат в область кадра, где ожидается движение. После нажатия на спуск камера сама определяет, когда начнется движение в выделенной области и замедляет видео — так гораздо легче добиться желаемого результата.

Читайте также:  Треснуло стекло на андроиде

Распознавание объектов позволило добавить каталогизацию в локальную галерею. В ней появилась вкладка «Обзор», где фотографии сортируются в зависимости от места съемки, по лицам распознанных людей, а также категориям (в моем случае — еда, документы, пейзажи). Тут же работает локальный поиск, он быстрый, но не настолько умный как в Google Photos, потому что работает только в рамках знакомых локальному ИИ параметров сцен, лиц и местоположений.

… для шоппинга

Применимость отдельных функций зависит от рынка. Например, привычный для Huawei сканер QR-кодов получил интеграцию с Amazon Assistant — приложение распознает товары и пытается найти похожие на одноименной торговой площадке. Пока он работает не слишком хорошо и мало применим у нас, но вдруг появится интеграция с более подходящим сервисом?

… для перевода

Еще один сценарий использования ИИ — распознавание речи и перевод. Мощности NPU в этом случае задействует переводчик Microsoft Translator. Приложение может работать как обычный переводчик, переводить текст на фотографиях, отдельные фразы и даже работать «живым» переводчиком для группы из нескольких человек. Без подключения к сети в данном случае работает только простейший перевод, а остальные, более сложные сценарии все же требуют наличия подключения к интернету.

… для безопасности

Среди областей применения «искусственного интеллекта» называют и безопасность, что в целом понятно. В первую очередь это уже упомянутая обработка всех данных на устройстве, во вторую — Face Unlock, когда с помощью ИИ происходит распознавание лица пользователя. Цифровой снимок (модель) лица пользователя при этом хранится в специальной зашифрованной области памяти, как и отпечатки пальцев.

… для производительности

В случае почти всего, что связано с изображениями, речь зачастую идет об уже «обученных» алгоритмах — без обновлений камера не станет лучше распознавать вашего кота или не перестанет путать его с собакой (что тоже случается). В то же время производители заявляют, что ИИ позволяет оптимизировать работу устройства для конкретного пользователя.

Запоминая типичные последовательности запуска приложений и строя зависимости от времени-места софт способен ускорять запуск отдельных программ в частности и оптимизировать работу смартфона в целом, что должно вылиться и стабильно хорошую скорость работы и позитивно сказаться на автономности.

Компании заявляют, что ИИ используется в том числе и в алгоритмах шумоподавления при телефонных разговорах и многих других аспектах. Единственное «но» — все это крайне сложно проверить на практике.

Что дальше?

Наличие «умных» функций «из коробки» улучшает пользовательский опыт, но речь идет только о первой волне внедрения ИИ в смартфоны. Следующий этап — использование потенциала платформы сторонними приложениями. Хорошим тоном является наличие API для разработчиков и поддержка популярных библиотек вроде TensorFlow от Google и Сaffe от Facebook. Все это уже есть, осталось только дождаться приложений, которые покажут преимущества современных аппаратов. Это могут быть как AR-игры, так и приложения для решения отдельных задач.

Примечательно и то, что в конце 2017 года ИИ встречался в единичных флагманах, а спустя год появляется в аппаратах среднего сегмента. Например, Huawei P Smart+ лишен NPU, который есть во флагманах, но тоже является «умным» — компания смогла реализовать похожую функциональность силами отдельного DSP в новой SoC Kirin 710. Камера быстро распознает сцены, самих сцен стало еще больше, при этом ИИ работает и для фронтальной камеры, и галерея точно также сортирует изображения по различным категориям.

Слухи о Kirin 980 говорят о том, что в новых флагманах мы увидим второе поколение встроенного NPU и он наверняка принесет новую функциональность. Какую именно — пока неизвестно, но то что ИИ превращается в еще одну важную функцию современных смартфонов, понятно уже сегодня.

Ссылка на основную публикацию
Утилиты асус для ноутбука
Драйверы и утилиты от производителя для ноутбуков и нетбуков ASUS под операционную систему Windows 10 / 8.1 / 8 /...
Теплопроводность олова и меди
Все изделия, используемые человеком, способны передавать и сохранять температуру прикасаемого к ним предмета или окружающей среды. Способность отдачи тепла одного...
Терминальные лицензии windows server 2008 r2
Установка сервера терминалов в 2008/2008R2 2 часть / активация сервера терминалов 2008 r2 Установка сервера терминалов в 2008/2008R2 2 часть...
Утилиты для виндовс 10 64 бит
Скачать антивирус NOD32 на компьютер Windows 10 бесплатно на русском языке для защиты ноутбука или ПК от вирусов и потенциального...
Adblock detector