Что такое AI-камера и как работает AI-редактор фотографий?

Содержание:

Anonim

Искусственный интеллект (ИИ) есть повсюду, и, если у вас еще нет смартфона на базе ИИ, вы, вероятно, скоро получите его. Даже программное обеспечение вашего телефона использует ИИ для принятия решений от вашего имени. Adobe Photoshop Camera, только что выпущенная, использует AI для идентификации объектов и сцен на ваших изображениях и предлагает «линзы» (цифровые эффекты) для создания комического и творческого воздействия.

Все ли это просто маркетинговое высокомерие или искусственный интеллект в смартфоне, особенно в его камере, - это то, к чему мы все должны стремиться? Поскольку термин AI все чаще используется не только в телефонах с камерами, но и во всех типах камер, важно знать, что AI на самом деле делает для ваших фотографий.

ИИ стер границы между захватом изображения, улучшением изображения и манипулированием изображениями. Он используется при редактировании фотографий, чтобы объединять, улучшать и `` дополнять '' реальность, делать более интеллектуальный выбор объектов, согласовывать параметры обработки с предметом и помогать вам автоматически находить изображения на основе того, что находится на ваших фотографиях, а не вручную по ключевым словам и описания. Он уже смотрит на то, что вы фотографируете, и принимает собственные решения о том, как с этим обращаться.

Добро пожаловать в дивный новый мир камер с искусственным интеллектом.

Что такое ИИ?

Искусственный интеллект - это жанр информатики, который исследует, можем ли мы научить компьютер думать или, по крайней мере, учиться. Обычно он делится на подмножества технологий, которые пытаются имитировать то, что делают люди, например, распознавание речи, преобразование речи в текст, распознавание изображений и сканирование лиц, компьютерное зрение и машинное обучение.

По этой теме существует множество модных словечек. «ИИ», «глубокое обучение», «машинное обучение» и «нейтральные сети» переплетаются в этой новой отрасли технологий.

При чем тут фотоаппараты? Компьютерная фотография и быстрое редактирование фотографий - вот что. И голосовая активация.

Голосовые камеры

Способность компьютера понимать человеческую речь - это форма искусственного интеллекта, и последние несколько лет она проникает в камеры.

Смартфоны уже несколько лет предлагают Google Now и Siri, в то время как Alexa входит в дома через динамики Amazon Echo. В последние годы экшн-камеры набросились на эту подножку: экшн-камеры GoPro и даже видеорегистраторы могут действовать, когда вы произносите простые фразы, такие как «запустить видео», «сфотографировать» и т. Д.

Все это имеет смысл, особенно для экшн-камер, где использование громкой связи упрощает их использование, но действительно ли это искусственный интеллект? Технически это так, но до недавнего времени гаджеты с голосовой активацией назывались просто «умными». Некоторые теперь позволяют вам говорить вполне конкретные вещи, такие как «снимать видео с замедленной съемкой» или «снимать фото при слабом освещении», но камера с ИИ должна делать немного больше, чтобы это было достойно названия.

Программное обеспечение AI

Искусственный интеллект - это новые виды программного обеспечения, изначально призванное восполнить недостаток зум-объективов в смартфонах. «Программное обеспечение становится все более и более важным для смартфонов, потому что у них физически отсутствует оптика, поэтому мы наблюдаем рост вычислительной фотографии, которая пытается имитировать оптический зум», - говорит аналитик по визуализации Арун Гилл, старший аналитик рынка Futuresource Consulting. . «В топовых смартфонах все чаще используются камеры с двумя объективами, но в Google Pixel 3 используется один объектив камеры с компьютерной фотографией, чтобы воспроизвести оптический зум и добавить различные эффекты».

Начиная с Pixel 3, многокамерные массивы и вычислительная обработка изображений объединились, чтобы создать гибридную технологию, которая воспроизводит многие эффекты глубины резкости и объектива, которые вы получаете от более крупных камер. Телефон с камерой больше не «просто» камера. Это вычислительное, анализирующее, «думающее» устройство, которое не просто фиксирует сцену такой, какая она есть, но и то, как оно думает, что вы хотите, чтобы это было, или как оно думает, что вы должны этого хотеть…

ИИ может походить на всезнающего помощника. Через некоторое время вы можете начать задаваться вопросом, кто на самом деле главный.

Мир не обязательно готов к полному использованию камер искусственного интеллекта. Google использовал AI в своей носимой камере Google Clips, которая использовала AI для захвата и сохранения только особо памятных моментов. Он использовал алгоритм, который понимал основы фотографии, поэтому он не тратил время на обработку изображений, которые определенно не смогли бы сделать окончательный монтаж ролика с основными моментами. Например, он автоматически удалял фотографии с пальцем в кадре и изображения не в фокусе и отдавал предпочтение тем, которые соответствуют общему правилу третей о том, как кадрировать фотографию.

Жутко и контролирующе? Некоторые так думали. В любом случае, в 2022-2023 году Google вытащил камеру. Вопрос не в том, достаточно ли мощен ИИ, чтобы делать то, что мы хотим, а в том, готовы ли мы еще передать столько власти машине … или компании, которая владеет и управляет лежащими в его основе алгоритмами искусственного интеллекта.

Что такое компьютерная фотография?

Вычислительная фотография - это метод цифровой обработки изображений, который использует алгоритмы для замены оптических процессов и направлен на улучшение качества изображения за счет использования машинного зрения для идентификации содержимого изображения.

«Речь идет о том, чтобы взять студийные эффекты, которые вы достигли с помощью Lightroom и Photoshop, и сделать их доступными для людей одним нажатием кнопки», - говорит Саймон Фицпатрик, старший директор по управлению продуктами в компании FotoNation, которая предоставляет большую часть вычислительных технологий производителям камер.

«Таким образом, вы можете разгладить кожу и избавиться от пятен, но не только за счет ее размытия - вы также получите текстуру». В прошлом технология, лежащая в основе режимов «гладкая кожа» и «красота», заключалась в основном в размытии изображения, чтобы скрыть недостатки. «Теперь речь идет о создании правдоподобных образов, и ИИ играет в этом ключевую роль», - говорит Фитцпатрик. «Например, мы используем ИИ, чтобы обучать алгоритмы распознавать черты лиц людей».

Еще в телефоне LG V30S ThinQ компания LG использовала искусственный интеллект для обработки изображений. Он позволяет пользователю выбрать профессиональное изображение в приложении Graphy и применить тот же баланс белого, выдержку, диафрагму и ISO. LG также представила Vision A, движок распознавания изображений, который использует нейронную сеть, обученную на 100 миллионах изображений, которая рекомендует, как настроить камеру. Он даже обнаруживает отражения на изображении, угол кадра и количество доступного света.

Датчики глубины и размытый фон

В последние годы мы видели, что многие многообъективные телефонные камеры используют два или более объектива для получения эстетически приятных изображений с размытым фоном вокруг основного объекта. Люди (и, следовательно, Instagram) любят размытые фоны, но вместо того, чтобы использовать камеры с двумя объективами или брать зеркалку и вручную манипулировать глубиной резкости, AI теперь может сделать это за вас.

Обычно называемый эффектом «боке» (по-японски размытие), машинное обучение идентифицирует объект и размывает остальную часть изображения. «Теперь мы можем имитировать боке, используя алгоритмы на основе искусственного интеллекта, которые разделяют людей на переднем и заднем плане, так что мы можем создать эффект, который начинает очень сильно походить на портрет, сделанный в студии», - говорит Фитцпатрик. Последние смартфоны позволяют делать это для фотографий, сделанных с помощью задней или передней (селфи) камеры.

«Люди называют это боке, но вы не получите истинного размытия, которое дает цифровая зеркальная фотокамера, где вы можете изменить глубину; с телефоном можно только размыть фон », - говорит Гилл. «Но небольшое и постоянно растущее число фотографов действительно впечатлены этим и используют iPhone X для повседневной съемки, и только когда они будут на профессиональной работе, они достанут свою зеркальную камеру».

Камеры с искусственным интеллектом могут автоматически смешивать HDR-изображения при ярком свете, переключаться в режим захвата нескольких изображений при слабом освещении и использовать магию вычислительной обработки изображений для создания эффекта плавного масштабирования с двумя или более модулями камеры.

А как насчет зеркалок и других «настоящих» фотоаппаратов?

Автоматическое удаление эффекта красных глаз используется в цифровых зеркальных фотокамерах уже много лет, как и обнаружение лица, а в последнее время даже обнаружение улыбки, в результате чего селфи автоматически делается, когда объект улыбается. Все это ИИ. Смогут ли такие компании, как Nikon и Canon, когда-либо использовать более продвинутый AI для своих флагманских зеркальных фотокамер? В конце концов, понадобилось много лет, чтобы Wi-Fi и Bluetooth появились на зеркальных фотокамерах.

Пока мы ждем, финансируемый Kickstarter аксессуар «умный помощник камеры» под названием Arsenal хочет восполнить пробел. «Арсенал - это аксессуар, который позволяет беспроводное управление камерой со сменным объективом (например, зеркалкой) с мобильного устройства с помощью алгоритмов машинного обучения, используемых для получения идеального снимка», - говорит Гилл. «Он сравнивает текущую сцену с тысячами прошлых изображений, используя распознавание изображений для распознавания конкретного объекта и применяя правильные настройки, такие как короткая выдержка, если он распознает дикую природу».

Тем временем Canon сделала ставку на технологию искусственного интеллекта для создания передовой системы автофокусировки в EOS-1D X Mark III. Или, если быть точнее, «глубокое обучение». Сложность алгоритмов такая же (система обучается с использованием профессиональных фотографий), но глубокое обучение - это конечный результат … искусственный интеллект - это способность машины продолжать обучение самостоятельно.

Однако бывает сложно отделить настоящий ИИ от сложной автоматизации. В течение многих лет производители компактных камер предлагали различные сюжетно-ориентированные сюжетные режимы, которые могут выбираться камерой автоматически. Это «интеллект» или просто немного более продвинутая реализация измерения экспозиции, движения объекта и расстояния фокусировки? Системы измерения с несколькими схемами обычно используют комплексное измерение распределения света на основе тысяч реальных фотографий и использовали процесс «глубокого обучения» до того, как был изобретен термин.

Для кого предназначена AI-фотография?

Все. Во-первых, речь идет о демократизации фотографии. «В прошлом фотография была прерогативой тех, кто имел опыт использования зеркалки для создания различных типов изображений, и то, что начал делать ИИ, - это сделать эффекты и возможности более продвинутой фотографии доступными большему количеству людей», - говорит Фитцпатрик. .

Значит ли это, что Adobe Photoshop и Lightroom скоро прекратят свое существование? Точно нет; Искусственный интеллект - это дополнительная технология, которая уже делает редактирование фотографий более автоматизированным. Одним из партнеров FotoNation является Athen Tech, чья технология «Perfectly Clear» на основе ИИ выполняет автоматические пакетные корректировки, имитирующие человеческий глаз. Плагин для Lightroom, специально предназначенный для того, чтобы сократить время, которое фотографы сидят перед компьютером, редактируя вручную. «Профессиональные фотографы зарабатывают деньги, когда снимают фотографии, а не обрабатывают изображения», - говорит Фитцпатрик. «Искусственный интеллект делает профессиональные творческие эффекты более доступными для пользователей смартфонов и помогает профессиональным фотографам максимизировать свои возможности зарабатывать на жизнь».

ИИ быстро становится излишне часто используемым термином в мире фотографии. Сейчас это в значительной степени применимо к камерам смартфонов, но невероятные алгоритмы и абсолютный уровень автоматизированного программного обеспечения, которое позволяет технология, скоро окажутся непреодолимыми для большинства из нас. Возможно, еще не время отказываться от зеркалки, но ИИ, похоже, настроен изменить то, как мы делаем фотографии.

Не только это, но вскоре он может взять на себя редактирование и кураторство наших существующих библиотек фотографий. Этот процесс уже начался. Lightroom CC использует серверную систему распознавания объектов Sensei от Adobe для идентификации изображений по тематике, чтобы вам больше не приходилось тратить часы на добавление ключевых слов вручную. ИИ может быть чрезмерно разрекламированным термином и часто сокращением того, что представляет собой не что иное, как новейшее, величайшее передовое программное обеспечение, но ИИ действительно обещает сделать для фотографов нечто невероятное; это позволит высвободить больше времени, чтобы вы могли делать больше и лучше фотографий.

Почему у некоторых телефонов две камеры с одной стороны? Объяснение конструкции двойной камеры

Skylum Software - один из лидеров в области программного обеспечения для редактирования фотографий на базе искусственного интеллекта. Он представил AI Sky Replacement в Luminar, чтобы устранить все ручное маскирование, необходимое для этого вручную, AI Augmented Skies, чтобы добавить облака, планеты, молнии и многое другое к вашим изображениям, инструменты улучшения портрета AI, которые могут автономно определять человеческие особенности, и структуру AI. чтобы добавить четкости только в те области изображения, где это необходимо.

Использование дополненной реальности в фотографии может оказаться спорным. С момента изобретения редакторов изображений стало возможным искажать, искажать и «изобретать» реальность, но ИИ обещает сделать это настолько простым и убедительным, что для этого не потребуется никаких особых навыков (или совести).

• Лучшие телефоны с камерой, которые вы можете купить сегодня
• Лучшее программное обеспечение для редактирования фотографий прямо сейчас
• Как скачать Photoshop
• Как скачать Lightroom