Каким образом действует распознавание лиц в телефонах

Почему мы предпочитаем разблокировку по лицу

В последние годы идентификация физиономий стало одной из самых популярных функций для деблокировки смартфонов. Всего несколько годов назад большинство пользователей довольствовались PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением подобных технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Что превращает эту конкретную функцию такой востребованной? Прежде всего, это удобно: не нужно помнить замысловатые пароли или отыскивать верный палец в темноте. Кроме того, это быстро: современные программы распознают лицо практически за доли секунды. В-третью очередь, это впечатление футуризма — как будто в фильмах про вулкан автомат разведчиков.

Однако за такой видимой простотой скрывается целый универсум трудных технологий и инженерных решений. Давайте исследовать, как конкретно работает распознавание лиц в актуальных мобильных телефонах, какие существуют технологии, насколько они надёжны и что нас ждёт впереди.

Короткая хроника эволюции инноваций

Идентификация лиц как технология имеется уже более 50 лет. Начальные эксперименты автоматизированного исследования лиц были сделаны еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины могли лишь определять очертания головы и измерять расстояния между глазами и губами на ахроматических фотографиях.

Начальные бизнес установки возникли в 90-х, но они были несовершенны: функционировали медленно и нередко ошибались. Только с развитием искусственных сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных чипов определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным сканированием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие начали интегрировать собственные разработки.

Ключевые этапы функционирования устройства идентификации

Процесс распознавания лица можно примерно разделить на несколько ключевых этапов:

1. Идентификация лица — аппарат распознает наличие гуманного лица в снимке.
2. Извлечение признаков — механизм анализирует контуры облика: форму зрительных органов, обонятельного органа, губ, позицию надбровных дуг.
3. Построение модели — создаётся неповторимый виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с эталоном — созданный шаблон сравнивается с сохранённой при внесении биометрической сведениями владельца.
5. Принятие решения — если совпадение достаточно высокое, смартфон разблокируется.

Каждый из указанных стадий нуждается в особых процедур и усовершенствований для быстрой работы прямо на устройстве.

Технические компоненты: что находится внутри

Стандартная селфи камера.

Простейший несложный метод распознавания облика задействует лишь фронтальную камеру смартфона мобильного устройства. Такой метод осуществлён во различных бюджетных вариантах Android-девайсов.

Достоинства:

• Не нуждается в потребляет внешних датчиков.
• Быстро функционирует при достаточном освещении.

Слабые стороны:

• Просто обмануть снимком или видео.
• Плохо работает при слабом освещении или нестандартных точках зрения.

ИК камера и пунктирный проектор

Более совершенные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс составляет базу Face ID от Apple.

Как это функционирует:

• Точечный проектор показывает на физиономию юзера невидимую сетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 точек).
• Инфракрасная устройство регистрирует деформацию этой сетки по поверхности физиономии.
• Получается трёхмерная карта глубины глубинности, что почти невозможна для фальсификации обычной снимком или маскировкой.

Преимущества

• Надёжная работа даже в полной темноте.
• Большая защита к подделкам.
• Точность определения выше 99%.

Дополнительные датчики

В некоторых аппаратах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые измеряют период распространения луча до предмета и обратно; Трехцветные-датчики глубины; специальные лазерные лидары для построения более детализированной 3D-модели лица.

Эти технологии используются чаще всего во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искусственный интеллект на исполнении

Текущие устройства распознавания физиономий невозможны без применения искусственного интеллекта и machine learning. Именно благодаря таким технологиям, как вулкан россии, устройство в состоянии узнавать пользователя даже при метаморфозах внешнего вида: новая укладка, борода, очки или косметика не становятся препятствием для деблокировки.

Детектирование лиц

В стартовом стадии алгоритм должна оперативно найти ликовое изображение в пределах полного снимка с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые подготовлены распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN в состоянии распознавать физиономию даже в случае частичном перекрытии (например, шалью или ладонью).

Определение основных аспектов

После идентификации лица устройство, такая как вулкан россии, устанавливает положение основных точек: края глаз, конец носа, контуры губ и так далее. Как правило применяется от 68 до 128 основных меток на лицевой области.

Это действие необходимо для нормализации картинки: если человек находится с мобильник под наклоном, или наклонил головку, программа исправляет картинку до стандартного положения для дальнейшего анализа.

Формирование биометрии образца

Далее нейронная сеть строит компактное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 чисел с плавающей запятой.

Этот образец очень трудно имитировать: он не сохраняет само картинку юзера, а лишь исключительные черты его вида, что делает его совершенным для таких площадок, как vulkan russia.

Сравнительный анализ и осуществление решения

Если пользователь желает разблокировать телефон взором, программа осуществляет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный границу (обычно больше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ запрещается.

Приспособление к изменениям внешнего вида

Интересная черта актуальных системы — способность самостоятельного обучения. Если ты постоянно открываете телефон с новой укладкой или оптикой, система постепенно обновляет основной образец вашего внешности для повышения точности работы без ухудшения безопасности.

Защита биометрических данных данных.

Многие пользователи беспокоятся держать свои биометрические идентификационные данные на смартфоне из-за угрозы утечки информации или взлома гаджета. Некоторые компании, например vulkan russia, предоставляют методы для увеличения сохранности данных пользователей.

• Локальное хранение: Основная часть аппаратов записывает биометричные модели исключительно в пределах безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не покидают аппарат и не доступны включая изготовителю.

• Шифрование: Все сведения сберегаются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих разработчиков не имеют прямого возможности доступа к биометрическим; они могут лишь требовать подтверждение верификации личности через системный API.

Следует отметить существенную особенность: в случае, если какой-то человек получит физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители реализуют меры безопасности от “слепого” разблокирования — например, просят разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают типы определения лиц на изображениях?

На сегодняшний день можно определить различить три ключевых метода к осуществлению этой функции:

Программное двухмерное идентификация

Применяется только передняя видеокамера без дополнительных детекторов глубины. Подобный метод встречается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность воплощения; умеренная затраты; быстрая деятельность при достаточном свете.
Минусы: просто одурачить снимком; нестабильная деятельность ночью; недостаточная безопасность.

Аппаратное 3D сканирование

Применяет инфракрасную видеокамеру + проекционный модуль точек + сенсоры дистанции (Face ID у Apple; аналогичные решения у Huawei Mate).
Достоинства: высокая надёжность; нельзя подделать фото/видео; стабильная деятельность в любых условиях освещения.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с ИИ-дополнением

Используют комбинацию программных методов + техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как вулкан россии и Google Pixel Face Unlock последних поколений, комбинируют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Примеры использования различных способов

• iPhone серии X/11/12/13/14 применяют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз предложил подобие Face ID среди Android.
• Samsung Galaxy S10 версия/S20 поддерживают как программное двухмерное определение по фото фронтальной камерой, так и сканер ириса глаза.
• Huawei Mate20 Pro применяет набор из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы защиты и неверные срабатывания

Несмотря на поразительный развитие техники за прошедшие годы, совершенных системы пока не наблюдается:

1. Шанс подвоха: Доступные смартфоны легко “разблокируются” четкой снимком пользователя или же видео с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые совершенные устройства могут перепутать между однояйцевыми близнецами либо родственниками с очень аналогичной внешностью.
3. Трансформации внешнего вида: Резкое снижение веса/увеличение массы тела, косметические процедуры или травмы порой требуют обновления данных биометрических данных.
4. Условия записи: Сильная засветка солнечным светом либо плотная затенение могут уменьшить аккуратность идентификации признаков.

Вот пара рекомендаций для безопасному использованию:

• Для значимых операций всегда используйте двухфакторную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически обновляйте прошивку программное обеспечение смартфона для предотвращения угроз от актуальных атак;
• Включайте функцию “Требовать раскрытых глаз” там, где она доступна.

Где дополнительно используется технология помимо мобильных телефонов?

Пускай основная мысль нашей работы посвящена именно мобильным устройствам, стоит упомянуть о других сферах применения технологии:

• Мониторинг прохода в рабочих помещениях и жилых домах;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Виртуальные удостоверения личности нового поколения;
• Установки видеоконтроля городских подразделений;
• Автоматизация учёта явки школ/университетов;
• Вход участников компьютеров/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без карты или мобильника! Похожие проекты развиваются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом меняется технический процесс в нынешнее время?

Всякий годочек возникают новые идеи для улучшения стандарта функционирования систем лицевого распознавания:

1. Увеличивается детализация сенсоров — чем больше элементов фиксируется видеокамерой/глубинными сенсорами, тем меньше вероятность погрешности;
2. Совершенствуются нейронные сети — передовые структуры вида MobileNetV3 дают возможность скоростно осваивать дополнительным характеристикам внешности обладателя напрямую на гаджете без отправки данных в облако.
3. Улучшаются технологии антиспуфинга — теперь мобильные устройства могут отличать настоящие живые облики от фиксированных снимков/маскировок по незаметным движениям кожи.
4. Взаимодействие со интеллектуальными приборами — смарт-часы могут автоматически закрыть доступ к телефон, если владелец отошёл далеко.
5. Появляются комбинированные системы — например объединяющие голосовую идентификацию + лицо + дактилоскопический след.

Вот, какие направления особенно актуальны на сегодняшний день:

1) Миниатюризация деталей

Компании стараются уменьшить габариты выреза (“чёлки”) под сенсоры на дисплее за счёт встраивания маленьких ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для улучшения конфиденциальности всё больше обработки данных выполняется локально без отправки информации во внешний облачный сервис.

3) Унификация стандартов

Гугл интенсивно пропагандирует стандарт BiometricPrompt API, для того чтобы подобные системы, например как вулкан россия, и все Android-аппы могли работать с различными типами биометрии унифицированно.

Какое решить сегодня?

Если вам необходима предельная сохранность данных, остановите выбор на передовые модели со встроенным ИК-излучателем или ToF-сенсором глубины.

• iPhone всех существующих последних поколений
• Huawei Partner/Series P серии
• Xiaomi Professional
• Vivo X серии
• Oppo Обнаружить X серий.

Если бюджет ограничен – лучше предпочесть традиционным методам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в вулкан россия, задействовать только как второстепенную возможность удобства.

Каким образом увеличить практичность функционирования функции?

Есть пара советов для людей, кто уже использует разблокировку по лицу:

1. Регулярно меняйте свою изображение-шаблон, если кардинально изменяется внешность.
2. Не упускайте из виду чистить линзу фронтальной камеры – загрязнения могут уменьшить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам запускает фотоаппарат как только вы берёте его в руки.
4. Во время регистрации постарайтесь удерживать лицо прямо напротив камеры исключая резкого наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от экрана.

Будущее развития технологии

В предстоящие периоды можно предвкушать появления полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим данным параметрам одновременно: облик + речь + манера ходьбы + движения рук!

Также возможно появление новых способов обеспечения конфиденциальности – например, изменяющееся изменение электронного паттерна после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из очень захватывающих техник нашего эпохи! Она предоставляет взаимодействие со телефоном удобнее чем раньше, и такие программы, как vulkan russia, могут в разы повысить ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как устроена эта система внутри, – сможете вдумчиво подбирать свой следующий девайс!