Каким способом работает распознавание лиц в мобильных устройствах

Зачем мы предпочитаем разлочивание по лицевому распознаванию

В последние времена идентификация лиц стало одной из самых распространённых функций для деблокировки смартфонов. Еще несколько лет назад основная масса пользователей обходились PIN-кодами, паролями или датчиками отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам достаточно просто взглянуть на экран — и устройство тут же опознает своего владельца.

Что делает данную возможность очень нужной? Во-первых, это практично: не нужно помнить трудные пароли или искать верный палец в мраке. Кроме того, это мгновенно: современные алгоритмы распознают лицо фактически за мгновение. В-третьих, это ощущение будущего — будто в кинофильмах про адмирал х разведчиков.

Тем не менее за данной видимой несложностью прячется полный вселенная комплексных методов и инженерных разработок. Попробуем понять, как именно действует фейсканирование в актуальных гаджетах, какие бывают способы, насколько они защищены и что нас предстоит.

Краткая повествование эволюции технологии

Идентификация лиц как методика присутствует уже более пятидесяти годов. Начальные попытки машинного изучения облика были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда вычислительные машины могли лишь определять силуэты лица и определять промежутки между зрачками и губами на черно-белых изображениях.

Первые коммерческие платформы появились в девяностых годах, но они были несовершенны: функционировали медленно и часто ошибались. Только с эволюцией синтетических сетей и таких систем, как адмирал х, мощных мобильных чипов идентификация лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять личные разработки.

Ключевые этапы функционирования устройства идентификации

Процесс идентификации лица можно примерно сегментировать на несколько ключевых этапов:

Идентификация лиц — камера распознает присутствие человеческого образа в кадре.
Выделение признаков — алгоритм исследует особенности облика: конфигурацию глаз, обонятельного органа, губ, позицию бровей.
Построение модели — создаётся уникальный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со эталоном — созданный модель сверяется со зафиксированной при регистрации биометрической информацией владельца.
Принятие решения — если сходство достаточно существенное, смартфон открывается.

Любой из данных стадий требует особых процедур и оптимизаций для скорой работы непосредственно на девайсе.

Железные составляющие: что находится в их недрах

Стандартная фронтальная камера.

Простейший легкий вариант определения лица использует только лицевую камеру смартфона мобильного устройства. Подобный подход внедрён во многих доступных моделях Android-устройств.

Преимущества:

Не нуждается в потребляет внешних сенсоров.
Оперативно работает при хорошем освещённости.

Отрицательные стороны:

Просто обмануть фотографией или видео.
Плохо функционирует при плохом освещении или необычных ракурсах.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс составляет базу Face ID от Apple.

Каким способом это функционирует:

Точечный проекционный прибор показывает на физиономию пользователя невидимую сетку из тысяч инфракрасных меток (например, Face ID применяет около 30 000 меток).
Инфракрасная камера фиксирует деформацию данной решетки по плоскости лица.
Получается трехмерная карта глубины глубинности, которая почти неосуществима для фальсификации стандартной фотографией или маскировкой.

Преимущества

Надёжная работа даже в полной тьме.
Сильная сопротивляемость к подделкам.
Точность определения свыше 99%.

Дополнительные сенсорные устройства

В определённых устройствах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые измеряют время движения света до объекта и обратно; RGB-датчики дальности; специальные оптические измерители расстояния для построения более точной 3D-модели лица.

Эти инновации используются наиболее часто во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический ум в действии

Текущие устройства опознания лиц неосуществимы в отсутствие применения искусственного интеллекта и машинного обучения. Именно из-за таким разработкам, как адмирал х, устройство в состоянии распознавать владельца даже при метаморфозах внешнего вида: новая укладка, борода, очки или косметика не становятся препятствием для открытия.

Обнаружение лиц

При первом стадии система обязана оперативно распознать образ лица внутри полного изображения с камеры. Для этого используются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы находить лиц человека среди множества других объектов.

Пример: метод MTCNN способен находить облик даже при частичном закрытии (например, платком или ладонью).

Идентификация основных моментов

После распознавания лица система, такая как адмирал х, определяет положение ключевых точек: кончики глаз, верхушка носа, контуры губ и так далее. Часто задействуется от 68 до 128 ключевых меток на лицевой области.

Это действие необходимо для стабилизации картинки: если человек держит смартфон под углом, или повернул голову, программа корректирует изображение до обычного угла для дальнейшего анализа.

Создание биометрии образца

Далее нейронная сеть строит уплотненное математическое представление („эмбеддинг”) лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 флоатов.

Этот образец крайне трудно имитировать: он не удерживает само изображение пользователя, а лишь уникальные характеристики его внешности, что делает его идеальным для таких площадок, как admiral-x.

Сравнение и осуществление решения

В случае, когда юзер намеревается разблокировать телефон глазами, механизм осуществляет все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный порог (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Адаптация к метаморфозам облика

Занимательная характеристика современных системы — способность самообучения. Если вы часто доступаете к телефон с новой стрижкой или оптикой, программа постепенно освежает базовый образец вашего внешности для увеличения точности действия без ухудшения безопасности.

Безопасность биометрических данных данных.

Большинство клиенты опасаются хранить свои биометрические данные на телефоне из-за риска потери данных или хакерской атаки. Некоторые фирмы, вроде admiral-x, предоставляют решения для увеличения защиты данных клиентов.

Локальное сохранение: Большинство устройств хранит био-идентификационные образцы лишь внутри защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не оставляют устройство и не доступны даже создателю.
Шифрование: Все сведения сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Программы третьих девелоперов не имеют прямого возможности доступа к биометрическим; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Следует упомянуть важную особенность: если кто-либо достанет доступ к вашему телефону физически (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители внедряют меры безопасности от неосознанного разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают типы определения лиц на изображениях?

На сегодняшний день можно выделить определить три главных метода к осуществлению этой функции:

Программируемое плоское распознавание

Используется только лицевая камера без дополнительных датчиков дистанции. Такой метод используется обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость осуществления; умеренная затраты; скоростная работа при хорошем свете.
Минусы: легко обмануть снимком; ненадежная функционирование ночью; низкая безопасность.

Оборудование для 3D сканирование

Использует ИК камеру + проектор пикселей + датчики дистанции (Face ID у Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая надёжность; невозможно исказить изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана („чёлка”)

Гибридные подходы с ИИ-дополнением

Применяют комбинацию программных методов + техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам („anti-spoofing”). Например, такие изделия, например адмирал х и Google Pixel Face Unlock новейших версий, сочетают фронталку c инфракрасным сенсором движения Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Образцы применения различных техник

iPhone линейки X/11/12/13/14 применяют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз представил подобие Face ID среди Android.
Samsung Galaxy S10 версия/S20 имеют как программное обеспечение двухмерное определение по снимку фронталкой, так и сканер ириса глаза.
Huawei Mate20 Pro использует набор из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы защиты и ошибочные сигналы

Несмотря на замечательный успехи технологий за последние годы, совершенных механизмов пока не наблюдается:

Вероятность подвоха: Бюджетные мобильники просто доступны высококачественной изображением хозяина или же видео с дисплея иного гаджета.
Идентичные близняшки: Даже самые идеальные механизмы могут перепутать между монозиготными близнецами либо семьями с очень схожей внешностью.
Трансформации внешнего вида: Внезапное утрата веса/увеличение массы тела, косметические процедуры либо повреждения иногда требуют повторной регистрации биометрии.
Условия записи: Сильная подсветка солнечным светом или интенсивная затенение могут уменьшить аккуратность определения признаков.

Здесь пара подсказок для безопасному эксплуатации:

Для значимых операций всегда применяйте дополнительную аутентификацию;
Не активируйте возможность „Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
Систематически обновляйте прошивку смартфона для защиты от новых видов атак;
Включайте настройку „Требовать открытых глаз” в тех местах, где она доступна.

В каких областях дополнительно используется технология кроме смартфонов?

Хотя предмет этой статьи касается в частности мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

Управление входа в рабочих помещениях и многоквартирных зданиях;
Платёжные терминалы банков („Face Pay”);
Цифровые удостоверения личности современного поколения;
Системы видеомониторинга муниципальных служб;
Автоматизация учёта присутствия школ/институтов;
Авторизация юзеров ПК/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по фейсу („Face Pay”) — достаточно пройти через турникет без пластика или телефона! Похожие программы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом изменяется техпроцесс в нынешнее время?

Всякий год возникают новые идеи для усовершенствования стандарта функционирования систем лицевого распознавания:

Увеличивается чёткость датчиков — чем больше элементов фиксируется видеокамерой/датчиками глубины, тем меньше шанс погрешности;
Совершенствуются нейросети — передовые структуры вида MobileNetV3 обеспечивают возможность оперативно обучаться свежим чертам облика владельца прямо на устройстве без отправки данных в облако.
Развиваются методы антиспуфинга — теперь телефоны могут различать реальные живые лица от фиксированных фото/масок по незаметным движениям кожи.
Взаимодействие со смарт-гаджетами — смарт-часы могут авто заблокировать телефон, если обладатель удалился на значительное расстояние.
Появляются смешанные устройства — например совмещающие голосовую аутентификацию + лицо + отпечаток пальца.

Итак, те направления очень востребованы сейчас:

1) Миниатюризация компонентов

Производители намереваются минимизировать габариты прорези („чёлки”) для датчики на дисплее за счёт интеграции компактных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для улучшения личной безопасности всё больше расчётов выполняется на месте без передачи информации во дополнительный облачный услугу.

3) Стандартизация норм

Гугл интенсивно пропагандирует стандарт BiometricPrompt API, с целью чтобы аналогичные площадки, вроде admiral x, и все Android-приложения могли работать с любыми видами биометрии единообразно.

Что выбрать на сегодня?

В случае если тебе важна предельная сохранность данных, остановите выбор на передовые устройства со встроенным ИК-проектором или ToF-сенсором глубины.

iPhone каждого последних моделей
Huawei Partner/Series P линейки
Xiaomi Expert
Vivo X серии
Оппо Обнаружить Икс серий.

Если бюджет ограничен – лучше предпочесть традиционным средствам защиты (PIN-код/сканер отпечатка), а возможность „разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную опцию комфорта.

Каким образом улучшить удобство функционирования возможности?

Есть некоторые лайфхаков для людей, кто уже использует разблокировку по лицу:

Регулярно меняйте свою изображение-шаблон, если кардинально изменяется внешность.
Не упускайте из виду очищать объектив передней камеры – загрязнения могут понизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам активирует фотоаппарат если вы берёте его в руки.
В процессе записи пытайтесь удерживать голову ровно впереди видеоустройства не допуская сильного наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отворачиваетесь от экрана.

Будущее прогресса техники

В ближайшие времена можно предполагать появления полностью безконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: облик + голос + манера ходьбы + движения рук!

Также вероятно развитие новых методов обеспечения конфиденциальности – к примеру, динамическое модификация диджитал паттерна после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – единственная из самых интересных технологий нашего эпохи! Она делает взаимодействие со смартфоном проще чем раньше, и такие приложения, как admiral-x, могут значительно улучшить ваш юзерский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы осведомлены, как работает эта технология в деталях, – будете в состоянии более осмысленно подбирать свой будущий гаджет!