Как функционирует распознавание лиц в телефонах

Для чего мы выбираем разлочивание по лицевому распознаванию

В прошлые годы распознавание физиономий является одной из самых распространённых опций для открытия умных телефонов. Лишь некоторые годов назад основная масса пользователей удовлетворялись PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам вполне просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект обуславливает данную возможность такой востребованной? Прежде всего, это практично: не нужно запоминать трудные пароли или искать нужный палец в темноте. Во-вторых, это оперативно: современные программы идентифицируют лицо фактически за мгновения ока. В-третьем пункте, это впечатление футуризма — словно в фильмах про адмирал x разведчиков.

Однако за такой видимой легкостью прячется полный универсум трудных техник и инженерных разработок. Позвольте нам исследовать, как конкретно функционирует фейсканирование в современных смартфонах, какие применяются технологии, насколько они надёжны и что нас предстоит.

Короткая повествование прогресса техники

Распознавание лиц как технология существует уже более пятидесяти лет. Первые пробы автоматического изучения лиц были осуществлены еще в 1960-х годах в исследовательских центрах США. Тогда вычислительные машины умели лишь определять силуэты лица и вычислять расстояния между глазами и ртом на монохромных изображениях.

Начальные бизнес системы стали доступны в 1990-х годах, но они были несовершенны: функционировали медленно и часто ошибались. Только с прогрессом синтетических сетей и таких систем, как адмирал х, сильных мобильных чипов идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять личные разработки.

Основные шаги работы устройства идентификации

Процесс идентификации лица можно условно поделить на несколько основных этапов:

Идентификация лиц — камера выявляет наличие человеческого образа в снимке.
Выделение признаков — алгоритм изучает черты физиономии: форму зрительных органов, носа, губ, позицию бровей.
Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со стандартом — созданный шаблон сравнивается со сохранённой при регистрации биометрической данными владельца.
Принятие выбора — если совпадение достаточно высокое, смартфон деблокируется.

Всякий из данных шагов требует индивидуальных алгоритмов и улучшений для оперативной работы непосредственно на девайсе.

Технические компоненты: что прячется внутри них

Обычная передняя камера.

Самый простой метод определения облика задействует только фронтальную камеру смартфона смартфона. Подобный метод внедрён во многих бюджетных моделях Android-устройств.

Положительные стороны:

Не нуждается в требует дополнительные датчиков.
Быстро функционирует при хорошем освещении.

Недостатки:

Несложно ввести в заблуждение фотографией или роликом.
Неправильно функционирует при слабом освещении или необычных ракурсах.

ИК камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика лежит в основе Face ID от Apple.

Каким образом это работает:

Точечный проектор отображает на физиономию юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 пятен).
Инфракрасная устройство записывает деформацию этой решетки по поверхности лица.
Получается трехмерная глубинная карта глубины, что практически невозможна для имитации обычной фото или маской.

Плюсы

Надёжная работа даже в полной тьме.
Сильная защита к имитациям.
Точность распознавания свыше 99%.

Добавочные сенсорные устройства

В некоторых девайсах применяются также экстра датчики: ToF (Time-of-Flight), которые измеряют время движения света до объекта и обратно; RGB-датчики глубины; специальные лазерные дальномеры для создания более детализированной 3D-модели физиономии.

Эти инновации используются наиболее часто во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: синтетический ум в действии

Текущие системы идентификации лиц неосуществимы в отсутствие применения ИИ и machine learning. Именно благодаря таким инновациям, как адмирал х, устройство способно узнавать владельца даже при метаморфозах облика: новая стрижка, борода, оптика или косметика не становятся барьером для открытия.

Обнаружение физиономии

На стартовом шаге система должна оперативно найти ликовое изображение внутри полного кадра с камеры. Для данной цели применяются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN способен распознавать физиономию даже в случае частичном закрытии (например, шарфом или ладонью).

Выделение основных моментов

После идентификации лица устройство, такая как адмирал х, вычисляет расположение основных точек: края глаз, кончик носа, края губ и так далее. Часто задействуется от 68 до 128 главных маркеров на лицевой области.

Это необходимо для нормализации изображения: если пользователь держит мобильник под наклоненным, или наклонил голову, программа исправляет изображение до стандартного положения для последующего изучения.

Создание биометрии образца

Далее нейросеть строит компактное числовое представление („эмбеддинг”) облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 чисел с плавающей запятой.

Данный образец очень затруднительно имитировать: он не удерживает непосредственно фото пользователя, а лишь исключительные черты его облика, что делает его совершенным для таких систем, как admiral-x.

Сравнительный анализ и осуществление выбора

Если пользователь намеревается открыть смартфон взором, программа повторяет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный границу (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Привыкание к трансформациям облика

Увлекательная черта нынешних систем — способность самостоятельного обучения. Если вы часто доступаете к смартфон с свежей прической или оптикой, алгоритм постепенно модернизирует основной шаблон вашего лица для улучшения точности функционирования без ухудшения безопасности.

Безопасность биометрических данных информации.

Большинство юзеры боятся хранить свои биометрические данные на смартфоне из-за угрозы утечки информации или взлома устройства. Иные компании, вроде admiral-x, предоставляют варианты для увеличения безопасности информации юзеров.

Локальное сохранение: Преимущественно аппаратов записывает био-идентификационные шаблоны лишь внутри защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают устройство и закрыты даже создателю.
Шифрование: Все сведения сберегаются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Программы третьих разработчиков не имеют прямого доступа к биометрическим данным; они могут лишь запрашивать подтверждение верификации личности через системный API.

Следует подчеркнуть существенную подробность: в случае, если какой-то человек достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют систему защиты от автоматического разблокирования — в частности, просят раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают категории определения лиц?

Сегодня можно определить определить 3 главных метода к осуществлению этой функции:

Программируемое 2D распознавание

Применяется только лицевая камера без дополнительных датчиков дистанции. Подобный способ встречается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; низкая затраты; быстрая деятельность при качественном освещении.
Минусы: несложно ввести в заблуждение снимком; неустойчивая работа ночью; слабая безопасность.

Оборудование для объёмное сканирование

Использует ИК видеокамеру + проекционный модуль точек + датчики глубины (Face ID у Apple; аналогичные решения у Huawei Mate).
Преимущества: значительная надежность; нельзя обмануть фото/видео; стабильная деятельность при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана („чёлка”)

Комбинированные подходы с интеграцией ИИ

Применяют комбинацию программных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам („anti-spoofing”). Например, такие изделия, например адмирал х и Google Pixel Face Unlock современных поколений, объединяют фронтальную камеру c ИК датчиком мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями чужих устройств.

Образцы применения разных техник

iPhone модели X/11/12/13/14 используют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition впервые представил аналог Face ID в ряду Android.
Samsung Galaxy S10/S20 имеют как программное обеспечение двухмерное идентификацию по фото фронталкой, так и датчик радужки глаза.
Huawei Mate20 Pro задействует комплекс из ИК-освещения + Dot Projector + ToF-сенсор

Трудности охраны и неверные сигналы

Несмотря на впечатляющий прогресс технологий за последние лет, безупречных системы пока не имеется:

Возможность обмана: Доступные телефоны легко доступны четкой фотографией хозяина либо видеозаписью с экрана другого устройства.
Идентичные близнецы: Даже самые идеальные механизмы могут перепутать между однояйцевыми близнецами либо родственниками с очень схожей внешностью.
Изменения внешнего вида: Резкое утрата веса/набор веса, хирургические вмешательства или повреждения в некоторых случаях требуют обновления данных биометрии.
Условия съёмки: Сильная освещённость солнцем либо интенсивная тень могут уменьшить точность идентификации признаков.

Ниже несколько советов для надёжному эксплуатации:

Для критически важных операций всегда внедряйте дополнительную аутентификацию;
Не запускайте функцию „Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
Регулярно апгрейдите ПО смартфона для обеспечения безопасности от актуальных атак;
Включайте настройку „Требовать распахнутых глаз” везде, где она есть.

В каких местах также используется технология помимо смартфонов?

Хотя основная мысль этой публикации посвящена конкретно портативным гаджетам, необходимо сказать о альтернативных областях использования технологии:

Мониторинг прохода в офисах и резиденциях;
Платёжные аппараты банков („Face Pay”);
Виртуальные идентификационные документы нового образца;
Системы видеомониторинга городских подразделений;
Автоматизирование отслеживания присутствия школ/вузов;
Аутентификация пользователей персональных компьютеров/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по лицу („Face Pay”) — нужно лишь пройти через турникет без карты или телефона! Схожие проекты реализуются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом изменяется технический процесс в нынешнее время?

Любой годочек появляются новые концепции для повышения качества работы систем идентификации лиц:

Увеличивается чёткость датчиков — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс ошибки;
Развиваются искусственные интеллекты — передовые архитектуры типа MobileNetV3 позволяют оперативно обучаться свежим особенностям облика пользователя напрямую на гаджете без отправки данных в облако.
Развиваются технологии антиспуфинга — теперь смартфоны могут распознавать подлинные живые лица от неподвижных снимков/маскировок по незаметным движениям кожи.
Синхронизация со смарт-гаджетами — смарт-часы могут авто заблокировать мобильный телефон, если владелец отошёл далеко.
Проявляются комбинированные устройства — в частности комбинирующие аудио аутентификацию + облик + пальцевой отпечаток.

Итак, которые тренды в особенности востребованы сейчас:

1) Сокращение элементов

Изготовители намереваются минимизировать габариты прорези („чёлки”) под сенсоры на дисплее за счёт встраивания миниатюрных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения приватности всё больше вычислений происходит внутри устройства без передачи данных во внешний облачный услугу.

3) Стандартизация стандартов

Гугл активно пропагандирует стандарт BiometricPrompt API, для того чтобы подобные платформы, вроде admiral x, и любые Android-аппы могли работать с всеми формами биометрии унифицированно.

Какое подобрать сегодня?

В случае если вам всем нужна максимальная безопасность информации, подбирайте топовые аппараты с вмонтированным ИК-проектором или ToF-датчиком глубины.

iPhone всех существующих последних версий
Huawei Partner/P Series линейки
Mix Professional
Vivo X серии
Oppo Найти Х серии.

Если финансы ограничен – лучше предпочесть обычным способам защиты (PIN-код/сканер отпечатка), а опцию „разблокировка по лицу”, такую как в admiral x, задействовать только как дополнительную возможность комфорта.

Как увеличить практичность использования опции?

Есть несколько лайфхаков для пользователей, кто уже использует разблокировку по лицу:

Регулярно обновляйте свою изображение-шаблон, если значительно трансформируется внешний вид.
Не забывайте очищать линзу передней камеры – загрязнения могут снизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам включает камеру если вы берёте его в руки.
При регистрационного процесса старайтесь держать лицевую часть неподвижно впереди объектива не допуская сильного наклона головы.
Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отворачиваетесь от экрана.

Перспективы прогресса техники

В ближайшие времена можно ожидать возникновения полностью бесконтактных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + манера ходьбы + движения рук!

Также предполагается развитие современных подходов защиты конфиденциальности – к примеру, динамическое модификация электронного образца после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из самых увлекательных инноваций нашего периода! Она обеспечивает интеракцию со смартфоном комфортнее чем когда-либо прежде, и такие программы, как admiral-x, могут существенно оптимизировать ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как работает эта система в деталях, – будете в состоянии более осмысленно выбирать свой очередной устройство!