Приложение для распознавания лжи по мимике

В конце октября мы выпустили новое приложение Verity, которое умеет распознавать ложь, анализируя мимику говорящего на камеру человека. Такому приложению нет аналога во всем мире.

Вкратце механизм работы приложения такой:

1. когда вы говорите на камеру, приложение сравнивает вашу мимику со встроенными образцами лжи (паттернами)

2. алгоритм рассчитывает, насколько «правдивой» может быть ваша ложь

3. в итоге вы получаете вердикт в процентном соотношении (например, на 80% это ложь)

Казалось бы, это невероятно просто, потому что пользователь совершает абсолютно понятные действия и получает понятный результат, но, чтобы сделать такое приложение, нам пришлось задействовать последние технологии мобильной разработки.

1. Распознание лица и мимики приложением

Приложение в прямом смысле видит вашу мимику. Зрение приложения намного внимательнее человеческого глаза и умеет фокусироваться сразу на нескольких объектах. Кроме мимики, приложение умеет определять изменение пульса. Известно, что гемоглобин поглощает свет, поэтому по изменению цвета лба можно измерить приблизительное изменение пульса. Этот пункт учитывается как не самый важный, потому что добиться идеального освещения при съемке сложно.

Технология компьютерного зрения в мобильной разработке позволяет обучить приложение «понимать» информацию на картинке или видеозаписи. Например, различать текст, цифры, лица.

2. Дополнение реальности

Приложение не просто видит мимику, а распознает основные мимические мышцы и отмечает их точками — как бы закрепляет их в своем поле зрения. Пока человек говорит, приложение сканирует движущиеся точки, запоминая траекторию их движения. Также сканируется движение зрачков.

Это сделано с помощью технологии дополненной реальности.

Дополненная реальность — это технология наложение искусственных элементов на изображение реального мира. Например, с помощью этой технологии можно увидеть информацию о доме при наведении на него смартфона.

3. Автоматическое принятие решения с помощью машинного обучения

Приложению мало видеть и понимать — это всего лишь факты, на основе которых выносится вердикт. Приложение понимает, лжете вы или нет, благодаря алгоритму, созданному на основе искусственного интеллекта.

По сути мы наделили приложение мозгом, который может не просто воспринимать данные, но и анализировать их, а затем выносить свое решение.

Люди учатся анализировать изображения с раннего детства. Разрабатывая приложение, на начальном этапе мы фактически имеем чистый интеллект, который ничего не умеет. Чтобы научить приложение не только воспринимать, но и анализировать изображения, мы должны вложить в него «опыт». Такой опыт, который мы получали с детства — некие паттерны поведения. Наше приложение умеет распознавать ложь по мимике, для этого мы заложили в алгоритм приложения паттерны двух типов:

• Искусственные. На основе исследований знаменитых теоретиков лжи Пола Эмана и Алана Пиза. Видели сериал «Обмани меня»? А теперь представьте, что в вашем смартфоне сидит маленький доктор Лайтман и ловит ваших собеседников на лжи, используя весь свой арсенал.

• Живые. Мы пригласили людей и попросили их врать на камеру. Они говорили заведомую ложь, и приложение «брало на заметку» их мимику.

Когда человек говорит на камеру, приложение анализирует мимику, сравнивая с паттернами двух типов, а потом выдает взвешенное, усредненное решение — так мы добились более достоверного результата.

Сегодня приложение активно скачивают и тестируют сами пользователи. И вот что нам стало ясно: приложение не распознает ложь, которая не влияет на вашу мимику. Например, если вы тестируете приложение вопросом «На чем я обычно передвигаюсь?», на что вы отвечаете «На ходулях», то приложение не поймет такого юморе и решит, что вы говорите правду. Также приложение плохо реагирует на чрезмерное движение головой. Эти и другие моменты мы дорабатываем и постепенно улучаем работу приложения.

Сейчас приложение доступно на платформах iOS и Android. Уже полным ходом идет разработка десктопной версии, где мы планируем расширить возможности приложения.