Все события проектов
Исследования

Эффективность эксперимента с распознаванием лиц: слушания в парламенте Москвы 15.12.22

2022-12-30 13:04

Эффективность эксперимента с распознаванием лиц: слушания в парламенте Москвы 15.12.22


Почему это важно


Эксперимент с личными данными внедрили на 5 лет в рамочном ФЗ № 123. На волне борьбы с ковидом весной 2020 года проект запустили не в пилотном режиме, а одномоментно: на 125 районов самого большого города Европы. Без публичной дискуссии, без сбора данных и без законодательной базы. Беспрецедентный масштаб, срочность и скрытность объяснили пандемией.

Ключевые проблемы


Спустя 2 года эксперимента вопросов больше, чем ответов. Несмотря на низкие стандарты и отсутствие парламентского контроля, результаты распознавания служат доказательством в суде, инструментом политических репрессий и продаются на черном рынке.

Система экспериментальная, пробная, но результаты сличения используются в судах


Распознавание лиц в Москве - эксперимент. Не готовая рабочая версия, а «черновик», который был задуман в качестве пятилетнего теста. Сегодня этого не понимают ни правоохранители, ни суды, ни депутаты, ни граждане. 

Горожане не давали согласия на обработку их референтных изображений, хотя этого требует закон о персональных данных


Задумайтесь: почему Сбербанк спрашивает согласие на получение ваших фото для услуги FacePay, а Москва — нет?

Чтобы распознать человека, городу нужны образцы фото москвичей. Это референтные снимки, с ними можно сопоставить видеоряд с камер. Откуда их берут? Неизвестно. Но известно, что эти фото низкого качества и получены с нарушением закона о персональных данных.

Обойти этот закон помогает уловка московских судов: они трактуют сличение как анонимное, лишенное биометрии и персональных данных. Вероятная причина этого — стремление скрыть от двенадцати миллионов москвичей, в каком эксперименте они невольно участвуют.

Референтные изображения плохие: могут быть фото из случайных баз данных или соцсетей


Распознавание происходит с ошибками из-за плохих референтных изображений, спорадического регулирования и в зависимости от возраста, пола и цвета кожи


Точность распознавания в Москве низкая и не стандартизированная (судя по доступным данным). Модели компьютерного зрения учатся на некачественных данных и не получают адекватного аудита и контроля. Что модель может делать: распознавать лица, находить объект в толпе, отслеживать его путь. Ошибки бывают двух типов: ложно-положительные (разных людей принимают за одного) и ложно-отрицательные (одного и того же человека принимают за разных).

В административном деле депутата МГД Елены Шуваловой точность сличения 76%, но в мире алгоритмы уверенно превышают 90%. Есть и примеры заведения дел на основании полностью ошибочного распознавания (дело муниципального депутата Юлии Щербаковой).

Уязвимое место: хранение данных. Зафиксированы сливы и продажи на черном рынке


В 2020 году Анна Кузнецова приобрела кадры своих перемещений по 70 адресам, позже МВД подтвердило факт утечки.

Мосгордума исключена из реализации и оценки эксперимента, хотя он затрагивает жителей столицы


Снижает ли преступность?




Ни в России, ни в мире не доказана эффективность распознавания в снижении преступности — а именно эта цель заявлена мэром Москвы.

Распознавание лиц не эффективно в профилактике преступлений и поимке преступников. Судя по доступным данным, в Москве уровень раскрываемости тяжких и особо тяжких преступлений ниже среднего по стране (лидеры — Брянская и Тамбовская области, где систем распознавания нет). Исследование ИЦ “Коллективное действие” показывает небольшой рост (5,6 пп) в раскрываемости после 2020 года, но дефицит данных по преступности и вопросы к качеству ведения статистики не позволяют сделать однозначный вывод.

Выводы слушаний


  • Автоматические системы и их алгоритмы (ADM-системы) используют большие объемы данных о горожанах. Эти системы не нейтральны, данные могут «утекать», случаются ошибки. Их нужно контролировать через парламентский контроль, законодательные требования к прозрачности и технический аудит с помощью независимых специалистов.

  • Самое важное — вынести дискуссию в публичное поле. Участие в эксперименте должно быть понятно для жителей Москвы, а Мосгордума должна иметь четкие механизмы контроля и оценки эксперимента.

  • Оценка эффективности требует раскрытия данных: статистика преступности (по составам), данные о результатах работы системы распознавания и применяемых алгоритмах. Необходим ежегодный отчет правительства Москвы о результатах эксперимента.

Стратегическое направление


В некоторых штатах Америки (в Вашингтоне, Техасе и др.) ограничения на работу системы действуют для конкретных органов — например, полиции. В Евросоюзе действуют строгие законы, а в Бельгии и Люксембурге распознавание лиц запрещено полностью. В Индию систему внедрили, помимо прочего, для удаленного наблюдения за пенсионерами, а в Швеции запретили её использование в школах. 

Вопросы мэру




  • Почему Москва не спрашивает согласия на использование персональных данных москвичей в эксперименте, а Сбербанк - спрашивает?

  • Почему граждане не информированы об эксперименте?

  • Какие итоги эксперимента за 2 года?

  • Насколько снизилась преступность по подходящим составам (например, кражи автомобилей)?

  • Сколько ложно-положительных и ложно-отрицательных срабатываний было за 2 года?

  • Где список вендоров и используемых алгоритмов ИИ?

  • Почему результаты экспериментальной системы используется в судах?


Источники: бриф подготовлен по результатам круглого стола 15 декабря 2022 в Мосгордуме «Оценка эффективности эксперимента с системами распознавания лиц в Москве» по инициативе партии Яблоко и ИЦ “Коллективное действие”, с привлечением социологов, экономистов, специалистов в области компьютерного зрения, вендоров и сотрудников исследовательских институтов.