Мониторинг и контроль

Стандартизация ИИ для решения задач мониторинга и контроля уже находится в активной фазе разработки. В России можно отметить серию ГОСТ в области управления интеллектуальной транспортной инфраструктурой [1, 2, 3], ситуационной видеоаналитики [4], мониторинга поведения и прогнозирования намерений людей [5, 6], распознавания и определения типов объектов дорожно-транспортной сети [7, 8].

Нет сомнений, что в перспективе нескольких лет как в России, так и за рубежом безопасность систем ИИ для мониторинга и контроля получит надлежащую нормативную базу.

В соответствии с жизненным циклом систем ИИ, первым этапом является этап подготовки данных для обучения моделей ИИ. Данные должны удовлетворять стандартным требованиям, включающим достоверность, полноту, безопасность, несмещенность [9-11]. При этом любое отклонение от требований по формированию обучающих и валидационных данных ведет к рискам создания моделей ИИ низкой точности, достоверности, надежности и со слабыми обобщающими свойствами [10].

Для систем ИИ, выполняющих мониторинг людей, критически важными и обязательными являются требования конфиденциальности, этичности и защиты персональных данных. Наиболее жесткую позицию в этом вопросе занимает Европейский Союз (ЕС). В соответствии с Законом ЕС об искусственном интеллекте (EU AI Act) [12] ряд практик применения ИИ, прямо или косвенно связанных с мониторингом людей, отнесены к практикам с неприемлемым уровнем риска для прав и свобод граждан и запрещены к использованию в ЕС [13]. К запрещенным практикам относятся:

Далее следует этап создания и обучения модели ИИ, который крайне желательно проводить в защищенных программных средах и с использованием доверенного программного обеспечения. Особо отметим, что в задачах видеоаналитики большой популярностью пользуются свободно распространяемые модели семейства YOLO [14, 15], предназначенные для обнаружения и распознавания объектов на изображениях на основе глубоких нейронных сетей. Важно понимать, что использование «нейросетей, загруженных из Интернета», даже при условии дообучения или модификации модели, не гарантирует отсутствие модулей кражи персональных данных, триггеров перевода модели на незадекларированное поведение или иной вредоносной функциональности. Только тщательный анализ топологии и внутренней логики работы таких моделей может гарантировать их безопасность.

На этапе обучения модели ИИ должна быть предусмотрена ее защита от атак на входные данные [16], включая защиту от так называемых состязательных атак. Для задач видеоаналитики последний вид атак особенно актуален. Большинство состязательных атак направлено именно на отравление входного изображения с целью изменения вывода модели, причем отравленные изображения можно сделать практически визуально неотличимыми от исходных. Огромное количество успешных атак на входные данные, их разнообразие и даже возможность их таргетирования под определенные типы нейросетей представляют большую проблему и огромный вызов для методов защиты ИИ, к которым, в первую очередь, относятся методы состязательно обучения [17, 18].

После создания модели должно быть проведено её полноценное и всестороннее тестирование по определённой методологии [10], а в случае моделей, уязвимости которых представляют наибольшую угрозу, может быть назначено и внешнее тестирование экспертами по безопасности ИИ.

Залогом безопасности вашего ИИ-решения является понимание специфичных уязвимостей его компонент и внимательное следование всем рекомендациям и методологиям защиты ИИ.