Цель и направления работ
Kaspersky AIST
Безопасный ИИ для пользователей
и разработчиков
Защита ИИ требует дополнительных мер информационной безопасности на протяжении всего жизненного цикла системы. Важно учитывать как ставшие уже классическими уязвимости ключевых компонентов ИИ (данных, моделей, инфраструктуры), так и новые угрозы агентного ИИ, обусловленные автономностью и групповым взаимодействием ИИ-агентов.
Направления работ
Нашим партнером является одна из ведущих в России научно-исследовательских организаций в области обеспечения безопасности ИИ – Исследовательский центр доверенного искусственного интеллекта на базе Института системного программирования им. В.П. Иванникова Российской академии наук (ИСП РАН).
Ландшафт угроз ИИ
Данные
Манипулирование данными в системах ИИ: угрозы нарушения целостности и конфиденциальности данных
Подробнее
Модели
Вредоносная функциональность в весах/слоях модели (программные закладки), извлечение знаний (копирование функциональности) модели
Подробнее
Вычислительные
системы
Атаки на энергопотребление/быстродействие, разрушение модели на аппаратном уровне
Подробнее
ИИ в индустрии:
применение и риски
Критическая инфраструктура
Использование ИИ на объектах энергетики и жизнеобеспечения, в системах безопасности и контроля, транспорта и логистики
Подробнее
Агрокомплекс
Эффективное и экологичное производство, оптимизация и прогнозирование затрат, мониторинг и контроль процессов производства продукции
Подробнее
Транспорт
Автономная навигация, предотвращение столкновений, предиктивное техническое обслуживание, оптимизация маршрутов, обеспечение транспортной безопасности
Подробнее
Мониторинг и контроль
Распознавание объектов и людей, мониторинг производственных процессов на предприятиях с использованием данных телеметрии, задачи неразрушающего контроля
Подробнее
Образование
Адаптивное обучение и улучшение качества образовательных процессов, автоматизация проверки и оценивания заданий, образовательные тренажеры
Подробнее
Производство
Предиктивная диагностика, цифровые двойники, метрологическое обеспечение, управление технологическими процессами
Подробнее
Автотранспорт
Автоматизированное управление движением, интеллектуальная транспортная инфраструктура, системы диагностики и мониторинга
Подробнее
Медицина
Прогнозирование, диагностика и профилактика заболеваний, системы поддержки принятия врачебных решений и поддержания жизнедеятельности
Подробнее
Интернет, банкинг
Речевые технологии и голосовые помощники, чат-боты, генерация медиаконтента и текстов, поиск информации
Подробнее
Kaspersky AIST
Услуги в области безопасности ИИ
Наши услуги направлены на обеспечение надежной защиты систем ИИ, предотвращение угроз для данных, бизнес-процессов, ИИ-инфраструктуры.
Интеграция отраслевых знаний в большие языковые модели (LLM)
Адаптация и внедрение технологии «обогащения» базовой LLM отраслевыми (из заданной предметной области) знаниями и накопленной экспертизой для повышения точности и достоверности выдачи ответов, а также для снижения вероятности выполнения моделью ошибочных действий в роли ИИ-агента.
Анализ ландшафта угроз ИИ
Всесторонний анализ возможных векторов атак на ИИ-решение, исходя из специфики и потенциальных рисков в соответствующей области применения. Предоставляется подробный отчет о возможных угрозах для ИИ-решения, даются конкретные рекомендации по устранению этих угроз и общему повышению защищенности ИИ-решения.
Анализ входных данных
и данных обучения моделей ИИ
Проводится оценка уязвимости модели к состязательным и другим видам атак на входные данные. Проверяется обучающий набор данных модели на соответствие требованиям безопасности*. Предоставляется подробный отчет с оценкой уязвимости модели к атакам на данные. При наличии уязвимостей даются конкретные рекомендации по их устранению.
* В некоторых случаях (например, для больших языковых моделей, LLMs) такие работы могут включать в себя проведение отдельного научно-исследовательского проекта
Анализ моделей ИИ
Обнаружение вредоносной функциональности внутри моделей ИИ, обнаружение троянов и других вредоносных модулей, встроенных в глубокие нейронные сети*. Предоставляется отчет о наличии/отсутствии вредоносного ПО внутри модели ИИ, производится локализация и удаление такого ПО при условии сохранения моделью всех функциональных характеристик.
* При наличии исходного кода модели
Мониторинг безопасности
ИИ-решений
Проверка безопасности ИИ-решений на стадии их использования с целью выявления незадекларированной функциональности. Обнаружение вредоносной активности возможно по определенным косвенным признакам, если модель ИИ не может быть проанализирована другими методами. Предоставляется отчет о проведенных тестах и наличии/отсутствии незадекларированной функциональности в модели ИИ.
Разработка защищенных
моделей ИИ
Разработка и обучение моделей ИИ, обладающих повышенной устойчивостью к атакам. Использование состязательного обучения, доверенных сред разработки моделей ИИ, специализированного (нейроморфного) аппаратного обеспечения и других методик проактивной защиты ИИ.
Экспертно-аналитическая поддержка
в области регулирования ИИ
Разработка стратегий внедрения ИИ с учетом российских и мировых регуляторных практик. Проверка ИИ на соответствие техническим регламентам и стандартам. Экспертиза требований регуляторов, участие в разработке отраслевых стандартов ИИ.
Консалтинговые услуги и исследования
по теме безопасности ИИ
Если область безопасности ИИ для вас новая, наша команда проведет первичное консультирование по интересующим вас вопросам. Также возможно детальное исследование безопасности интересующего вас ИИ-решения или подхода в рамках отдельного прикладного научно-исследовательского проекта.