Транспорт

Анализ проведем в соответствии с жизненным циклом систем ИИ.

Первый этап заключается в сборе и подготовке данных для обучения моделей ИИ. Основными данными на транспорте являются данные о движении транспортных средств (ТС), включая данные, получаемые в режиме реального времени, данные о грузах и грузоперевозках, данные об окружающей среде, данные об инфраструктуре.

Конфиденциальность, безопасность и качество данных имеют решающее значение для построения надежных систем ИИ, поэтому в регулирующих документах цепочкам поставок данных уделяется особое внимание [4, 5, 6]. Всесторонняя проверка данных является необходимой процедурой, которая должна проводиться с привлечением отраслевых экспертов [1], а в некоторых случаях и экспертов по ИИ.

Далее следует этап создания и обучение модели ИИ. Их необходимо выполнять в защищенных программных средах и с использованием доверенного программного обеспечения. Как и для других критических отраслей, модели ИИ, разрабатываемые для транспорта, должны быть гарантированно свободны от каких-либо незадекларированных или вредоносных функций – например, тех, которые могут привести к краже данных телеметрии или изменению поведения модели по триггерам во входных данных. Тщательный анализ внутренней логики модели и ее компонентов позволяет минимизировать риск использования моделей с вредоносной нагрузкой.

К системам ИИ для управления ТС предъявляются дополнительные требования, включая тестирование на цифровых двойниках и испытательных полигонах, прозрачность работы и интерпретируемость результата вывода (решения) для оператора ТС (водителя), а также бесшовную передачу контроля оператору ТС и ряд других. Более подробно этот класс систем рассмотрен в разделе, посвященном высокоавтоматизированному автомобильному транспорту.

К сожалению, качественные обучающие данные и точная, функционально верифицированная модель ИИ еще не гарантируют в полной мере безопасность системы ИИ. Дело в том, что на стадии эксплуатации система ИИ может быть атакована злоумышленником через входные данные. Например, данные тех или иных измерительных систем могут быть умышленно модифицированы так, чтобы вывод модели ИИ не соответствовал истинным измерениям. Для ТС, использующих данные объективного контроля, такие атаки представляют особую опасность, учитывая тот факт, что вносимые вредоносные изменения могут быть крайне малы, а их влияние на систему ИИ весьма существенным. Алгоритмы атак на входные данные достаточно разнообразны и их реализуемость была много раз продемонстрирована на практике. Одним из эффективных средств борьбы с этим видом атак является так называемое состязательное обучение модели ИИ [7, 8].

Отдельно стоит отметить и потенциальные уязвимости оборудования для вывода моделей ИИ, но в применении к транспорту это тема сложнообозрима по причине огромного разнообразия используемых аппаратных решений. Краткое описание успешных атак на оборудование ИИ приведен в соответствующем разделе сайта.

Мы рассмотрели процесс создания системы ИИ и сопутствующие риски в основном ориентируясь на области автопилотирования, грузоперевозок, мониторинга технологических процессов на транспорте. За скобками осталась такая важная область, как пассажироперевозки, в которой ИИ может использоваться в том числе и для взаимодействия непосредственно с человеком. В этой сфере актуальны риски, связанные с некорректной работой генеративного ИИ, в первую очередь - больших языковых моделей (LLM) в персональных ИИ-помощниках.

Отметим лишь некоторые из возможных рисков: