Искусственный интеллект: защитить и защититься

Искусственный интеллект (ИИ) находит применение во всех сегментах транспортной отрасли — в первую очередь, в интеллектуальных транспортных системах (ИТС) и при моделировании транспортных потоков с использованием ИИ, в методах построения логистических маршрутов, при использовании БПЛА и технологии компьютерного зрения для анализа дорожной ситуации и, конечно же, при защите от атак на критическую информационную инфраструктуру. Специалисты ФГУП «ЗащитаИнфоТранс» в своем аналитическом обзоре структурируют обширный пласт информации, касающейся роли ИИ в обеспечении транспортной безопасности.

Введение

В России 30 мая 2019 года на совещании по развитию цифровой экономики под председательством В. В. Путина было принято решение о подготовке национальной стратегии по искусственному интеллекту, которая получила свое развитие в национальной программе «Цифровая экономика Российской Федерации» и в последующих постановлениях Правительства Российской Федерации.

Концепция технологического развития на период до 2030 года, утверждённая распоряжением Правительства Российской Федерации от 20 мая 2023 г. № 1315-р, определяет искусственный интеллект, включая технологии машинного обучения и когнитивные технологии, как одну из стратегических технологий, способных преодолеть вызовы текущего десятилетия, радикально меняющих рынки и производственные системы.

Перспективной программой стандартизации по приоритетному направлению «Искусственный интеллект» на период 2021-2024 годы от 22.12.2020, утвержденной Министерством экономического развития Российской Федерации и Федеральным агентством по техническому регулированию и метрологии, предусмотрена разработка и утверждение части стандартов в области ИИ и сертификации систем с использованием ИИ на транспорте. Это относится к интеллектуальным транспортным системам (ИТС), методам испытаний и средствам обеспечения их безопасности, системам прогнозирования, беспилотным транспортным средствам, сетям и системам связи для поддержки управления беспилотным транспортом (V2X) и порядку оценки соответствия требованиям безопасности.

Кроме ИТС широкое применение ИИ находит во всех сегментах транспортной отрасли: при моделировании транспортных потоков с использованием искусственного интеллекта, в методах построения логистических маршрутов для доставки крупногабаритных и опасных грузов, при использовании БПЛА и технологии компьютерного зрения для анализа дорожной ситуации, в системах принятия решений транспортных отраслей различной модальности при объединении их в единую транспортную систему, при мониторинге состояния дорожной инфраструктуры и предиктивном анализе ее состояния и, конечно же, при защите от атак на критическую информационную инфраструктуру.

Среди отраслей экономики, которые наиболее активно на ранних стадиях развития ИИ начинают применять данные технологии, транспортная отрасль находится на лидирующих позициях в мире.

В октябре 2021 года в РФ был подписан Кодекс этики искусственного интеллекта, разработанный с учетом требований Национальной стратегии развития искусственного интеллекта на период до 2030 года.

Технический комитет по стандартизации № 164 «Искусственный интеллект» (ТК 164) опубликовал первые редакции проектов национальных стандартов в области применения искусственного интеллекта. Работы по стандартизации в области ИИ в ключевых отраслях экономики проводятся ТК 164 в соответствии с Национальной стратегией развития искусственного интеллекта на период до 2030 года. ТК 164 является «зеркальным» по отношению к международному подкомитету SC 42 Artificial Intelligenсе объединенного технического комитета ISO/IEC JTC 1 Information Technologies и выполняет функции постоянно действующего национального органа в ISO.

В октябре 2017 года ISO/IEC JTC 1 провел совещание в России и принял решение о создании нового подкомитета SC 42 по ИИ, который отвечает за стандартизацию ИИ. SC 42 учредил пять рабочих групп:

• по основополагающим стандартам (WG 1);
• по большим данным (WG2);
• по надежности (WG 3);
• по вариантам использования и приложениям(WG4);
• по вычислительным подходам и вычислительным характеристикам систем искусственного интеллекта (WG 5).

Кроме того, SC 42 также учредил консультативную группу по стандартам систем управления искусственным интеллектом (AG1) и консультативную группу по разработке интеллектуальных систем (AG 3).

Рабочая группа SC 42 WG 3 по вопросам надежности фокусируется на надежности и этичности искусственного интеллекта, она провела исследования и разработки стандартов по таким темам, как доверие к ИИ, оценки надежности, предвзятость алгоритмов и этика. Эта группа разрабатывает следующие основные стандарты.

— ISO / IEC TR 24027 «Информационные технологии Искусственный интеллект (AI)» Предвзятость в системах искусственного интеллекта и принятии решений с помощью искусственного интеллекта«. В основном изучает алгоритмическую предвзятость в системах искусственного интеллекта и системах принятия решений с помощью искусственного интеллекта.

— ISO/IEC PDTR 24028 «Информационные технологии — искусственный интеллект. Обзор надежности в области искусственного интеллекта». В основном изучается значение надежности искусственного интеллекта, анализируются типичные инженерные проблемы и типичные связанные с ними угрозы и риски систем искусственного интеллекта и предлагаются соответствующие решения. Стандарт определяет надежность как степень надежности искусственного интеллекта и предлагает метод для установления надежности систем искусственного интеллекта с точки зрения прозрачности, проверяемости, объяснимости и управляемости.

— ISO/IEC TR 24029-1 «Искусственный интеллект (ИИ). Оценка надежности нейронных сетей». Часть 1 — это обзор, он в основном предлагает перекрестную валидацию, формальную валидацию, апостериорную валидацию и другие методы оценки надежности нейронных сетей для проектов, которые исследуют надежность ИИ. Часть 2 — это методология формальных методов как предмет исследования.

— ISO/IEC 23894 «Информационные технологии «Искусственный интеллект. Управление рисками». Рассматривает риски искусственного интеллекта и предоставляет процессы и методы управления рисками искусственного интеллекта.

— «Информационные технологии TR. Искусственный интеллект. Обзор этики и социальной озабоченности». Фокусируется на исследованиях искусственного интеллекта с точки зрения этики и социальной озабоченности.

В дополнение к SC 42 подкомитет ISO/IEC JTC 1/SC 27 по информационной безопасности, кибербезопасности и защите частной жизни в рамках своей собственной рабочей группы WG 5 по управлению идентификацией и технологиям конфиденциальности учредил исследовательский проект «Влияние ИИ на конфиденциальность». Подкомитет ISO/IEC JTC 1/SC 7 по разработке программного обеспечения и системной инженерии также разрабатывает ISO/IEC/IEEE 29119-11 по разработке программного обеспечения и системной инженерии «Тестирование программного обеспечения», целью которого является стандартизация тестирования систем искусственного интеллекта.

Несколько раньше Всемирная комиссия ЮНЕСКО по этике научных знаний и технологий (КОМЕСТ) опубликовала в 2017 году доклад «Об этике робототехники».

Часто используемые термины и их определения

К основным понятиям ИИ (в международных обозначениях) следует отнести: Artificial Intelligence (AI — искусственный интеллект), Machine Learning (ML —машинное обучение) — раздел AI, Data Science (DS — наука о данных). Это три основных понятия ИИ.

Искусственный интеллект

Нижний уровень иерархии — слабый ИИ, где применяются нейронные сети, алгоритмы и формы эволюционирующих вычислений, обеспечивающие понимание процессов адаптации, восприятия, воплощения и взаимодействия с окружающим физическим миром.
Посредством некоторого частично понятного процесса этот набор вычислительных схем преобразуется в более определенные схемы второго уровня — сильный ИИ, шаблоны логического вывода, где рассматриваются и изучаются схемы дедукции, абдукции, индукции, поддержки истинности, а также другие многочисленные модели и принципы рассуждений. На этом уровне абстракции проявляется стремление специалистов воплотить закономерности социальных процессов в ИИ, передаче и подкреплении знаний. Здесь речь идет о разработках систем экспертных, интеллектуальных агентов, систем понимания естественного языка.
Высший уровень Artificial general intelligence (AGI) — сильный искусственный интеллект — это сам разум, превосходящий человеческий. Создаваемый сегодня ИИ подразумевает любую деятельность компьютера, имитирующую человеческий интеллект, сильный ИИ — только такую, которая претендует на что-то универсально общее, похожее на то, как мыслит человек.
Искусственный сверхинтеллект (ASI) — «интеллект, который намного умнее лучших человеческих умов практически в любой сфере, в том числе научного творчества и социальных навыков».

Нейронная сеть (англ. Neural network) — взаимосвязанное множество искусственных нейронов, выполняющих простые логические операции, обладающее способностью машинного обучения.

Машинное обучение

Машинное обучение (англ. Machine learning, ML) — это техника обучения информационной системы на основе предоставленных наборов данных (англ. dataset) без использования предопределенных правил, является частным случаем искусственного интеллекта. Общей задачей машинного обучения является построение алгоритма (программы) на основании предоставленных входных данных и заданных верных/ожидающихся результатов: таким образом, процесс работы ML-системы разделен на первоначальное обучение на предоставляемых наборах данных и на последующее принятие решений уже обученной системой.
Существует несколько способов машинного обучения.

Контролируемое обучение или обучение с учителем (англ. Supervised learning) — способ машинного обучения, в котором используются размеченные наборы данных (проклассифицированные объекты с выделенными характерными признаками), для которых некий «учитель» (человек или обучающая выборка) указывает правильные пары «вопрос-ответ», на основании чего требуется построить алгоритм предоставления ответов на дальнейшие аналогичные вопросы.

Неконтролируемое обучение или обучение без учителя (англ. Unsupervised learning) — способ машинного обучения, в котором не используются размеченные наборы данных, не указаны правильные пары «вопрос-ответ», а от информационной системы требуется на основании известных свойств объектов найти различные взаимосвязи между ними.

Частично контролируемое обучение или обучение с частичным привлечением учителя (англ. Semi-supervised learning) — способ машинного обучения, в котором комбинируется небольшое количество размеченных наборов данных и большое количество неразмеченных. Такой подход оправдан тем, что получение качественных размеченных наборов данных является достаточно ресурсоемким и длительным процессом.

Обучение с подкреплением (англ. Reinforcement learning) — частный случай обучения с учителем, при котором «учителем» является среда функционирования, дающая обратную связь информационной системе в зависимости от принятых ею решений.

При этом в машинном обучении могут использоваться и другие алгоритмы, такие как байесовские сети, цепи Маркова, градиентный бустинг.

Глубокое обучение (англ. Deep learning) — это частный случай машинного обучения, в котором используется сложная многослойная искусственная нейронная сеть для эмуляции работы человеческого мозга и обработки речи (англ. natural language processing), звуковых (англ. speech recognition) и визуальных образов (англ. computer vision). Машинное зрение (computer vision) в настоящее время широко используются в системах обеспечения безопасности, контроля транспорта и пассажиров. Системы обработки речи (natural language processing) и распознавания слов (speech recognition) помогают голосовым ассистентам Сири или Алисе отвечать на вопросы пользователей.

Большие данные (Big Data) — большой объем структурированных и неструктурированных данных в цифровом виде, характеризующийся объемом (volume), скоростью изменения (velocity) и разнообразием (variety). Для обработки больших данных могут применяться специализированные программные инструменты, такие как Apache Hadoop / Storm / Spark, Kaggle, СУБД класса NoSQL. Считается, что для повышения эффективности при использовании больших данных требуется перейти от разнородных данных к структурированной информации, а затем — к знаниям (сведениям). Обработанный, структурированный и размеченный набор данных, полученный из релевантного массива больших данных, является необходимым (и одним из самых ценных) компонентом для машинного обучения в современных системах.

Наука о данных

Глубокий анализ данных (Data mining) — это структурирование и выделение полезной информации из разнородной и неструктурированной массы данных, в том числе из больших данных.

Нечеткая логика (англ. Fuzzy logic) — применение нестрогих правил и нечетких ответов для решения задач в системах искусственного интеллекта и нейронных сетях. Может применяться для моделирования поведения человека, например, для сужения или ограничения условий поиска ответа на вопрос в зависимости от контекста.

Дополнительные термины и их определения

EDR (Endpoint Detection and Response) — платформы обнаружения атак на рабочих станциях, серверах, любых компьютерных устройствах (конечных точках) и оперативного реагирования на них. С помощью технологий ИИ продукты данной категории могут обнаруживать неизвестные вредоносные программы, автоматически классифицировать угрозы и самостоятельно реагировать на них, передавая данные в центр управления. ИИ принимает решения на основе общей базы знаний, накопленной путём сбора данных со множества устройств. Некоторые продукты данного типа используют технологии ИИ для разметки данных на конечных точках и дальнейшего контроля их перемещения, чтобы выявлять внутренние угрозы.

NDR (Network Detection and Response) — устройства и аналитические платформы, которые обнаруживают атаки на сетевом уровне и позволяют оперативно на них реагировать. Используя накопленную статистику и базу знаний об угрозах, продукты данного типа выявляют с помощью технологий ИИ угрозы в сетевом трафике и могут автоматически на них реагировать надлежащим образом, изменяя конфигурацию сетевых устройств и шлюзов. Часть продуктов данного типа специализируется на защите облачных провайдеров и их инфраструктуры. Дополнительный сценарий использования ИИ в сетевой защите — это, например, анализ почтового трафика на предмет фишинга.

UEBA (User and Entity Behavior Analytics) — системы поведенческого анализа пользователей и информационных сущностей. Они обнаруживают случаи необычного поведения и используют их для детектирования внутренних и внешних угроз. Основной сценарий применения ИИ-технологий в продуктах типа UEBA — это автоматическое выявление аномалий в поведенческих моделях (отклонение от нормы или соответствие шаблону угрозы) для пользователей и различных сущностей информационных систем. Выявленные аномалии классифицируются с помощью ИИ как различные угрозы и риски для бизнеса. Аномальное поведение может выявляться в целях мониторинга и управления доступом, обнаружения мошенничества среди клиентов или сотрудников (антифрод), защиты конфиденциальных данных, проверки соблюдения тех или иных регламентов и нормативных актов.

TIP (Threat Intelligence Platform) — платформы раннего детектирования угроз и реагирования на них, действующие на основе большого количества различных данных (Data Lake) и индикаторов компрометации (IoC). Применение ИИ позволяет повысить эффективность выявления неизвестных угроз на ранних этапах; сценарий очень схож с работой SIEM-систем, но нацелен на внешние источники данных и внешние угрозы.

SIEM (Security Information and Event Management) — решения, которые осуществляют мониторинг информационных систем, в режиме реального времени анализируют события безопасности, поступающие от сетевых устройств, средств защиты информации, ИТ-сервисов, инфраструктуры систем и приложений, и помогают обнаружить инциденты ИБ. В системах такого класса накапливается огромное количество данных из различных источников, а применение технологий ИИ даёт возможность выявления аномалий эвристическими методами и сокращения ложных срабатываний при изменении паттернов и моделей данных. Применение ИИ в SIEM-системах позволяет достигнуть очень высокого уровня автоматизации.

SOAR (Security Orchestration and Automated Response) — системы, позволяющие выявлять угрозы информационной безопасности и автоматизировать реагирование на инциденты. В решениях данного типа, в отличие от SIEM-систем, ИИ помогает не только проводить анализ, но и автоматически реагировать надлежащим образом на выявленные угрозы.

Средства защиты приложений (Application Security) — системы, позволяющие определять угрозы безопасности прикладных приложений, управлять дальнейшим циклом мониторинга и устранения таких угроз. Основной сценарий применения технологий ИИ в системах защиты прикладных приложений — автоматический сбор информации об уязвимостях, атаках и заражениях, доступной в открытых источниках, и основанная на его результатах автоматизация защитных действий: сканирования на уязвимости, изменения правил защиты для веб-приложений, выявления угроз и изменения рисковой модели.

Антифрод (Antifraud) — системы, позволяющие выявлять угрозы в бизнес-процессах и предотвращать мошеннические операции в режиме реального времени. В системах защиты от мошенничества технологии ИИ применяются для определения отклонений от установленных бизнес-процессов, тем самым помогая быстро реагировать на возможное преступление или уязвимость процессов. Применение ИИ в таких системах особенно актуально, так как позволяет быстро адаптироваться к изменению логики и различных метрик бизнес-процессов, а также использовать лучшие практики в индустрии.

Информационная безопасность: новые вызовы

Киберпреступники существенно усилили свою активность в последнее время. По экспертным оценкам, количество киберпреступлений растет приблизительно на 20-25 %, от года к году. Весна 2022 еще добавила активности киберпреступникам, организующим мощные DDoS-атаки и целевые APT-атаки (Advanced Persistent Threat (APT). Это так называемая «развитая устойчивая угроза» (таргетированные или целевые кибератаки) против российских ресурсов и значимых предприятий. Российские компании учатся в реальном масштабе времени искусству борьбы с угрозами в новых условиях, когда объем информации в мире увеличивается ежегодно примерно в шесть раз, а объем корпоративных данных ежегодно возрастает кратно.

С одной стороны, технологии ИИ могут использоваться в системах защиты информации для смягчения атак и нейтрализации угроз. Однако, оказавшись в руках злоумышленников, технологии ИИ станут опасным оружием и будут представлять серьезную угрозу. По данным BCG, более 90% профессионалов в области кибербезопасности в США и Японии ожидают, что злоумышленники начнут использовать ИИ для проведения атак. Такой сценарий уже стал реальностью.

Атаки на основе ИИ могут обходить традиционные системы обнаружения более чем в 15 % случаев, в то время как средняя фишинговая атака (без ИИ) может быть успешной только в 0,3 % случаев.

Атаки искусственного интеллекта гораздо хуже обычных из-за автоматизации и машинного обучения. Автоматизация преодолевает предел человеческих усилий, в то время как машинное обучение заставляет алгоритмы атак улучшаться на основе опыта и становиться более эффективными, независимо от того, была ли успешной атака.

Адаптивность означает, что атаки на основе ИИ будут становиться все сильнее и опаснее, если не будут разработаны более сильные инструменты противодействия.

При противодействии данной растущей угрозе важно отметить, что для защиты от кибератак с использованием ИИ требуется применять решения на основе ИИ.

Основным преимуществом ИИ в кибербезопасности является способность прогнозировать атаки и наращивать защиту еще до того, как данные атаки произойдут. ИИ поможет поддерживать полную видимость всей сетевой инфраструктуры организации и анализировать конечные точки для обнаружения возможных уязвимостей.

В области информационной безопасности традиционное обучение на старых данных особого смысла не имеет, в то время как в традиционных для ИИ областях (распознавание лиц и голоса, автопилоты и др.) такой алгоритм — базовая практика. Старые, уже известные атаки отражаются без всякого ИИ, на уровне сигнатур. Обучаясь на них, можно уподобиться старым генералам, которые готовятся к прошедшей войне. Опасными являются только новые атаки.
В исследовании компании Gartner содержится прогноз о том, что 60 % организаций в мире к 2025 году примут концепцию «нулевого доверия» (zero trust) в качестве отправной точки для обеспечения своей безопасности. Однако более половины этих организаций не смогут реализовать преимущества, ожидаемые от внедрения концепции нулевого доверия. Концепция «нулевого доверия» (zero trust) — это всеобъемлющий набор принципов, касающихся кибербезопасности и обеспечения доступа к информационным системам. Gartner прогнозирует, что к 2025 году злоумышленники будут активно и успешно использовать технологические среды для нанесения ущерба организациям и людям. Речь идет не только о захвате контроля над данными, а об атаках, которые имеют целью захват контроля над целыми инфраструктурами. Как пример можно привести атаку на американскую трубопроводную систему Colonial Pipeline, которая остановила работу всех трубопроводов этой нефтяной инфраструктуры и заставила президента США объявить чрезвычайное положение и для предприятий в других секторах экономики.

Изменилась парадигма архитектуры безопасности: вместо модели надежно защищенной крепости (с толстыми стенами периметра, через которые трудно перебраться) — эшелонированная защита, оперативное выявление атаки и быстрое реагирование еще до того, как нарушитель смог нанести какой-либо значимый ущерб.

Новым условиям соответствуют новые инструменты корпоративной информационной безопасности. Причем, как настоящее, так и будущее сферы информационной безопасности тесно связано с интеллектуальными ИТ-решениями. Так, на мировом рынке, по данным исследований Capgemini Research Institut за 2019 год, значительное число организаций уже использует технологии ИИ для детектирования киберугроз.

Одно из направлений риска ИБ связано с ростом крупных проектов интернета вещей, вплоть до решений умного города: уровень цифровизации и интеллекта систем такого рода зачастую повышается в ущерб защищенности. Умные устройства без специальных мер защиты становятся легкими жертвами злоумышленников.

Проблемы внедрения ИИ также связаны с распределением зон ответственности: в какой мере можно делегировать системам ИИ принятие важнейших решений, кто именно будет нести ответственность за принимаемые системой решения. Проблема может быть легко устранена, если система всегда будет работать в связке с оператором, который примет важнейшие решения. Тогда и вся ответственность за решения и использование этого инструмента ляжет на него. Необходимо аккуратно отслеживать правовые аспекты действия систем ИИ. Пока в этой части полностью доверять системам ИИ мы не можем.

Использование ИИ в ИБ обосновано прежде всего двумя факторами: необходимостью оперативного реагирования при наступлении киберинцидента и нехваткой ресурсов (например, квалифицированных специалистов) по киберзащите. Применяемые механизмы искусственного интеллекта с алгоритмами предиктивного реагирования на киберинциденты могут сами предложить подходящее действие по реагированию в зависимости от типа киберинцидента и его свойств, или в состоянии назначить оптимальную команду реагирования из коллег, обладающих наиболее релевантными знаниями. А в случае обнаружения нетипичных подозрительных событий система сама создаст соответствующий инцидент и оповестит о нем сотрудников ИБ-департамента. Другой моделью использования систем искусственного интеллекта в кибербезопасности является работа с внутренними нарушителями: зная типичное поведение пользователя, система может отправить предупреждение аналитикам ИБ в случае существенного изменения модели работы сотрудника.

При этом не следует забывать и то, что системы на базе искусственного интеллекта используют и киберпреступники: известны мошеннические приемы использования deep fake (создание реалистичного виртуального образа человека) для обмана анти-фрод систем или обхода систем биометрической аутентификации.

Инвестиции

С одной стороны, глобальный рынок искусственного интеллекта быстро развивается и обладает огромным потенциалом. Являясь самым важным в мире поставщиком инноваций и приложений в области искусственного интеллекта, Китай, например, продолжает прилагать усилия для содействия быстрому развитию индустрии искусственного интеллекта. В 2018 году масштаб китайской индустрии искусственного интеллекта составил около 34,4 млрд юаней (4,9 млрд $), а финансирование в области искусственного интеллекта достигло 79,69 млрд юаней (11,4 млрд $). По состоянию на сентябрь 2019 года общее число компаний, связанных с искусственным интеллектом, в Китае превысило 2500. Большинство из них занимаются компьютерным зрением, распознаванием речи, обработкой языковых технологий и другими смежными видами бизнеса. В Плане Развития Искусственного Интеллекта КНР нового поколения предполагается, что к 2030 году масштаб основных инвестиций в отрасли искусственного интеллекта превысит 1 трлн юаней (140 млрд $), а объем смежных отраслей превысит 10 трлн юаней (1,4 трлн $).

С другой стороны, общий уровень развития искусственного интеллекта остается на начальной стадии. Во-первых, многое еще предстоит сделать в области исследований и применения искусственного интеллекта. Несмотря на прорывы в области специализированного ИИ, специализированный интеллект, как правило, является слабым ИИ, то есть ему не хватает автономии, и он не может по-настоящему реализовать концептуальную абстракцию, принятие решений на основе выводов или решение проблем.

Однако ИИ уже способен решать узкоспециализированные задачи в области защиты от атак на информационные системы или задачи по поиску уязвимостей (взлому) информационных систем.

ИИ, основанный на глубоком обучении, вполне подходит для обработки статических, однодоменных и однозадачных прикладных сценариев с «обогащенными данными» и детерминированной информацией.

Методы атак

Первый метод — это атака с использованием состязательного примера, которая относится к добавлению тонких, обычно неузнаваемых помех к входным данным, в результате чего модель выдает неправильные выходные данные с высокой степенью достоверности. Исследования показали, что системы глубокого обучения восприимчивы к хорошо продуманным состязательным примерам, которые могут привести к ошибочным или пропущенным суждениям. Примерные атаки могут также исходить из физического мира, атакуя автономное вождение через тщательно сконструированные дорожные знаки. Например, исследования показывает, что слегка измененный физический знак парковки может привести к тому, что система обнаружения цели в реальном времени ошибочно примет его за знак ограничения скорости, что может привести к дорожно-транспортным происшествиям.

Злоумышленники используют тщательно сконструированные примеры состязательности, а также могут инициировать поддельные атаки, такие как имитационные атаки и атаки уклонения. В настоящее время они в основном появляются в системах распознавания изображений и системах распознавания речи, основанных на машинном обучении. Атаки уклонения — это ранние формы атак на машинное обучение, такие как системы обнаружения нежелательной почты и системы обнаружения вредоносных программ в файлах. Генерируя несколько примеров состязательности, которые могут успешно избежать обнаружения системой безопасности, достигается вредоносная атака на систему.

Второй метод — это отравление данных, который добавляет к обучающим данным тщательно сконструированные аномальные данные, разрушая распределение вероятностей исходных обучающих данных и заставляя модель при определенных условиях выдавать ошибки классификации или кластеризации. Поскольку атаки с отравлением данных требуют от злоумышленников доступа к обучающим данным, этот тип атаки обычно более эффективен для сценариев онлайн-обучения (то есть модель использует онлайн-данные для непрерывного изучения и обновления модели) или систем, которые необходимо периодически переобучать для обновления модели. Типичные сценарии включают рекомендательные системы, адаптивные биометрические системы и системы обнаружения нежелательной почты. Правильная фильтрация обучающих данных может помочь обнаруживать и фильтровать ненормальные данные, тем самым сводя к минимуму возможные атаки, связанные с отравлением данных.

Третий метод — кража модели, которая либо отправляет большое количество запросов на прогнозирование целевой модели и использует полученные ответы для обучения другой модели с той же или аналогичной функцией, либо использует технологию обратной атаки для получения параметров модели и обучающих данных. Для моделей, развернутых в облаке, злоумышленники обычно используют определенные интерфейсы прикладного программирования (API), предоставляемые системой машинного обучения, для получения предварительной информации о модели системы, а затем используют предварительную информацию для обратного анализа модели для получения обучающих данных внутри модели и данных, полученных во время выполнения. Для моделей, развернутых в частном порядке на мобильных устройствах пользователей или серверах в центрах обработки данных, злоумышленники могут использовать традиционные методы, такие как обратный инжиниринг, для непосредственного восстановления файлов моделей.

Четвертый метод — это атаки на системы искусственного интеллекта. Типичными атаками на системы машинного обучения являются атаки, которые влияют на конфиденциальность данных и целостность данных и вычислений, а также другие формы атак, которые приводят к отказу в обслуживании (DoS), раскрытию информации или неверным вычислениям. Например, атака с захватом потока управления на систему машинного обучения может нарушить или обойти вывод модели машинного обучения или привести к недопустимому обучению. Сложные модели устройств (такие как аппаратные ускорители), используемые системами машинного обучения, в основном паравиртуализированы или смоделированы и могут быть подвержены таким атакам, как подмена устройств, переназначение памяти во время выполнения и атаки на устройства типа man-in-the-middle.

Воздействие атаки

Глубокое обучение подвержено отравлению данными, атакам уклонения, имитационным атакам, краже моделей и атакам с использованием состязательных примеров.

Во-первых, модель может быть атакована во время обучения, тестирования и вывода. Атаки с отравлением данных в основном нацелены на процесс обучения, в то время как атаки с использованием состязательных примеров могут быть нацелены на процессы обучения, тестирования и вывода. Атаки на кражу моделей нацелены на процесс вывода. Атаки уклонения и имитационные атаки нацелены на процесс тестирования и вывода.

Во-вторых, атаки ставят под угрозу конфиденциальность, целостность и доступность данных и моделей. Вышеуказанные атаки обычно приводят к таким последствиям, как ошибки при принятии модельных решений и утечка данных. Атаки с отравлением данных уничтожают обучающие наборы данных, в основном влияя на целостность данных и доступность модели.
Атаки на кражу моделей в основном затрагивают конфиденциальность данных, конфиденциальность модели и приватность. Состязательные примеры, атаки уклонения и имитационные атаки не разрушают обучающие наборы данных, а в основном влияют на целостность модели и удобство использования.

Скрытые опасности искусственного интеллекта (коротко)

Как правило, активы искусственного интеллекта в основном состоят из данных, моделей алгоритмов, инфраструктуры, продуктовых сервисов и отраслевых приложений. Обученную модель можно понимать, как функцию y=f(x). Модель глубокого обучения обычно включает в себя две части. Одна из них представляет собой описание структуры сети или определение структуры сети, а другая — конкретное значение параметра каждого уровня сети.

Модель алгоритма является ядром системы искусственного интеллекта, и риски безопасности в модели алгоритма могут привести к фатальным последствиям для системы искусственного интеллекта.

Модели алгоритмов могут иметь скрытые дефекты в таких аспектах, как надежный баланс и зависимость от данных.

Во-первых, трудно сбалансировать точность с надежностью модели. Модели алгоритмов искусственного интеллекта обычно основаны на построении вероятностных и статистических моделей, и существует компромисс между точностью и надежностью.

Во-вторых, наборы данных оказывают большое влияние на точность модели. Количество и качество наборов данных является одними из ключевых факторов, определяющих качество модели. Применение некачественной модели может привести к непредвиденным ситуациям, и данные обучения не могут охватывать непредвиденные ситуации, так что результаты могут не соответствовать ожиданиям или даже быть вредны. Например, обычные изменения окружающей среды также могут приводить к появлению «шума» в наборе данных, что угрожает надежности модели. Так, изменения интенсивности освещенности, угла и контраста могут оказывать непредсказуемое влияние на предсказания визуальной модели.

В-третьих, необходимо решать проблемы надежности. Сценарии приложений с высокой производительностью в реальном времени (например, автономное вождение) требуют, чтобы модель алгоритма была доступна в любое время. Если данные подвергаются направленным помехам перед входом в основной модуль искусственного интеллекта, это может привести к немедленному ошибочному суждению.

Алгоритмы могут иметь скрытые ошибочные предположения — «предубеждения» или «предрассудки», приводящие к предвзятым результатам.

Предвзятость и дискриминация относятся к случаям, когда проектировщик или разработчик алгоритма имеет определенную субъективную предвзятую оценку в своем восприятии. Например, когда данные отбираются субъективно, а не объективно, или, когда выбираются неслучайные данные, произойдет смещение выбора. Если в алгоритме уже существует предвзятость, она может быть дополнительно усилена в алгоритме после глубокого обучения.
Существуют проблемы с объяснимостью и прозрачностью результатов при принятии решений алгоритмом искусственного интеллекта, характеризующегося функцией «черного ящика». Глубокое обучение достигло значительного прогресса во многих сложных задачах, но разработчикам трудно описать сложные нейронные сети интерпретируемым образом, что приводит к созданию настоящего «черного ящика».

Приложения ИИ построены на данных, моделях алгоритмов и инфраструктуре, поэтому скрытые опасности, связанные с моделями алгоритмов, безопасностью данных, защитой конфиденциальности и инфраструктурой, будут сохраняться. Исходя из этого, приложения ИИ имеют большую поверхность атаки, а риски защиты конфиденциальности становятся более заметными.

Например, автономное вождение и ИТС в целом теперь сталкиваются с гораздо большими рисками из-за добавления функций управления соединениями и появления новых интерфейсов между ИТ-серверными системами и другими внешними источниками информации, а также с учетом рисков уязвимости физических интерфейсов отладки, внутренних микропроцессоров и терминалов, операционных систем и коммуникационных серверных систем.

Атрибуты безопасности ИИ

Безопасность ИИ, является частью информационной безопасности, и в соответствии с этим безопасность ИИ определяется соответствующими нормативно-правовыми актами в области информационной безопасности.

Безопасность ИИ в первую очередь, должна обеспечиваться принятием необходимых мер в соответствии с существующей нормативно-правовой базой для предотвращения атак, вторжений, помех, уничтожения и незаконного использования систем ИИ и иных инцидентов для сохранения систем искусственного интеллекта в стабильном и надежном рабочем состоянии и подчиняться принципам безопасности искусственного интеллекта, ориентируясь на людей с паритетом полномочий и ответственности, чтобы гарантировать целостность, конфиденциальность, доступность, надежность, прозрачность, честность и конфиденциальность моделей алгоритмов искусственного интеллекта, данных, систем и приложений.

Расширенное понимание атрибутов безопасности можно трактовать так.

— Конфиденциальность модели гарантирует, что модели алгоритмов и данные в системе искусственного интеллекта не будут переданы посторонним лицам на любом этапе жизненного цикла (например, при получении, обучении или выводе), например, для предотвращения атак на кражу моделей.

— Целостность гарантирует, что системы искусственного интеллекта не будут имплантированы, подделаны, заменены или подделаны на любой части жизненного цикла (например, сбор, обучение или вывод), моделей алгоритмов, данных, инфраструктуры и приложений продукта, таких как защита от атак выборки и атак отравления данными.

— Доступность гарантирует, что использование моделей алгоритмов искусственного интеллекта, данных, инфраструктуры и приложений продуктов не будет необоснованно отклонено. Доступность включает в себя возможность восстановления, то есть способность системы быстро восстанавливать свое рабочее состояние после инцидента.

— Управляемость относится к способности контролировать активы ИИ, чтобы предотвратить преднамеренное или непреднамеренное злоупотребление ИИ. Управляемость включает в себя проверяемость и предсказуемость. Проверяемость означает, что системы искусственного интеллекта должны вести учет и иметь возможность тестировать и проверять эффективность алгоритмов, моделей или систем.

— Надежность относится к надежности искусственного интеллекта перед лицом аномальных помех или входных данных. Для систем искусственного интеллекта надежность в основном используется для описания способности систем искусственного интеллекта поддерживать свой уровень производительности в таких условиях, как внешнее вмешательство или суровые условия окружающей среды. Надежность требует, чтобы системы искусственного интеллекта принимали надежные превентивные меры для предотвращения рисков, то есть для сведения к минимуму непреднамеренных и случайных повреждений и предотвращения неприемлемых повреждений.

— Прозрачность обеспечивает видимость функций, компонентов и процессов системы искусственного интеллекта. Прозрачность не обязательно требует раскрытия исходного кода или данных алгоритма искусственного интеллекта, но в зависимости от различных уровней безопасности приложений искусственного интеллекта прозрачность может иметь разные уровни реализации и производительности. Прозрачность обычно включает в себя объяснимость и прослеживаемость, так что пользователи могут понять процесс принятия решений и причинно-следственную связь искусственного интеллекта. Объяснимость относится к отображению отношений между пространством признаков и семантическим пространством алгоритма в сценарии искусственного интеллекта, что позволяет алгоритму понимать машину с точки зрения человека.

— Справедливость относится к созданию различных проектных групп в процессе разработки систем ИИ, принятию различных мер для обеспечения того, чтобы данные были действительно репрезентативными и представляли разнообразную группу людей, чтобы избежать предвзятых или дискриминационных результатов, возникающих в результате использования ИИ.

— Конфиденциальность означает, что личная информация граждан защищена в соответствии с принципами защиты личной информации, такими как четкая цель, выбор согласия, минимальное использование, открытость и прозрачность, а также участие субъекта.

Развитие стандартов в области ИИ

В настоящий момент большинство стандартов в различных странах находятся в процессе рассмотрения или разработки.

Стандарты безопасности и этики ИИ включают стандарты безопасности, относящиеся к самому ИИ и его платформам, технологиям, продуктам и приложениям, а также спецификации, связанные с этикой и защитой конфиденциальности. В настоящее время стандарты безопасности и этики искусственного интеллекта — это в основном стандарты безопасности для некоторых приложений в таких областях, как распознавание биометрических характеристик и автоматическое вождение, а также вспомогательные типы стандартов безопасности, такие как безопасность больших данных, защита конфиденциальности и прочих.

Структура системы стандартов в области искусственного интеллекта предполагает и (в зависимости от страны, разрабатывающей стандарты) включает в себя пять групп стандартов: основные или фундаментальные; платформы/поддержка; ключевые технологии; продукты и сервисы; приложения.

Отдельной шестой группой стандартов рассматривается безопасность. Она включает в себя основные стандарты по безопасности и этике ИИ.

Причем первые 5 групп разделены еще примерно на 30 подгрупп стандартов, а далее еще примерно на такое же количество направлений. В целом, ожидается около 200 стандартов в области ИИ.

В качестве примера можно привести структуру организации в области стандартизации ИИ в «белой книге», описывающей подход Китая к установлению стандартов для искусственного интеллекта, которая была опубликована Китайским институтом стандартизации электроники (CESI), и 2-м промышленным отделом Администрация по стандартизации Китая (SAC), являющимся «руководящим подразделением» данной публикации.

Что касается исследований стандартов безопасности ИИ, то, с одной стороны, необходимо усилить исследования основополагающих стандартов для ИИ, уделяя особое внимание проведению исследований стандартов эталонной архитектуры безопасности ИИ, рисков безопасности, этического дизайна, оценки безопасности и т.д., определять требования безопасности и методологии для алгоритмов ИИ, продуктов и систем. С другой стороны, необходимо разрабатывать стандартизацию в прикладных областях, улучшать требования к интеллектуальной безопасности стандартов и продолжать проводить исследования в таких областях безопасности, как безопасность приложений искусственного интеллекта в области кибербезопасности и интеллектуальная безопасность роботизированных систем, безопасность автоматического вождения, безопасность ИТС, интеллектуальная безопасность умного города.
Например, в области умных городов основное внимание уделяется проведению исследований стандартов в области общественной безопасности, систем управления безопасностью, защиты данных, мониторинга безопасности и предупреждения и т.д.

В области умной логистики основное внимание может быть уделено проведению исследований стандартов в области интеллектуальных складских систем с глубинным зондированием данных, системы сертификации качества продукции и её отслеживаемости, системы управления безопасностью данных и оценки интеллектуальных систем распределения и планирования.

Высокоавтоматизированные транспортные средства (ВАТС) являются основным компонентом, взаимодействующим с ИТС. С развитием ИТС они могут создавать риски транспортной безопасности. Сталкиваясь со все более серьезными проблемами безопасности, потребуется создание динамической системы защиты ИТС с помощью «мозга безопасности», основанного на анализе искусственного интеллекта, который всесторонне гарантирует безопасность дорожного движения. Общая структура такой системы «умного» управления безопасностью ТС может включать в себя механизм анализа безопасности телематики и телематическую безопасную сервисную операционную платформу. В то же время, благодаря службам защиты и ресурсов безопасности, «умная безопасность» может обеспечивать поддержку безопасных операций, таких как предупреждения об опасности, аналитические решения и управление системой.

Механизм анализа безопасности (Security analysis engine)

После стандартизации данных о транспортном средстве блок с механизмом анализа безопасности заполняет профиль безопасности транспортного средства, выполняет сравнение портрета безопасности с профилем, проводит анализ поведения и стратегическое управление транспортным средством.

Ресурсы безопасности (Security resources)

Этот блок содержит базовые ресурсы безопасности, такие как сертификаты паролей и защищенное хранилище, поддерживает алгоритмы и другие формы передачи алгоритмов защищенной информации, а также предоставляет такие ресурсы, как мониторинг уязвимостей и анализ угроз.

Средства защиты безопасности (Security protections)

Этот блок включает в себя защиту мультимедийных систем автомобиля, защиту терминала (оконечного устройства) сети автомобиля, защиту телематических связей и защиту телематических приложений. Исправления безопасности выпускаются оперативно, чтобы заранее защитить другие транспортные средства и обеспечить общую безопасность интеллектуального транспорта.

Платформа обслуживания операций (Operations service platform)

Целевые услуги предоставляются на основе сценариев, таких как пассажирские транспортные средства, специальные транспортные средства, коммерческие транспортные средства и транспортные средства общего пользования, с акцентом на интеллектуальную транспортную безопасность в различных сценариях. За счет интеграции ресурсов и оптимизации алгоритмов искусственного интеллекта предоставляются такие функции, как управление уязвимостями, синхронизация данных безопасности и управление политикой безопасности для расширения возможностей операций по обеспечению безопасности интеллектуального транспорта.

Основные возможности «умной безопасности» (intelligent vehicle security brain) включают защиту, мониторинг, обновления и сервисы.

Интеллектуальный «мозг» безопасности транспортного средства включает в себя три аспекта: уровень унифицированного доступа к данным, уровень защищенной платформы для обработки данных и прикладной уровень анализа безопасности.

Унифицированный уровень доступа к данным (Uniform data access layer)

Этот уровень обеспечивает доступ к данным телематической безопасности автомобиля и данным партнеров через набор стандартных интерфейсов доступа к этим данным и пересылает данные безопасности на уровень вычислительной платформы (security data) для обеспечения эффективного канала передачи данных в режиме реального времени с платформой автопроизводителя и удовлетворения требований по доступу к данным подключенных транспортных средств разных автопроизводителей, разных моделей и разных регионов.

Уровень платформы для обработки данных безопасности

Центр хранения данных телематической безопасности и вычислительный центр могут вычислять и анализировать огромные объемы телематических данных. Что касается возможностей обработки данных, с одной стороны, крупномасштабные кластеры, например, такие как Hadoop и Spark, обеспечивают вычислительную мощность, а с другой стороны, создавая кластеры графических процессоров, они поддерживают анализ и интеллектуальный анализ портретов транспортных средств и данных о поведении транспортных средств на основе технологии искусственного интеллекта.

Прикладной уровень анализа безопасности (Security analysis application layer)

Портреты безопасности и анализ поведения транспортных средств выполняются путем анализа данных о поведении транспортного средства, обеспечивая интеллектуальную поддержку защиты от угроз для обеспечения безопасных операций. В данном случае ИИ в первую очередь используется для создания механизмов анализа инцидентов информационной безопасности транспортных средств, а также отслеживания и реагирования на дорожную ситуацию. Эта технология может обеспечить осведомленность об информационной безопасности транспортного средства, раннее предупреждение, динамическую защиту и обновление стратегии безопасности. Кроме того, на прикладном уровне может быть создана база данных об уязвимостях информационной безопасности транспортного средства посредством непрерывного мониторинга для обнаружения сетевых уязвимостей в системе безопасности транспортного средства и мониторинга возможного перехвата или взлома систем транспортного средства.

Заключение

Ключевым ответом на происходящие системные изменения в транспортной отрасли является применение новых, прежде всего сквозных, технологий, в том числе искусственного интеллекта. Это позволит существенно увеличить скорость адаптации к глобальным трендам, повысить энергетическую эффективность, справиться с возникающим дефицитом ресурсов, что в свою очередь создает возможность развивать сквозные проекты, производить инновационную продукцию и осуществлять услуги на их основе.

Применение ИИ в транспорте возможно только на основе формирующихся отраслевых центров компетенций с привлечением экспертов транспортной отрасли, занимающихся выработкой политики и концепций в разделе отраслевого применения при тесном межведомственном взаимодействии в рамках сквозных технологий с учетом общих закономерностей развития и не может быть реализовано в отрыве от общих аспектов применения ИИ таких как:
— развитие технологий и новых перспективных направлений развития ИИ и технических аспектов таких как, архитектура систем, нейроморфные системы, элементная база и её доступность, энергопотребление, возможность автономной работы отдельных элементов, надёжность и прочее;
— безопасность информационных систем, использующих ИИ и их архитектура, безопасность самого ИИ в применении как к транспортной безопасности, так и к информационной. Технологии доверенного взаимодействия;
— развитие нормативно-правовой базы и гармонизация законодательства в области транспортной и информационной безопасности. Развитие стандартизации в области ИИ и совместимость с международными стандартами для обеспечения интероперабельности в международных проектах и при мультимодальных перевозках при тесном межведомственном взаимодействии.

• Колодка Алексей Александрович, коммерческий директор ФГУП «ЗащитаИнфоТранс»;

• Метелкин Петр Валерьевич, директор Центра стратегического анализа ФГУП «ЗащитаИнфоТранс»;

• Леоненко В.В., главный специалист отдела аналитического сопровождения проектной деятельности ФГУП «ЗащитаИнфоТранс»

Возврат к списку