Инструменты методики АЦТ, часть 48: цифровая криминалистика (Digital Forensics), этический ИИ в управлении рисками (Ethical AI in Risk Management), квантовая безопасность (Quantum Security) и ИИ в кибербезопасности (AI in Cybersecurity)

Это сорок восьмая статья цикла по инструментам методики «Аккордная цифровая трансформация». Завершаем подгруппу I4 «Аналитика и расследования» инструментом I4-02 и группу I «Кибербезопасность и управление рисками» подгруппой I5 «Инновационные технологии» — инструменты I4-02, I5-01, I5-02 и I5-03.

Четыре инструмента этой статьи завершают группу I и обращаются к задачам, для которых готовых правил защиты недостаточно. Цифровая криминалистика (I4-02) вступает в дело после того, как атака уже состоялась, и восстанавливает ее ход по цифровым следам. Этический ИИ в управлении рисками (I5-01) переносит объект защиты с внешнего злоумышленника на сам инструмент защиты: угрозу способна создать предвзятость собственной системы искусственного интеллекта предприятия. Квантовая безопасность (I5-02) — самостоятельный инструмент, отличный от постквантовой криптографии из статьи о продвинутых инструментах защиты (I2-03): там речь шла об устойчивых к квантовым атакам классических алгоритмах, здесь защита строится на самой квантовой физике. ИИ в кибербезопасности (I5-03) меняет роль искусственного интеллекта на противоположную: там, где предыдущий инструмент разбирает риски самого ИИ, здесь ИИ становится средством защиты. Трудоемкость составляет 48 часов у цифровой криминалистики, 52 часа у этического ИИ в управлении рисками, 54 часа у квантовой безопасности и 62 часа у ИИ в кибербезопасности. Цифровая криминалистика отнесена методикой к сложным инструментам, три остальных — к очень сложным. В сумме 216 часов — больше, чем в любой из предыдущих статей группы I.

I4-02 — Цифровая криминалистика (Digital Forensics)

Откуда появился инструмент. По мере распространения персональных компьютеров в конце 1970-х и начале 1980-х годов преступления стали оставлять цифровые следы наравне с физическими. В 1984 году Федеральное бюро расследований США организовало программу анализа магнитных носителей, которая в 1992 году получила официальный статус группы анализа и реагирования на компьютерные инциденты (CART). Термин «компьютерная криминалистика» уступил место более широкому «цифровая криминалистика» в начале 2000-х годов, когда на первом семинаре по исследованиям в этой области (DFRWS) в 2001 году поставили задачу сформулировать единую методологию работы с цифровыми уликами вне зависимости от типа носителя. Позже охват расширился на мобильные устройства, съемные носители и облачные хранилища.

Суть и механика. Цифровая криминалистика — методика исследования электронных данных для обнаружения и анализа цифровых доказательств. Ее задача — сохранить целостность данных при восстановлении картины произошедшего события. Методика проходит через шесть этапов: идентификацию источников данных, сохранение их целостности, сбор данных для анализа, анализ данных, документирование результатов и презентацию доказательств для суда или внутреннего расследования. Каждый этап фиксируется отдельно, поскольку нарушение порядка на любом из них ставит под сомнение допустимость всей цепочки доказательств.

Насколько метаданные, оставленные без внимания их автором, способны раскрыть личность, показывает расследование, которое американская полиция вела более тридцати лет.

Пример. В феврале 2005 года на телевизионную станцию KSAS в Уичито, штат Канзас, поступила дискета от анонимного отправителя, называвшего себя BTK — аббревиатурой от «bind, torture, kill» (связывать, пытать, убивать). Его искали с 1974 года: за это время он убил десять человек. Специалисты по цифровой криминалистике обнаружили на дискете удаленный, но восстановимый файл Microsoft Word — повестку заседания приходского совета. Метаданные файла указывали, что последним его сохранил пользователь по имени Деннис, а зарегистрированной организацией значилась церковь Christ Lutheran Church. Поиск привел к председателю совета этого прихода — Деннису Рейдеру, штатному инспектору по соблюдению муниципальных норм в пригороде Уичито. Спустя девять дней после получения дискеты, 25 февраля 2005 года, Рейдера арестовали; он признал вину по всем десяти эпизодам убийств.

Дело BTK стало учебным примером цифровой криминалистики: решающей уликой оказались метаданные, о существовании которых сам автор файла не подозревал.

Границы применимости. Инструмент применяется после наступления инцидента и восстанавливает уже состоявшуюся атаку для юридических, страховых или внутренних целей; заблаговременное обнаружение угрозы обеспечивают другие инструменты группы. По методике это сложный инструмент. Первое ограничение — время: чем позже начат сбор данных после инцидента, тем выше вероятность, что улики перезаписаны или удалены в ходе обычной работы систем. Второе — юридическая допустимость: нарушение порядка сбора или хранения данных на любом этапе способно сделать всю доказательную базу неприемлемой в суде. Третье — объем данных: современные системы производят такой поток информации, что ручной анализ без специализированных инструментов занимает недели там, где счет должен идти на часы. Цифровая криминалистика логически продолжает активный поиск угроз (I4-01): тот нацелен на обнаружение атаки до нанесения ущерба, тогда как криминалистика начинается уже после того, как ущерб нанесен. Инструмент также опирается на управление информационной безопасностью (I1-04) как источник журналов и политик хранения данных, необходимых для расследования.

Чек-лист перед внедрением цифровой криминалистики:

Определен порядок сохранения журналов и снимков систем сразу после обнаружения инцидента, до начала восстановительных работ.
Назначены сотрудники или внешние эксперты, обладающие подготовкой для сбора цифровых доказательств без нарушения их целостности.
Установлен протокол цепочки хранения доказательств с фиксацией каждого, кто имел доступ к данным.
Определены категории систем и устройств, подлежащих обязательному сохранению данных при инциденте.
Согласован порядок взаимодействия с юридическим отделом и, при необходимости, с правоохранительными органами.
Проведено тестовое учение по сбору доказательств на модельном инциденте для проверки процедуры на практике.

Типовые ошибки:

Промедление со сбором данных. Восстановительные работы после инцидента начинаются раньше, чем зафиксированы цифровые следы, и часть улик оказывается перезаписана. → Останавливать восстановление систем до завершения первичного сбора данных.
Нарушение цепочки хранения доказательств. Данные передаются между сотрудниками без документирования, кто и когда имел к ним доступ. → Фиксировать каждое перемещение доказательств письменно, с указанием времени и ответственного лица.
Отсутствие подготовленного персонала. Сбор данных поручается системным администраторам без специальной подготовки в области криминалистики. → Обучать выделенных сотрудников или заключать соглашение с внешней экспертной организацией заранее, до инцидента.
Игнорирование метаданных. Анализ ограничивается видимым содержимым файлов без проверки данных о времени создания, авторстве и истории изменений. → Включать анализ метаданных в стандартную процедуру расследования как обязательный этап.

I5-01 — Этический ИИ в управлении рисками (Ethical AI in Risk Management)

Откуда появился инструмент. Обсуждение этики искусственного интеллекта как отдельной дисциплины управления рисками оформилось в середине 2010-х годов, когда системы машинного обучения перешли из исследовательских лабораторий в массовое применение при найме, кредитовании и правоохранительной практике. В январе 2017 года институт Future of Life собрал в калифорнийском Асиломаре исследователей искусственного интеллекта и специалистов по экономике, праву и философии, которые сформулировали двадцать три принципа разработки ИИ, включая требования справедливости и подотчетности. В 2019 году Институт инженеров электротехники и электроники (IEEE) издал документ «Этично ориентированное проектирование», а экспертная группа при Европейской комиссии опубликовала руководство по доверенному искусственному интеллекту. Эти документы заложили терминологическую основу, которой предприятия начали руководствоваться при оценке собственных систем ИИ.

Суть и механика. Этический ИИ в управлении рисками — подход к ответственному проектированию и внедрению систем искусственного интеллекта, при котором приоритетны справедливость, прозрачность и подотчетность. Цель — минимизировать риски, связанные с использованием ИИ, и предотвратить негативные последствия для людей, затронутых его решениями. В основе методики четыре принципа: справедливость и недискриминация, то есть отсутствие алгоритмической предвзятости; прозрачность и объяснимость принимаемых решений; подотчетность за действия системы и ее результаты; защита конфиденциальности данных, на которых система обучена.

Ущерб от игнорирования первого из этих принципов виден на истории кадрового инструмента, который одна из крупнейших технологических компаний мира разрабатывала четыре года, прежде чем отказаться от него.

Пример. С 2014 года компания Amazon разрабатывала внутренний инструмент, который оценивал резюме кандидатов по шкале от одной до пяти звезд, обучаясь на резюме, поданных в компанию за предыдущие десять лет. Поскольку большинство этих резюме принадлежало мужчинам, система стала расценивать мужской пол как признак подходящего кандидата. К 2015 году специалисты Amazon обнаружили, что инструмент понижает оценку резюме со словом «женский» (например, «капитан женского шахматного клуба») и занижает оценку выпускниц женских колледжей. Как сообщило агентство Reuters со ссылкой на журналиста Джеффри Дастина, инженеры пытались обезличить эти конкретные признаки, но компания не могла гарантировать, что система не найдет для дискриминации другие, менее очевидные корреляции в данных. В 2017 году проект закрыли.

Инструмент никогда не получал явного указания предпочитать мужчин: предвзятость возникла из данных, на которых он обучался, что делает ее сложнее обнаружить, чем прямое нарушение правила.

Границы применимости. Инструмент применим на любом предприятии, использующем системы искусственного интеллекта для решений, затрагивающих людей: найм, кредитование, ценообразование, распределение ресурсов. По методике это очень сложный инструмент. Первое ограничение — источник предвзятости: она заложена в исторических данных, на которых обучена система, и потому не поддается устранению точечными правками отдельных признаков. Второе — измеримость: справедливость решения сложно оценить без согласованных заранее метрик, и разные определения справедливости способны противоречить друг другу для одной и той же системы. Третье — объяснимость сложных моделей: чем сложнее архитектура системы, тем труднее объяснить конкретное ее решение конкретному человеку, которого оно затронуло. Этичный ИИ в управлении рисками опирается на этичное управление данными клиентов (D4-01) в части происхождения обучающих данных и связан с генеративным ИИ и ИИ-агентами (G2-03, G2-04) как с технологиями, к которым принцип применяется в первую очередь.

Чек-лист перед внедрением этического ИИ в управлении рисками:

Определены категории решений, где применение системы искусственного интеллекта способно затронуть права или интересы людей.
Проведен анализ состава и происхождения обучающих данных на предмет исторических перекосов.
Установлены метрики справедливости, согласованные заранее и применимые к конкретной системе.
Назначен ответственный за объяснение решений системы людям, которых эти решения затрагивают.
Предусмотрен регулярный аудит работающей системы на предмет новых форм предвзятости.
Определен порядок действий при обнаружении дискриминационного эффекта, включая возможность отключения системы.

Типовые ошибки:

Точечное устранение выявленной предвзятости. Из системы убирают конкретный признак дискриминации, не проверяя, не нашла ли она для той же цели другой, менее очевидный признак. → Проверять систему на новые формы предвзятости после каждого точечного исправления.
Оценка только на этапе разработки. Систему проверяют на предвзятость перед запуском, но не отслеживают ее поведение по мере поступления новых данных. → Внедрять регулярный аудит работающей системы на протяжении всего срока эксплуатации.
Отсутствие ответственного за объяснение решений. В организации некому объяснить человеку, затронутому решением системы, почему оно принято именно так. → Назначать конкретного сотрудника, отвечающего за интерпретацию решений системы перед людьми.
Смешение метрик справедливости. Разные подразделения применяют разные, противоречащие друг другу определения справедливости к одной системе. → Согласовывать единые метрики справедливости на уровне организации до внедрения системы.

I5-02 — Квантовая безопасность (Quantum Security)

Откуда появился инструмент. В 1984 году физик Чарльз Беннетт из компании IBM и информатик Жиль Брассар из Университета Монреаля предложили протокол распределения криптографических ключей, защищенность которого опирается на законы квантовой физики. Любая попытка перехватить фотон, которым передан ключ, неизбежно меняет его состояние и выдает присутствие перехватчика. Протокол, получивший название BB84 по инициалам авторов и году публикации, развивал более раннюю, неопубликованную идею физика Стивена Визнера о «квантовых деньгах», защищенных тем же принципом от подделки. Экспериментальное подтверждение протокола на расстоянии в несколько десятков сантиметров исследователи получили в 1992 году. Практическое развитие идеи заняло следующие два десятилетия и вышло за пределы лаборатории с запуском первого в мире спутника квантовой связи.

Суть и механика. Квантовая безопасность — методика защиты цифровой информации и конфиденциальных данных от потенциальной уязвимости с использованием принципов квантовой механики для создания методов шифрования, устойчивых к перехвату. В отличие от постквантовой криптографии (I2-03), которая заменяет уязвимые для квантовых компьютеров классические алгоритмы на новые, устойчивые к таким атакам, квантовая безопасность применяет саму квантовую физику как средство защиты передачи данных. Ключевое свойство — обнаружение перехвата: любое измерение квантового состояния фотона в процессе передачи оставляет статистически заметный след, который отправитель и получатель способны обнаружить, сравнив часть переданных данных по открытому каналу.

Насколько далеко эта технология ушла от лабораторного протокола, демонстрирует эксперимент, объединивший спутник и две наземные станции на разных континентах.

Пример. 29 сентября 2017 года китайский спутник «Мо-цзы» (Micius), запущенный годом ранее, передал ключи квантового шифрования на наземную станцию Синлун под Пекином и, во время следующего пролета, на станцию под Грацем в Австрии. Команда под руководством физика Пань Цзяньвэя из Китайского университета науки и технологий использовала эти ключи для первого в истории межконтинентального видеозвонка, защищенного квантовым шифрованием. Разговор между президентами Китайской и Австрийской академий наук длился семьдесят пять минут на расстоянии свыше семи тысяч километров. Сам видеопоток передавался обычными каналами связи и обычным шифрованием: спутник обеспечил только генерацию и распределение ключей, перехват которых был бы обнаружен по нарушению квантового состояния фотонов.

Уязвимым звеном этой схемы остается сам спутник: он единственный располагает обоими ключами одновременно, и потому доверие к оператору спутника становится частью общей модели безопасности наравне с самой физикой передачи.

Границы применимости. Инструмент применим на предприятиях, для которых защита данных при передаче на большие расстояния имеет критическое значение: телекоммуникации, оборонная промышленность, финансовые расчеты между удаленными площадками. По методике это очень сложный инструмент. Первое ограничение — инфраструктура: квантовое распределение ключей требует выделенных оптоволоконных линий или спутниковых каналов, не совместимых с обычной сетевой инфраструктурой без существенной модернизации. Второе — дальность: фотоны рассеиваются в оптоволокне, и без ретрансляционных узлов практическая дальность наземных линий ограничена десятками, редко сотнями километров. Третье — стоимость: коммерческие системы квантового распределения ключей на порядок дороже классических решений шифрования сопоставимой пропускной способности. Квантовая безопасность дополняет постквантовую криптографию (I2-03): первая защищает данные в процессе передачи по выделенному каналу, вторая — данные, зашифрованные для хранения или передачи по обычным сетям.

Чек-лист перед внедрением квантовой безопасности:

Определены каналы передачи данных, для которых риск перехвата оправдывает затраты на выделенную квантовую инфраструктуру.
Оценена практическая дальность передачи с учетом типа канала — оптоволоконного или спутникового.
Просчитана совокупная стоимость внедрения в сравнении с постквантовой криптографией для тех же данных.
Определен порядок доверия к оператору ретранслирующего узла или спутника, через который распределяются ключи.
Проведена оценка совместимости квантового канала с существующей сетевой инфраструктурой предприятия.
Согласован план поэтапного внедрения, начиная с каналов передачи наиболее чувствительных данных.

Типовые ошибки:

Смешение квантовой безопасности с постквантовой криптографией. Проект закупает квантовое оборудование там, где задачу решает обновление классических алгоритмов шифрования. → Разграничивать задачи заранее: хранимые данные защищает постквантовая криптография, канал передачи — квантовое распределение ключей.
Недооценка ограничений по дальности. Проект планируется без учета затухания сигнала в оптоволокне на больших расстояниях. → Закладывать ретрансляционные узлы или спутниковый канал в проект уже на этапе планирования дальних линий.
Игнорирование доверия к ретранслирующим узлам. Ключи распределяются через промежуточные узлы без анализа того, кто их контролирует. → Включать оценку доверия к оператору каждого ретранслирующего узла в модель угроз проекта.
Внедрение без анализа окупаемости. Дорогая квантовая инфраструктура разворачивается для данных, чувствительность которых не оправдывает затрат. → Ограничивать применение каналами, где чувствительность данных подтверждена отдельной оценкой.

I5-03 — ИИ в кибербезопасности (AI in Cybersecurity)

Откуда появился инструмент. Идея обнаруживать атаки по отклонению от нормального поведения системы восходит к 1986 году, когда исследователь Дороти Деннинг, работавшая в SRI International по контракту с Военно-морскими силами США, представила на конференции по безопасности и конфиденциальности в Окленде модель системы обнаружения вторжений. Опубликованная в 1987 году статья предложила строить статистический профиль обычного поведения пользователя и системы и отмечать значимые отклонения от него как потенциальную угрозу. Эта идея легла в основу проекта IDES, разрабатывавшегося там же, и на десятилетия вперед определила два направления обнаружения атак: по сигнатурам известных угроз и по аномалиям поведения. Современные системы на основе машинного обучения — прямое продолжение второго направления, замещающее статистические профили Деннинг моделями, которые обучаются на значительно больших объемах данных.

Суть и механика. ИИ в кибербезопасности — подход, при котором искусственный интеллект применяется для анализа больших объемов данных, выявления аномалий, указывающих на киберугрозы, и автоматического реагирования на них. Система строит базу «нормальных» действий пользователей, устройств и сетевого трафика, что позволяет оперативно обнаруживать отклонения без обращения к заранее известным сигнатурам атак. Поведенческий анализ отслеживает пользователя и устройство на протяжении времени, создавая детализированный профиль, а предиктивная аналитика прогнозирует вероятные атаки на основе исторических данных и моделирования сценариев.

Иллюстрацией служит случай, в котором точкой входа для атаки послужил термометр в аквариуме казино.

Пример. В июле 2017 года неустановленные злоумышленники получили доступ к сети североамериканского казино через подключенный к интернету термометр, установленный в аквариуме его холла. Устройство передавало данные о температуре и солености воды и позволяло удаленно кормить рыб. Система защиты на основе машинного обучения, установленная компанией Darktrace, зафиксировала аномальный трафик: узел, ранее отправлявший только служебные данные о температуре, передал наружу массив данных, по размеру характерный для видеопотока, на IP-адрес в Финляндии, не связанный ни с одним другим устройством в сети. Как позднее пояснил директор по киберразведке Darktrace Джастин Фир, злоумышленники использовали термометр для проникновения в сеть, а затем переместились к базе данных о крупных игроках казино, откуда произошла утечка объемом около десяти гигабайт. Атаку остановили до завершения передачи данных, обнаружив ее по нехарактерному для термометра поведению — задолго до того, как какая-либо сигнатурная база успела бы распознать угрозу.

Ни один из индикаторов — необычный адрес назначения, объем данных, несвойственный термометру, имитация видеопротокола — не значился ни в одной базе известных атак: сигналом послужило само отклонение от привычного поведения устройства.

Границы применимости. Инструмент применим на предприятиях с достаточным объемом сетевого трафика и системных данных для построения статистически надежного профиля нормального поведения; на малых сетях с ограниченным трафиком точность обнаружения падает. По методике это очень сложный инструмент. Первое ограничение — период обучения: системе требуется время для построения профиля нормального поведения, в течение которого ее защитная функция ограничена. Второе — ложные срабатывания: непривычная, но легитимная активность, например запуск нового бизнес-процесса, способна восприниматься как аномалия и создавать избыточную нагрузку на службу безопасности. Третье — устойчивость к манипуляции обучающими данными: злоумышленник, способный постепенно менять сетевой трафик, рискует незаметно расширить границы «нормального» поведения и снизить чувствительность системы к собственной активности. ИИ в кибербезопасности опирается на анализ угроз (I2-02) как источник контекста об актуальных для предприятия противниках и дополняет активный поиск угроз (I4-01), автоматизируя часть работы, которую иначе выполняет аналитик вручную.

Чек-лист перед внедрением ИИ в кибербезопасности:

Определен достаточный объем сетевого трафика и системных журналов для построения статистически надежного профиля.
Установлен период обучения системы, в течение которого предусмотрено дополнительное ручное наблюдение за сетью.
Согласован порядок обработки ложных срабатываний, включая процедуру их разбора службой безопасности.
Предусмотрен периодический пересмотр профиля нормального поведения по мере изменения бизнес-процессов.
Оценена устойчивость системы к постепенному изменению трафика с целью скрытого обхода обнаружения.
Определено разделение задач между автоматической системой и аналитиками службы безопасности при реагировании на инцидент.

Типовые ошибки:

Внедрение без периода обучения. Систему запускают в режиме полного реагирования сразу после установки, до формирования профиля нормального поведения. → Выделять отдельный период на обучение системы с ограниченными полномочиями до автоматического реагирования.
Игнорирование ложных срабатываний. Служба безопасности перестает реагировать на предупреждения системы после серии ложных тревог. → Регулярно настраивать чувствительность системы по результатам разбора ложных срабатываний.
Отсутствие пересмотра профиля. Профиль нормального поведения, построенный при внедрении, не обновляется по мере изменения бизнес-процессов предприятия. → Пересматривать профиль нормального поведения при значимых изменениях инфраструктуры или процессов.
Полная передача реагирования системе. Автоматические ответные действия запускаются без участия аналитика даже для решений с существенными последствиями. → Оставлять решения с существенными последствиями на подтверждение аналитика, автоматизируя только их подготовку.

Резюме

Четыре инструмента этой статьи завершают группу I «Кибербезопасность и управление рисками». Цифровая криминалистика восстанавливает ход атаки после того, как превентивная защита не справилась, и переводит расследование инцидента в форму, приемлемую для суда или страховой компании. Этический ИИ в управлении рисками смещает угрозу с внешнего злоумышленника на саму систему предприятия: предвзятость модели способна причинить вред без вмешательства атакующего. Квантовая безопасность защищает канал передачи данных средствами самой физики — иначе, чем постквантовая криптография, рассмотренная в статье о продвинутых инструментах защиты. ИИ в кибербезопасности переворачивает эту логику: там, где этический ИИ разбирает риски самого инструмента, здесь искусственный интеллект становится средством защиты, обнаруживая угрозы по отклонению от привычного поведения системы прежде, чем сигнатурная база успевает их распознать. Общая трудоемкость четырех инструментов составила 216 часов — больше, чем в любой из предыдущих статей группы, что отражает переход от типовых средств защиты к узкоспециализированным методам расследования, оценки рисков ИИ и подготовки к угрозам, которые пока не наступили в промышленных масштабах.

В следующей статье цикла продолжим разбор методики группой J «Устойчивое развитие и ESG» подгруппой J1 «Экологическая устойчивость»: циркулярная экономика, углеродный менеджмент, климатическая стратегия и зеленые технологии.