ISO 42001: что это за стандарт и зачем он компаниям, использующим ИИ

Что такое ISO/IEC 42001 простыми словами

ISO/IEC 42001:2023 устанавливает требования к системе менеджмента искусственного интеллекта (AI management system, AIMS). Стандарт опубликован в декабре 2023 года совместно ISO и IEC. Он не описывает, как обучать модели или какую архитектуру выбрать. Он отвечает на другой вопрос: как организации управлять разработкой, поставкой и использованием ИИ ответственно, с учетом рисков для бизнеса, людей и общества.

По устройству это привычный стандарт системы менеджмента. У него та же структура разделов 4-10, что у ISO 9001 и ISO/IEC 27001, поэтому его легко интегрировать с уже существующей системой качества или информационной безопасности. По нему можно пройти сертификацию у аккредитованного органа. Требования к самим органам, сертифицирующим AIMS, вынесены в отдельный стандарт ISO/IEC 42006.

Стандарт применим к организациям любого размера и отрасли, которые разрабатывают ИИ-системы, предоставляют их другим или используют в своей деятельности. Под него подпадает и банк со скоринговой моделью, и SaaS-стартап с функциями на основе больших языковых моделей, и производитель, применяющий компьютерное зрение для контроля качества.

Чем ИИ отличается от обычных IT-рисков

Можно спросить, почему недостаточно ISO 27001. Причина в том, что у ИИ есть риски, которых нет у традиционного ПО. Модель может выдавать предвзятые результаты из-за смещения в данных обучения. Ее поведение может постепенно ухудшаться при изменении входных данных (дрейф). Ее решения бывает сложно объяснить человеку, которого они касаются. Генеративные модели могут выдумывать факты, раскрывать фрагменты обучающих данных или поддаваться атакам через запросы.

Кроме того, ИИ затрагивает не только компанию, но и третьих лиц: клиентов, кандидатов на работу, заемщиков, пациентов. Поэтому ISO 42001 требует оценивать не только риски для организации, но и воздействие ИИ-систем на отдельных людей, группы и общество. Это ключевое отличие от стандартов информационной безопасности.

Основные требования: разделы 4-10

Обязательная часть стандарта включает следующие элементы:

• Контекст (раздел 4): определить свою роль по отношению к ИИ (разработчик, поставщик, пользователь, партнер), заинтересованные стороны, применимые требования и границы AIMS.
• Лидерство (раздел 5): политика в области ИИ, ответственность высшего руководства, распределение ролей.
• Планирование (раздел 6): оценка рисков ИИ (6.1.2), обработка рисков с выбором мер и Заявлением о применимости (6.1.3), оценка воздействия ИИ-систем (6.1.4), цели в области ИИ.
• Поддержка (раздел 7): ресурсы, компетентность, осведомленность, коммуникации, документированная информация.
• Деятельность (раздел 8): выполнение запланированных процессов, регулярная оценка рисков и воздействия, особенно при изменениях.
• Оценка результатов (раздел 9): мониторинг, внутренний аудит, анализ со стороны руководства.
• Улучшение (раздел 10): несоответствия, корректирующие действия, постоянное улучшение.

Annex A: какие меры предлагает стандарт

Приложение A содержит 38 мер управления, сгруппированных по девяти целям. Как и в ISO 27001, организация выбирает применимые меры по результатам оценки рисков и обосновывает исключения в Заявлении о применимости. Приложение B дает рекомендации по внедрению каждой меры, приложение C перечисляет возможные цели и источники рисков, приложение D описывает применение стандарта в разных отраслях.

Группы мер Annex A:

• Политики, связанные с ИИ, и их согласованность с другими политиками компании.
• Внутренняя организация: роли, ответственность, порядок сообщения о проблемах.
• Ресурсы ИИ-систем: данные, инструменты, вычислительные ресурсы, компетенции людей.
• Оценка воздействия ИИ-систем на людей и общество.
• Жизненный цикл ИИ-системы: требования, проектирование, верификация и валидация, развертывание, эксплуатация, мониторинг, техническая документация, журналы событий.
• Данные для ИИ: происхождение, качество, подготовка, управление данными.
• Информация для заинтересованных сторон: документация для пользователей, информирование о взаимодействии с ИИ, сообщение об инцидентах.
• Использование ИИ-систем: ответственное применение, соответствие назначению.
• Отношения с третьими сторонами: поставщики моделей и данных, клиенты, распределение ответственности.

Связь с EU AI Act

Регламент ЕС об искусственном интеллекте, Регламент (ЕС) 2024/1689, вступил в силу 1 августа 2024 года и применяется поэтапно. Запреты на недопустимые практики действуют со 2 февраля 2025 года, обязанности для моделей ИИ общего назначения со 2 августа 2025 года. Большинство требований к высокорисковым системам изначально предусмотрены со 2 августа 2026 года, однако в рамках пакета «digital omnibus» обсуждается перенос части сроков, поэтому проверяйте текущий статус.

ISO 42001 и AI Act не тождественны. Регламент является обязательным законом с конкретными требованиями к высокорисковым системам: система управления рисками, качество данных, техническая документация, журналирование, человеческий надзор, точность и устойчивость, система менеджмента качества у поставщика. ISO 42001 является добровольным стандартом системы менеджмента. Сертификат сам по себе не означает соответствия AI Act.

Тем не менее стандарт дает хорошую основу. Процессы оценки рисков и воздействия, управления данными, документации жизненного цикла и мониторинга, выстроенные по ISO 42001, во многом покрывают организационную часть требований регламента. Компании из Казахстана, Узбекистана, Грузии и других стран, чьи ИИ-системы выводятся на рынок ЕС или чьи результаты используются в ЕС, тоже могут подпадать под AI Act.

Типичные пробелы у компаний, которые уже используют ИИ

Когда компания впервые сравнивает свою практику с ISO 42001, обычно выясняется, что техническая работа с моделями идет активно, а управленческая рамка отсутствует. Чаще всего встречаются такие пробелы:

• Нет полного реестра ИИ-систем: сотрудники пользуются внешними чат-ботами и плагинами, о которых не знает ни IT, ни юристы.
• Не определены владельцы: за модель отвечает «команда данных», но никто не принимает решение о допустимом уровне ошибок.
• Не задокументировано происхождение данных для обучения и права на их использование.
• Модель протестирована перед запуском, но в эксплуатации ее качество и дрейф не отслеживаются.
• В договорах с поставщиками моделей не урегулировано, используются ли ваши данные для обучения их моделей.
• Пользователи не знают, что взаимодействуют с ИИ, и не имеют способа оспорить решение или сообщить об ошибке.

Кому стандарт нужен уже сейчас

Сертификация ISO 42001 добровольная, но для ряда компаний она быстро становится коммерческим аргументом. В первую очередь это поставщики SaaS и B2B-решений с функциями ИИ, которых крупные клиенты спрашивают о происхождении данных, контроле качества моделей и использовании данных клиентов для обучения. Также это компании, работающие в чувствительных сферах: финансы, страхование, HR, медицина, образование, где автоматизированные решения напрямую влияют на людей.

Стандарт полезен и тем, кто сам модели не разрабатывает, а использует сторонние сервисы. Даже простое подключение генеративного ИИ к работе с клиентами требует ответа на вопросы: какие данные туда передаются, кто проверяет результат, что делать, если ассистент дал клиенту неверную информацию. Без системы эти решения принимаются стихийно в каждом отделе.

Как начать внедрение и что спросит аудитор

Начните с инвентаризации: составьте реестр всех ИИ-систем, включая сторонние сервисы, которыми пользуются сотрудники. Для каждой определите назначение, владельца, используемые данные, поставщика, вашу роль и затрагиваемых людей. Часто уже на этом шаге обнаруживаются инструменты, о которых руководство не знало.

Дальше логичная последовательность такая: политика в области ИИ и роли; методика оценки рисков и воздействия; оценка приоритетных систем; выбор мер из Annex A и Заявление о применимости; правила для данных, разработки, тестирования и мониторинга; обучение сотрудников; внутренний аудит и анализ со стороны руководства.

На сертификационном аудите проверяют реестр ИИ-систем, документированные оценки рисков и воздействия, обоснование выбранных мер, техническую документацию по жизненному циклу хотя бы одной системы, записи мониторинга качества модели, порядок реагирования на инциденты с ИИ и договоры с поставщиками моделей. Аудитор, как правило, выбирает конкретную систему и проходит по ней от требований до эксплуатации.

Если вы используете ISO 27001, многое можно переиспользовать: управление документами, внутренний аудит, оценку поставщиков, управление инцидентами. Бесплатная самооценка на baltum.ai покажет, насколько ваша компания готова к ISO 42001 и какие пробелы закрыть в первую очередь.

Статья носит информационный характер и не является юридической консультацией. baltum.ai — независимое программное обеспечение, а не орган по сертификации.