Ответственная Искусственная Интеллектуальная Система: Объяснимость и Человеческий Контроль

В течение четвертого года подряд MIT Sloan Management Review и Boston Consulting Group (BCG) собрали международную панель экспертов по искусственному интеллекту, включая академиков и практиков, чтобы помочь понять, как ответственное искусственное интеллекта (RAI) внедряется в организациях по всему миру. Весной 2025 года мы также провели глобальный опрос руководителей, в котором приняли участие 1,221 респондентов, чтобы узнать, насколько организации занимаются ответственным ИИ. В нашей первой статье в этом году мы сосредоточились на ответственности производителей общего назначения ИИ. В этой статье мы рассматриваем взаимосвязь между объяснимостью и человеческим контролем в обеспечении ответственности ИИ-систем.

Объяснимость и Человеческий Контроль

В контексте управления ИИ объяснимость относится к способности предоставлять людям четкие, понятные и значимые объяснения того, почему ИИ-система приняла то или иное решение. Это понятие связано с более техническим понятием интерпретируемости, которое сосредоточено на понимании внутренних механизмов, как входные данные модели влияют на ее выходные данные. Оба понятия стремятся улучшить прозрачность все более сложных и непрозрачных ИИ-систем и также отражены в недавних усилиях по их регулированию.

Например, Законодательство Европейского Союза о ИИ требует, чтобы высокорисковые ИИ-системы были спроектированы так, чтобы обеспечить эффективный человеческий контроль и предоставлять людям право на получение «четких и значимых объяснений» от организации, использующей систему. Комплексный закон о ИИ в Южной Корее вводит аналогичные требования для «высокоэффективных» ИИ-систем в таких секторах, как здравоохранение, энергетика и государственные услуги, чтобы объяснить причины, лежащие в основе решений, принятых ИИ. Компании реагируют на эти требования, запуская коммерческие решения для управления, при этом рынок объяснимости, по прогнозам, достигнет 16,2 миллиарда долларов к 2028 году.

Взаимосвязь Объяснимости и Человеческого Контроля

Растущее внимание к объяснимости и контролю приводит к естественному вопросу о том, может ли одно существовать без другого. Мы спросили нашу панель о следующем утверждении: «Эффективный человеческий контроль снижает необходимость в объяснимости ИИ-систем». Явное большинство (77%) не согласны или полностью не согласны с этим утверждением, утверждая, что объяснимость и человеческий контроль являются взаимодополняющими, а не конкурирующими аспектами ответственности ИИ — наличие одного не уменьшает необходимость в другом.

Многие наши эксперты утверждают, что объяснимость и человеческий контроль являются взаимодополняющими аспектами ответственности ИИ. Бруно Биони, основатель Data Privacy Brasil, подчеркивает: «Объяснимость и человеческий контроль составляют взаимодополняющие и пересекающиеся гарантии в рамках управления ИИ». Он добавляет, что «их взаимосвязь не делает их взаимно исключающими, и наличие одного не отменяет и не уменьшает значимость другого». Саймон Честермэн из Национального университета Сингапура подчеркивает: «Контроль и объяснимость не являются конкурирующими ценностями, а взаимно усиливающими столпами ответственного управления ИИ». Аналогично, Ренато Лейте Монтейро из e& подчеркивает, что «человеческий контроль и объяснимость действуют как взаимодополняющие силы, а не как заменители». Или, как резюмирует Элизабет Энн Уоткинс из Intel Labs, «они работают в тандеме».

Практическое Применение Объяснимости

Эта взаимодополняемость возникает из того, что человеческий контроль и объяснимость имеют различные назначения. Райан Кэрри из ForHumanity объясняет: «Человеческий контроль служит совершенно другим целям, чем объяснимость, и поэтому их не следует рассматривать как компромиссы или заменители друг друга». Тшилидзи Маравала из Университета ООН также утверждает, что «человеческий контроль и объяснимость являются различными, но мощно синергетическими концепциями».

Алиса Лефавр Шкопак из Alberta Machine Intelligence Institute отмечает: «Человеческий контроль необходим для обеспечения безопасного и ответственного использования ИИ, но это не отменяет необходимости в объяснимости». Она добавляет: «Если человек, контролирующий систему, не понимает, как ИИ принимает решения, становится гораздо сложнее направлять или корректировать его должным образом».

Шаги для Обеспечения Эффективного Человеческого Контроля

Согласно результатам нашего глобального опроса, большинство респондентов отметили, что образование конечных пользователей является ключевым фактором для обеспечения эффективного человеческого контроля в их организации. Вот несколько шагов, которые могут предпринять организации:

• Определить четкие критерии, когда ИИ-системам требуется человеческое вмешательство.
• Определить минимальные квалификации для человеческих рецензентов и подход к проведению эффективных проверок.
• Разработать системы, которые предоставляют доказательства для/против результатов, чтобы облегчить человеческий обзор.
• Оценить скорость, с которой неверные результаты отмечаются по сравнению с измеренной производительностью системы.
• Внедрить процесс контроля качества для оценки человеческих рецензентов.
• Обучить пользователей о сильных и слабых сторонах системы, ее назначении и рисках.

Заключение

В заключение, объяснимость и человеческий контроль являются взаимодополняющими аспектами ответственности ИИ, которые необходимы для обеспечения прозрачности, доверия и справедливости в принятии решений. Организации должны стремиться к созданию систем, которые не только обеспечивают эффективный человеческий контроль, но и способствуют объяснимости, чтобы избежать поверхностного контроля и создать настоящую ответственность. Важно помнить, что объяснимость и контроль должны работать в контексте, чтобы обеспечить реальное понимание и значимую ответственность, а не создавать иллюзию контроля. Следовательно, организации должны адаптировать свои подходы к объяснимости и контролю в зависимости от конкретных условий и потребностей, чтобы достичь наилучших результатов в управлении ИИ.