Искусственный интеллект в здравоохранении США
Искусственный интеллект (ИИ) в настоящее время занимает центральное место в здравоохранении США. Системы триажа, оценки рисков и пути управления уходом работают на моделях, которые обещают более быстрые решения и более точные диагнозы. Важно понимать, как можно построить ИИ в здравоохранении так, чтобы обеспечить справедливость и усилить лучшие инстинкты медицины: точность, профилактику и индивидуализированный уход.
Проблемы справедливости в системах ИИ
Когда механизмы ИИ в здравоохранении работают корректно, выигрывают пациенты. Однако, если они опираются на неверные сигналы, это может привести к тому, что помощь будет направлена не к тем, кто в ней больше всего нуждается. Справедливость не является дополнительной функцией; она служит ключевым критерием для оценки того, заслуживают ли эти системы вмешательства в уход за пациентами.
Необходимость правильных метрик
Многие инструменты измеряют «нужду» косвенно, используя историю счетов, предыдущую медицинскую активность или количество госпитализаций, так как эти данные легко получить в большом объеме. Этот выбор укореняет историю в будущем. Если пациент из недостаточно обслуживаемой группы потратил меньше на здравоохранение из-за барьеров доступа, модель, которая считает высокие расходы признаком необходимости, будет ставить его ниже в очереди на дополнительную помощь, даже если его клинический профиль аналогичен.
Прокси-метрики и их последствия
Прокси-метрики, такие как использование прошлых счетов больниц для оценки состояния здоровья, кажутся привлекательными, так как они находятся в чистых базах данных. Однако они опасны, поскольку проникают в структуру системы, внося структурное неравенство в целевую функцию. В телемедицине и удаленном мониторинге модели, обученные на паттернах использования, часто недооценивают пациентов из сельских районов, не имеющих страховки или относящихся к меньшинствам, несмотря на высокие показатели в общих метриках.
Кто отвечает за справедливость?
В теории, за справедливость отвечают все. На практике ответственность рассеивается. Разработчики ссылаются на ограничения данных, больницы указывают на отсутствие прозрачности со стороны поставщиков, а регуляторы сталкиваются с проблемами юрисдикции. Эта «регуляторная сиротство» позволяет высокоэффективным системам ускользать от контроля со стороны таких организаций, как HIPAA, FDA и CMS.
Уроки от Optum: как цели распределяют помощь
Компания Optum, занимающаяся аналитикой в здравоохранении, продемонстрировала, как цели формируют распределение помощи. Алгоритм, использующий прошлые расходы как прокси для потребностей, отклонил поддержку от чернокожих пациентов, которые часто сталкиваются с барьерами доступа. Перенастройка модели на основе состояния здоровья почти утроила долю чернокожих пациентов, отмеченных для дополнительной помощи.
Выводы из примера Optum
- Постфактум проверки справедливости приходят слишком поздно.
- Непрозрачность и фрагментированный контроль затрудняют выявление и исправление искажений в распределении ресурсов.
Этика систем и модели обеспечения
Технологии воплощают в себе ценности. В медицине цели и ограничения определяют, кто получает выгоду, а кто ждет. Оптимизация лишь по метрикам дискриминации может привести к инструментам, которые выглядят откалиброванными в агрегате, но обращаются с группами по-разному. Решение заключается в том, чтобы перенести справедливость на более ранние стадии процесса разработки.
Рекомендации по построению справедливых систем ИИ
- Сделайте справедливость жестким ограничением.
- Обеспечьте прослеживаемость решений.
- Следите за производительностью подгрупп в реальных условиях.
- Определите четкие роли и ответственность.
Что такое «хорошая» система ИИ?
Перед развертыванием системы необходимо обеспечить согласование целей с потребностями в здравоохранении, провести валидацию с учетом подгрупп и обеспечить прослеживаемость. После развертывания необходимо осуществлять постоянный мониторинг с заранее установленными триггерами и предоставлять общественности сводки о производительности и ограничениях системы.
Заключение
Искусственный интеллект может усилить лучшие инстинкты медицины, такие как точность и индивидуализированный уход, когда его целевая функция согласуется со справедливостью. Путь к этому прост: измеряйте важное (нужду, а не расходы), раскрывайте, как работает система (прослеживаемость и документация), следите за ее работой в реальных условиях (динамическая производительность подгрупп) и определяйте ответственность там, где она может действовать (закупки, возмещение, авторизация). Сначала создайте справедливость, а затем масштабируйте.
