Доктор ЧатДжиПиТи. Почему ИИ ставит диагнозы лучше врачей, но не заменит их

Последняя версия нейросети ChatGPT ставит диагнозы лучше многих врачей. В эксперименте это продемонстрировал доктор и компьютерщик из Гарварда Айзек Кохейн. Сделает ли искусственный интеллект (ИИ) врачей безработными?

Прогрессисты встретили эту новость с нескрываемым энтузиазмом, а консерваторы — с унынием. Мы помним, что компьютер переиграл Каспарова и Карпова. И почему бы ИИ не заменить врачей? А действительно почему? По фамилии доктор ЧатДжиПиТи родом из Индии. Хорошо известно, что в США врачи-индусы весьма популярны и даже заметно потеснили эскулапов других национальностей. Почему бы и боту ChatGPT не повторить этот успех, но только в глобальном масштабе? Давайте разбираться, дьявол кроется в деталях.

Сеанс одновременной игры в дурака и поддавки

Об этом эксперименте Айзек Кохейн рассказал в связи подготовкой им книги «ИИ-революция в медицине». Говорит он с волнением: «Я ошеломлен, машина лучше многих врачей, которых я знаю».

А вот эксперимент, о котором Кохейн рассказывает в книге. Он взял реальный случай из своей практики с новорожденным ребенком, которого лечил несколько лет назад. Доктор сообщил боту GPT-4 ключевые сведений о малыше, которые он собрал во время осмотра и обследования, а также дал некоторую информацию об ультразвуковом исследовании и уровне гормонов. Машина правильно поставила диагноз редкой болезни — врожденной гиперплазии надпочечников. «Она сработала точно так же, как я!», — радостно резюмирует доктор. Уверен, многие точно так же чувствуют в этом месте восторг: надо же, ИИ поставил диагноз редкой болезни!

Но если посмотреть на этот случай глазами врача, то резюме будет совсем другим: этот доктор играл с машиной в поддавки, а с читателями в дурака. Почему?

«Как ChatGPT может заменить врача, если он получает уже все готовые результаты обследования? — говорит aif.ru врач, профессор, доктор медицинских наук, председатель правления Московского городского научного общества терапевтов Павел Воробьев. — Когда все это собрано, каждый может поставить диагноз. А попробуйте сделать это, когда болезнь вначале, и симптомов еще очень мало. В такой ситуации способен работать только доктор, и машина его заменить пока не может.

На самом деле, мы с сыном активно занимаемся искусственным интеллектом в медицине, он специалист в этом вопросе. И в частности, тестируем и изучаем ChatGPT. У нас был точно такой же опыт, как и у врача из Гарварда, когда мы послали информацию по пациентам с известным диагнозом. Случаи были не самые сложные, но ответы были на троечку — с очень расплывчатыми и неточными формулировками».

Редкий диагноз — это далеко не всегда трудный диагноз

Как ни удивительно, редкий диагноз, удививший доктора Кохейна, поставить просто. Для этого достаточно знать возраст пациента и уровень нескольких гормонов, вырабатываемых надпочечниками (эту информацию чат-бот получил). Если их значения отклоняются от нормы, диагноз ясен абсолютно. Второго мнения быть не может. Для ИИ это даже не задача, раз плюнуть.

Но ее решению предшествует сбор информации врачом: опрос пациента, его осмотр с аускультацией, пальпацией и перкуссией, с назначением дополнительных исследований и анализов. В данном случае важно подчеркнуть, что проверку уровней гормонов надпочечников проводят только целенаправленно, это не обычный анализ крови, который делают всем. Его назначают только в том случае, если доктор заподозрил у пациента какую-то проблему с надпочечниками — и вот это признак хорошего врача. Точно так же дополнительно он назначает ещё ультразвуковое исследование надпочечников плюс томографию — МРТ или КТ. А где все это время, когда работал доктор и делали анализы, был ИИ GPT-4? Наверно писал рефераты и дипломные проекты для студентов. Заменить в этом эскулапа, он не сможет.

Если не знаешь, ври больше. Может быть поверят

Так у нас любили говорить в детстве. «Мы заметили, что ChatGPT может придумывать и привирать информацию, — включается в разговор с aif.ru кандидат медицинских наук и руководитель проекта "Медикейс” Андрей Воробьев. — Когда она не знает ответа, то не говорит об этом, а выдает фантастическую информацию. Многие могут принять ее за правду, и это реально опасно. Особенно, в медицине. В простых жизненных ситуациях она дает нормальные советы, и тем самым вызывает у пользователей доверие. Но в более сложных, начинает выдумывать, и если человек доверчив, она может ввести его в заблуждение.

Мы в своей работе используем данные доказательной медицины, а чат ChatGPT не раскрывает, какими источниками информации он пользуется. Утверждается, что он вроде собирает все данные в Интернете сам, но при этом разработчики их контролируют. Это очень важный вопрос, ведь рекомендации и ответы зависят от того, что включают в базу данных. Если они ошибочные, то и результат будет заведомо неправильным».

Машина не может обладать клиническим мышлением врача

Вряд ли смогут сделать человекоподобного робота, обладающего следующими компетенциями:

— Умеющего разговаривать с больным, вытягивая из него нужную информацию, которую можно перевести на медицинский язык симптомов. Врачам хорошо известно, что это большое искусство.

— Умеющего проводить аускультацию, пальпацию и перкуссию, а также анализировать эту информацию.

— Выстраивать иерархию полученных симптомов, выделяя существенные и второстепенные.

— На основании всех полученных данных выстраивать план дополнительного обследования, и получив всю информацию, ставить диагноз.

Все это называется клиническим мышлением. Оно базируется не столько на ассоциациях (на основе которых работает ИИ), сколько на причинно-следственных связях, которые ему не доступны.

Обыграть гроссмейстера проще, чем врача

Доктор Кохейн не скрывает этого, если бы GPT-4 спросили, может ли он на самом деле заниматься причинно-следственными рассуждениями, то ответ был бы отрицательным. Кохейн говорит, что ИИ ответил бы, что он «ограничен шаблонами в использовании данных и не обладает истинным пониманием или интенциональностью (это способность человеческого разума относиться к чему или кому-либо осознанно, понимая его положение и связи в мире, и выражая к нему свое отношение — примечание aif.ru)». Это важное свойство клинического мышления, оно помогает видеть пациента и симптомы болезни в реальности, и во взаимосвязи.

Шаблонов и алгоритмов достаточно, чтобы обыгрывать гроссмейстеров, потому что память ИИ больше, а скорость обработки информации быстрее, чем у чемпионов мира по шахматам. Но для работы врачом нужны дополнительные качества. Поэтому, пусть ИИ анализирует большие данные, помогая врачам, но не учит их клиническому мышлению. Но и тут есть проблемы. «В FDA (Управление по продуктам и лекарствам США) есть руководство по созданию ИИ для медицины, — говорит Павел Воробьев. — И главное требование — система настроена на то, что решение должно приниматься не машиной, а командой врачей и ИИ. Это очень важно и справедливо, так как были случаи, когда машина подсказывала какое-то решение, которое казалось очень правильным, но в реальности оно наоборот было ошибкой. Это нужно всегда учитывать, когда работаешь с ИИ».