Chatbot Google'a stawia diagnozy lepiej niż lekarze i jest bardziej empatyczny

[KopalniaWiedzy.pl 320]

Google twierdzi, że opracowało system sztucznej inteligencji oparty na dużym modelu językowym, który dokładniej niż lekarz podstawowej opieki zdrowotnej diagnozuje choroby układu oddechowego i krążenia. Podczas konwersacji z pacjentem model zebrał podobną ilość informacji, co lekarz, a lepiej wypadł w kwestii okazywania empatii. Artykuł opisujący system oraz jego osiągnięcia opublikowano w arXiv i nie został on jeszcze zrecenzowany.

Chatbot Articulate Medical Intelligence Explorer (AMIE) to wciąż system eksperymentalny. Nie testowano go na prawdziwych pacjentach, a na aktorach udających osoby z konkretnymi schorzeniami. Chcemy, by z ostrożnością podchodzić do wyników naszych testów, mówi naukowiec z Google Health, Alan Karthikesalingam.

Podstawą medycyny jest dialog pomiędzy lekarzem a pacjentem. W jego trakcie odpowiednie zebranie informacji otwiera drogę do dokładnej diagnozy, efektywnego zarządzania i wzajemnego zaufania. Systemy sztucznej inteligencji zdolne do prowadzenia dialogu w celu postawienia diagnozy mogą zwiększyć dostępność i jakość opieki zdrowotnej. Jednak nawet zbliżenie się do doświadczenia lekarzy to poważne wyzwanie. Dlatego też przedstawiamy AMIE (Articulate Medical Intelligence Explorer), oparty na dużym modelu językowym system sztucznej inteligencji zoptymalizowany pod kątem zbierania informacji diagnostycznych, czytamy w artykule Towards Conversational Diagnostic AI.

Vivek Natarajan, jeden z twórców AMIE, mówi, że poważnym problemem była niewielka liczba prawdziwych rozmów pomiędzy lekarzami a pacjentami, na podstawie których można by uczyć model. Dlatego badacze opracowali system, w ramach którego – po dostarczeniu AMIE danych klinicznych oraz dostępnych transkrypcji rozmów lekarzy i pacjentów – system „dyskutował” sam ze sobą, odgrywając rolę i lekarza, i pacjenta. Później przed AMIE postawiono dodatkowe zadanie. Miał odegrać rolę osoby oceniającej sposób interakcji lekarza z pacjentem. W ten sposób uczono go, jak udoskonalić tę interakcję i jak ważna jest empatia.

Później przystąpiono do testów AMIE. Wzięło w nich udział 20 aktorów, którzy odgrywali łącznie 149 scenariuszy, udając pacjentów z różnymi schorzeniami. Aktorzy nie wiedzieli, czy prowadzą dialog z maszyną, czy z jednym z 20 lekarzy biorących udział w testach. Po rozmowie mieli ocenić przebieg rozmowy. Ponadto interakcje te były analizowane przez grupę specjalistów, którzy oceniali jak sprawował się AMIE, a jak lekarze biorący udział w testach.

Analizy pokazały, że AMIE postawił diagnozę dokładniejszą niż lekarze we wszystkich 6 testowanych specjalnościach. Chatbot został też lepiej niż lekarze oceniony w 24 z 26 kryteriów prowadzenia rozmowy. Kryteria te obejmowały takie zagadnienia jak kultura osobista, wyjaśnienie choroby i sposobów leczenia, empatia, szczerość, troska i zaangażowanie.

Autorzy chatbota podkreślają, że wyniki testów nie oznaczają, iż lepiej wypada on w rzeczywistych warunkach klinicznych. Przypominają też, że dla lekarzy prowadzenie dialogu z pacjentem za pomocą komputera było czymś nowym, więc mogło to wpłynąć na ich pracę. Ponadto chatbot jest lepszy od ludzi w szybkim konstruowaniu dużych wypowiedzi na piśmie i nie męczy się przy tym. Maszyna miała więc tutaj przewagę.

W najbliższym czasie Google będzie chciał przeprowadzić znacznie szerzej zakrojone testy, tym razem z osobami rzeczywiści chorymi i o różnorodnym statusie społecznym.

« powrót do artykułu

[radar 103]

Jednym z elementów, które nie są tu brane pod uwagę, a co również osłabia skutecznoć lekarzy to jest właśnie brak kontaktu osobistego. A kontakt ten jest istotny z co najmniej jednego powodu, otóż lekarz widząc pacjenta potrafi często wywnioskować inne schorzenia albo ewentualne czynniki, które mogą mieć wpływ na diagnozę, np. choroba alkoholowa, nadwaga, dysfunkcje narządu ruchu itd itp. Wielu doświadczonych lekarzy "widzi" i na tej podstawie potrafi dopytać o dodatkowe rzeczy. Drugą sprawą jest to, że pacjenci czasami kłamią. A to ze wstydu, a to z głupoty. Używki, stosunki seksualne, rzeczy nielegalne, o tym często pacjenci nie wspominają, a lekarz czasami potrafi ocenić/domysleć się na podstawie mowy ciała, tembru głosu itp, coś czego nie ma w diagnozie z użyciem czatu.

Niestety, dopóki nie będzie to uwzględniane to wyniki będą zafałszowane.

Edytowane 22 stycznia przez radar

[peceed 113]

8 godzin temu, radar napisał:

A kontakt ten jest istotny z co najmniej jednego powodu, otóż lekarz widząc pacjenta potrafi często wywnioskować inne schorzenia albo ewentualne czynniki, które mogą mieć wpływ na diagnozę, np. choroba alkoholowa, nadwaga, dysfunkcje narządu ruchu itd itp.

Niestety mają też tendencję do wpadania w spekulacje prosto z pupy, jednocześnie ignorując to co się do nich mówi. Lekarze którzy lepiej wiedzą co dolega pacjentowi od niego to plaga.

Lekarze nie wyciągają logicznych wniosków, nie rozumują Bayesowsko, itd. Co do dokładności diagnoz to już proste systemy ekspertowe sprzed 30 lat ponad miały dokładność 90% gdy lekarze wyciągali 70%. Zatem fakt, że odkryto to znowu po kilkudziesięciu latach wcale nie dziwi.
 

 

Edytowane 22 stycznia przez peceed

[radar 103]

15 godzin temu, peceed napisał:

Niestety mają też tendencję do wpadania w spekulacje prosto z pupy

Tu jest przewaga maszyn, ale nie w tym, że lekarze mają tendencję, ale dlatego, że niektórzy, albo nawet i większość ma tę tendencję. Nie dotyczy to jednak prawdziwych fachowców, a takich też nie brakuje.
Natomiast wytrenowany model, maszyna, powinna mieć tą samą skuteczność wszędzie i zawsze (może z dokładnością do jakości podłączonych zewnętrznych czujników, o ile jakieś będą). To spory plus.

Edytowane 23 stycznia przez radar

[peceed 113]

W dniu 23.01.2024 o 11:18, radar napisał:

Tu jest przewaga maszyn, ale nie w tym, że lekarze mają tendencję, ale dlatego, że niektórzy, albo nawet i większość ma tę tendencję.

Wszyscy. Taka tresura.

W dniu 23.01.2024 o 11:18, radar napisał:

Natomiast wytrenowany model, maszyna, powinna mieć tą samą skuteczność wszędzie i zawsze (może z dokładnością do jakości podłączonych zewnętrznych czujników, o ile jakieś będą). To spory plus.

Największy plus jest taki, że skończą się "panowie specjaliści". To żywy dowód że lekarze nie ogarniają medycyny, model będzie analizował ludzi holistycznie i spójnie.

 

[l_smolinski 21]

W dniu 22.01.2024 o 20:18, peceed napisał:

już proste systemy ekspertowe sprzed 30 lat ponad miały dokładność 90% gdy lekarze wyciągali 70%.

Otóż to. Nic tam nie ma  nowego. Zwykły system ekspercki zasilony bazą danych stworzoną przez ekspertów. Każdy sprzedawca zachwala swój produkt. Pewnie chcą to sprzedać któremuś z rządów jako wsparcie lekarzy, koniecznie w pakiecie w chmurze.