Multimodalna sztuczna inteligencja. Co oznacza dla medycyny?

Multimodalna AI widzi, słyszy i czyta

Z upływem lat elektroniczna kartoteka pacjenta wypełnia się dokumentami diagnostyki obrazowej, wynikami badań laboratoryjnych, informacjami o korzystaniu ze świadczeń i zażywanych lekach. Zawiera skany dokumentów papierowych, dane ustandaryzowane w systemach IT, notatki lekarzy wpisywane skrótami i żargonem. Jeśli dodać do tego inne dane, pozostające poza EDM, i informacje z tzw. urządzeń ubieralnych, mierzących aktywność fizyczną albo jakość snu i tętno, powstaje ocean danych. Żaden lekarz nie ma czasu ani takich zdolności, aby je wszystkie przeanalizować. Ale może to zrobić multimodalna sztuczna inteligencja.

Mowa o nowym rodzaju AI, która przetwarza i analizuje dane pochodzące z różnych źródeł jednocześnie. W przeciwieństwie do klasycznych systemów, wyspecjalizowanych w analizie tylko jednego rodzaju danych (np. tylko tekstu), multimodalna AI integruje informacje z wielu tzw. modalności. Mogą to być dane genetyczne, epigenetyczne, metaboliczne, kliniczne, a nawet informacje o środowiskowych determinantach zdrowia, zgromadzone jako nagrania wideo i audio, teksty albo informacje z sensorów.

Multimodalna AI nie rozumie kontekstu danych, co potrafi człowiek, ale za to umie szybko przetwarzać informacje, bez względu na ich objętość. Na przeczesanie zapisów z kartoteki pacjenta gromadzonej przez 50 lat potrzebuje kilku sekund.

Leczyć znaczy wiedzieć

Ta cecha AI otwiera przed medycyną zupełnie nową możliwość: znajdowania subtelnych trendów i korelacji, które mogą świadczyć o powolnym rozwoju choroby, zanim wystąpią objawy. Mówi się o tzw. analityce predykcyjnej. Przykładem jest system AI, przetwarzający setki parametrów dotyczących pacjenta, którego zadaniem jest obliczenie prawdopodobieństwa wystąpienia sepsy. Na podstawie wskazań AI w stosunku do osób z grupy najwyższego ryzyka można zastosować dodatkową obserwację i leczenie zapobiegawcze. Powstają także pierwsze systemy, które analizują dane z elektronicznej dokumentacji medycznej, aby prognozować np. ryzyko wystąpienia chorób przewlekłych.

Na tym właśnie polega główna siła multimodalnej AI. Analizując różne typy danych medycznych, takie jak wyniki badań laboratoryjnych, obrazy diagnostyczne (np. rentgen, MRI, CT), dane z elektronicznej dokumentacji medycznej, informacje genetyczne, AI dostarcza nowej wiedzy, dzięki czemu lekarz otrzymuje pełniejszy obraz stanu zdrowia pacjenta. Oczywiście, w przypadku większości mało skomplikowanych schorzeń lekarz potrafi postawić diagnozę bez pomocy AI, kierując się doświadczeniem i wiedzą kliniczną. Ale w przypadku chorób rzadkich oraz rozwijających się latami chorób przewlekłych taka dodatkowa pomoc może okazać się bezcenna.

Wykryje oznaki choroby, pomoże w prowadzeniu dokumentacji medycznej

Modele multimodalnej AI najczęściej opierają się na uczeniu się maszynowym. Oznacza to, że sztuczna inteligencja nie wie, czego dokładnie szuka. Po prostu przeczesuje wszystkie dane w poszukiwaniu jakiejś korelacji, zależności albo spójności danych. Przykładem jest analiza wszystkich informacji z EDM. AI może w ten sposób wykryć, że zmiany w wynikach badań laboratoryjnych na przestrzeni ostatnich lat, w połączeniu z wiekiem i czynnikami ryzyka, sugerują powolny rozwój choroby. Ale tak samo może zasugerować korelację, która z punktu widzenia klinicznego nie ma żadnej wartości. Jaką wartość mają informacje sztucznej inteligencji, ocenia już lekarz. Na podobnej zasadzie AI potrafi wyznaczać indywidualne plany leczenia, biorąc pod uwagę nie tylko klasyczne dane z EDM, ale także informacje o stylu życia pacjenta, uwarunkowania genetyczne itd. W tym przypadku granicę możliwości wyznacza dostępność danych. Jeszcze innym obiecującym zastosowaniem jest telemonitoring pacjentów. Multimodalna AI zbiera w czasie rzeczywistym dane z sensorów, mikrofonów i kamer, inteligentnych luster i toalet mierzące parametry stanu zdrowia, łączy je i wnioskuje. Jest to szczególnie obiecujące w przypadku pacjentów z chorobami przewlekłymi, np. kardiologicznymi – pacjent może przebywać w domu, pod okiem AI, zamiast w szpitalu. W razie niepokojących wartości pomiarów system zaalarmuje lekarza. Alternatywnie można zbudować chatboty doradzające na bieżąco, jak się zdrowo odżywiać albo prowadzić mniej stresujący tryb życia.

Kolejnym przykładem zastosowania multimodalnej AI jest optymalizacja pracy szpitali. Coraz popularniejsze w dużych placówkach są tzw. centra zarządzania albo wieże kontrolne – jedno miejsce służące do monitorowania stanu zdrowia pacjentów i procesów organizacyjnych. Taki system pobiera dane kadrowe i zestawia je z obrazami z oddziałów oraz listą pacjentów, aby jak najlepiej zarządzać zasobami ludzkimi.

Inteligentna polityka zdrowotna

Oprócz precyzyjnej diagnostyki, personalizacji leczenia, systemów prewencji chorób i telemonitoringu, multimodalna AI zapewnia lepsze zrozumienie mechanizmu rozwoju chorób. Przykładem są badania naukowe prowadzone w czasie pandemii COVID-19 i sugerujące, że zarażenie koronawirusem powoduje niewielkie zmiany w parametrach stanu zdrowia (w temperaturze i pulsie, rytmie snu) na kilka dni przed wystąpieniem objawów. Mając takie informacje, można precyzyjniej kierować działaniami zapobiegającymi rozprzestrzenianiu się pandemii.

Na podobnej zasadzie, ale w skali globalnej, funkcjonuje monitoring sytuacji epidemiologicznej. AI przeczesuje wiadomości w mediach społecznościowych, informacje prasowe, dane z rejestrów epidemiologicznych, komunikaty z instytucji zdrowia publicznego i zestawia je z danymi GPS, aby prognozować dalszy rozwój pandemii oraz precyzyjnie planować interwencje na poziomie globalnym i w poszczególnych państwach. Taki system – a BlueDot – wykrył pierwsze sygnały świadczące o rozwoju pandemii COVID-19, zanim problem zidentyfikowała Światowa Organizacja Zdrowia.

Multimodalna AI ma wiele możliwości, ale też kilka ograniczeń. Nasze zdrowie opisuje bardzo szeroki zbiór danych, od biologicznych do środowiskowych i społecznych. Pominięcie w analizie nawet jednego elementu może dawać niepełny obraz i zniekształcać wyniki analiz. Mówi się o tzw. dataset blind spot (martwych punktach zestawu danych), czyli braku obserwacji w danych.

Informacje z urządzeń „ubieralnych”, np. smart-watchy, nie zawsze są dokładne, bo tego typu sprzęt najczęściej nie ma certyfikatów medycznych. Niska jakość danych może zaś niezauważalnie doprowadzić do błędnych wniosków AI.

Naukowcy pracują już nad nowymi rodzajami multimodalnej sztucznej inteligencji. Przykładowo, biorąc pod uwagę niedokładność niektórych modeli wynikającą z niepełnej reprezentacji istotnych danych, można najpierw trenować modele na jednej modalności, a następnie łączyć ze sobą otrzymane wnioski.

Jeśli multimodalna AI sprawdzi się w praktyce, lekarze mogą liczyć na ułatwienie pracy z EDM i wspomaganie decyzji klinicznych. Z czasem pozwoli też ona odkryć nowe biomarkery, będące „sygnalistami” rozwoju choroby, i lepiej poznać mechanizmy działania ludzkiego organizmu. Dzięki AI możemy spodziewać się fascynujących odkryć, które pomogą diagnozować i leczyć pacjentów, a także zapobiegać chorobom.