Jak przygotować dane ze szpitala do uczenia maszynowego

Szpitale generują terabajty danych rocznie, ale tylko nieliczne potrafią je wykorzystać. Pomiędzy surową dokumentacją medyczną a działającym modelem AI leży proces, który decyduje o powodzeniu lub porażce całego projektu.

Dlaczego dane szpitalne to wyzwanie

Wyobraź sobie sytuację: masz dostęp do dokumentacji tysięcy pacjentów, wyników badań laboratoryjnych, opisów radiologicznych. Teoretycznie to kopalnia wiedzy. Praktycznie? Często okazuje się, że dane są bezużyteczne.

Problem dobrze ilustruje przykład przytoczony podczas VIII Kongresu Wyzwań Zdrowotnych. Analitycy badali oddział kardiologiczny dużego szpitala. Z dokumentacji wynikało, że leczono wielu pacjentów z zawałem serca, ale prawie nikogo z nadciśnieniem tętniczym. Absurd? Nie. Po prostu pole "nadciśnienie" było opcjonalne w systemie HIS i lekarze je pomijali.

Inny przykład: sieć medyczna gromadziła dane przez niemal dekadę. Formularze gabinetowe wypełniano w sposób nieustrukturyzowany. Każdy medyk robił to trochę inaczej. Efekt? Teoretyczna kopalnia informacji okazała się praktycznie bezużyteczna bez nieproporcjonalnie dużych nakładów na porządkowanie.

Główne problemy z danymi szpitalnymi

Dane medyczne dzielą się na strukturalne i niestrukturalne. Strukturalne to te w tabelach, np. wyniki badań laboratoryjnych z konkretnymi wartościami liczbowymi. Niestrukturalne to teksty, np. notatki lekarskie, opisy badań, wywiady z pacjentami.

To właśnie dane niestrukturalne stanowią największe wyzwanie. Lekarz może napisać "pacjent skarży się na ból w klatce piersiowej" lub "b/ból kl.p." albo "dolegliwości stenokardialne". Wszystkie trzy zapisy oznaczają to samo, ale algorytm bez odpowiedniego przygotowania tego nie zrozumie.

Do tego dochodzą:

Braki w danych (pola niewypełnione lub wypełnione błędnie)
Niespójne formaty dat, jednostek, kodowań
Duplikaty pacjentów pod różnymi numerami
Dane rozproszone w wielu systemach, które ze sobą nie rozmawiają
Jakość zależna od obciążenia personelu (w piątek po dyżurze dokumentacja bywa skromniejsza)

Anonimizacja: fundament każdego projektu

Zanim dotkniesz jakichkolwiek danych do celów analitycznych, musisz rozwiązać kwestię prywatności. RODO traktuje dane medyczne jako szczególnie chronione, co oznacza surowsze wymagania niż przy zwykłych danych osobowych.

Pseudonimizacja vs anonimizacja

To dwa różne pojęcia, choć bywają mylone. Pseudonimizacja polega na zastąpieniu identyfikatorów (imię, nazwisko, PESEL) sztucznymi kodami. Nadal możesz powiązać dane z konkretną osobą, jeśli masz klucz deszyfrujący. Takie dane wciąż podlegają RODO.

Anonimizacja idzie dalej. Po jej przeprowadzeniu nie da się już zidentyfikować osoby, nawet dysponując dodatkowymi informacjami. Dopiero wtedy dane przestają być danymi osobowymi i można je swobodniej wykorzystywać do badań czy trenowania modeli.

Problem w tym, że skuteczna anonimizacja danych medycznych jest trudna. Usunięcie imienia i PESEL nie wystarczy. Kombinacja płci, roku urodzenia, kodu pocztowego i rzadkiej choroby może jednoznacznie wskazać konkretną osobę. W małych społecznościach ryzyko rośnie jeszcze bardziej.

Co należy zanonimizować

Oczywiste elementy to dane identyfikacyjne: imię, nazwisko, PESEL, adres, numer telefonu. Ale lista jest dłuższa:

Daty (urodzenia, przyjęcia, wypisu) - często zamienia się je na przedziały lub różnice czasowe
Nazwy miejscowości i placówek
Numery dokumentów i identyfikatorów systemowych
Dane biometryczne
Zdjęcia twarzy na obrazach medycznych
Wolny tekst, który może zawierać nazwiska lekarzy, członków rodziny, szczegóły pozwalające zidentyfikować pacjenta

Szczególnie problematyczny jest tekst swobodny. Lekarz może napisać: "Pacjentka, lat 45, nauczycielka z Pcimia, matka trójki dzieci, w tym bliźniąt". Nawet bez nazwiska taka kombinacja może jednoznacznie identyfikować osobę.

Standaryzacja: wspólny język dla danych

Wyobraź sobie, że zbierasz dane z dziesięciu szpitali. Każdy używa innego systemu HIS, inaczej koduje rozpoznania, stosuje różne jednostki miar. Połączenie tych danych w spójny zbiór wymaga standaryzacji.

Standardy w polskiej służbie zdrowia

Polska przyjęła standard HL7 CDA (Clinical Document Architecture) jako podstawę elektronicznej dokumentacji medycznej. Od 2019 roku e-recepty opierają się właśnie na tym standardzie. W 2021 roku nałożono na placówki obowiązek raportowania zdarzeń medycznych i wymiany elektronicznej dokumentacji według ściśle określonych zasad.

Powstała Polska Implementacja Krajowa HL7 CDA, dostosowana do polskich wymagań prawnych i administracyjnych. Dokumenty generowane zgodnie z tym standardem mają taką samą wartość prawną jak papierowe.

Na horyzoncie pojawia się również standard HL7 FHIR (Fast Healthcare Interoperability Resources). Jest nowocześniejszy, oparty na API, i lepiej nadaje się do integracji z aplikacjami mobilnymi i systemami analitycznymi. W Polsce trwają prace nad specyfikacją bazową FHIR, harmonizowaną z europejskimi standardami w ramach EHDS (European Health Data Space).

Słowniki i klasyfikacje

Standaryzacja to nie tylko format wymiany danych. To także ujednolicone słownictwo. W medycynie stosuje się:

ICD-10 (wkrótce ICD-11) do kodowania rozpoznań
LOINC do nazewnictwa badań laboratoryjnych
SNOMED CT jako kompleksową terminologię medyczną
ATC do klasyfikacji leków

Jeśli jeden szpital koduje cukrzycę jako E11, a drugi zapisuje "diabetes mellitus typu 2", algorytm nie połączy tych informacji bez dodatkowej pracy.

Praktyczny przepływ przygotowania danych

Przygotowanie danych do uczenia maszynowego to proces wieloetapowy. Poniżej przedstawiam typowy przepływ, który sprawdza się w projektach medycznych.

Etap 1: Audyt i inwentaryzacja

Zanim zaczniesz cokolwiek przetwarzać, musisz wiedzieć, co masz. Zidentyfikuj wszystkie źródła danych: systemy HIS, RIS (radiologia), LIS (laboratorium), PACS (obrazy), archiwa papierowe. Dla każdego źródła ustal format, zakres czasowy, kompletność, jakość.

Ten etap często ujawnia przykre niespodzianki. Może się okazać, że kluczowe dane istnieją tylko na papierze. Albo że system zmienił format dwa lata temu i starsze dane są niekompatybilne z nowszymi.

Etap 2: Ekstrakcja i integracja

Dane trzeba wyciągnąć z systemów źródłowych. W przypadku baz SQL to stosunkowo proste. Gorzej z systemami zamkniętymi, gdzie eksport wymaga współpracy z dostawcą oprogramowania.

Szczególnym wyzwaniem są dane niestrukturalne. Notatki lekarskie wymagają przetwarzania języka naturalnego (NLP). Wyniki badań w PDF trzeba poddać OCR. Obrazy medyczne w formacie DICOM zawierają metadane, które też trzeba wyekstrahować i oczyścić.

Na tym etapie przydają się specjalizowane narzędzia. Modele NER (Named Entity Recognition) potrafią rozpoznawać encje medyczne w tekście, np. nazwy leków, objawy, rozpoznania. Modele OCR wyspecjalizowane w dokumentacji medycznej radzą sobie lepiej niż rozwiązania ogólnego przeznaczenia.

Etap 3: Czyszczenie i walidacja

To najbardziej czasochłonny etap. Obejmuje:

Usuwanie duplikatów (ten sam pacjent pod różnymi ID)
Korektę błędów (literówki w rozpoznaniach, nieprawidłowe jednostki)
Uzupełnianie braków (imputacja lub oznaczenie jako brakujące)
Walidację zakresu wartości (czy glukoza 5000 mg/dl to błąd, czy rzeczywiście tak wysoka?)
Standaryzację formatów (daty, jednostki, kodowania)

Walidacja powinna angażować ekspertów medycznych. Tylko lekarz oceni, czy kombinacja rozpoznań ma sens kliniczny, czy to błąd w danych.

Etap 4: Anonimizacja

Po oczyszczeniu następuje anonimizacja. Kolejność jest istotna. Trudniej wyczyścić dane, gdy nie widzisz już oryginalnych identyfikatorów.

Anonimizacja powinna być przeprowadzona przez dedykowane narzędzia, nie ręcznie. Automatyczne systemy wykrywają więcej potencjalnych identyfikatorów i robią to konsekwentnie.

Etap 5: Transformacja i feature engineering

Surowe dane rzadko nadają się bezpośrednio do modelu. Trzeba je przekształcić:

Agregacja (np. średnia wartość ciśnienia z ostatnich 5 wizyt)
Tworzenie cech pochodnych (np. BMI z wagi i wzrostu)
Kodowanie zmiennych kategorycznych
Normalizacja wartości liczbowych
Tworzenie sekwencji czasowych dla danych longitudinalnych

Ten etap wymaga ścisłej współpracy data scientistów z lekarzami. Inżynier danych nie wie, że stosunek neutrofili do limfocytów ma znaczenie prognostyczne. Lekarz nie wie, jak to zakodować dla algorytmu.

Etap 6: Podział i wersjonowanie

Dane dzieli się na zbiory treningowy, walidacyjny i testowy. W danych medycznych trzeba uważać na wycieki informacji. Jeśli ten sam pacjent trafi do zbioru treningowego i testowego, model może "oszukiwać".

Równie ważne jest wersjonowanie. Musisz wiedzieć, jakie dane posłużyły do trenowania konkretnej wersji modelu. Bez tego nie odtworzysz eksperymentu ani nie zdiagnozujesz problemów.

Na co szczególnie uważać

Reprezentatywność danych

Model nauczy się tego, co mu pokażesz. Jeśli trenujesz na danych z jednego szpitala klinicznego w dużym mieście, model może nie działać w szpitalu powiatowym. Populacje pacjentów się różnią.

Podobnie z czasem. Dane sprzed pandemii COVID-19 mogą nie odzwierciedlać obecnej praktyki klinicznej. Protokoły leczenia się zmieniły.

Etykiety i ground truth

Uczenie nadzorowane wymaga etykiet. W medycynie ustalenie "prawdy" bywa trudne. Czy rozpoznanie postawione przez jednego lekarza jest pewne? Czy wynik biopsji z 2020 roku to nadal aktualna informacja?

Jakość etykiet bezpośrednio przekłada się na jakość modelu. Błędne etykiety uczą model złych wzorców.

Nierównowaga klas

Rzadkie choroby są rzadkie także w danych. Model trenowany na 10 000 przypadków, z czego 50 to poszukiwana patologia, będzie miał problem. Techniki takie jak oversampling, undersampling czy ważenie klas pomagają, ale nie eliminują problemu całkowicie.

Wyjaśnialność

Lekarz nie zaakceptuje rekomendacji "czarnej skrzynki". Musi rozumieć, dlaczego model sugeruje konkretną diagnozę czy leczenie. Dlatego coraz większy nacisk kładzie się na XAI (Explainable AI). Już na etapie przygotowania danych warto myśleć o tym, jak późniejsze wyniki będą interpretowane.

Podsumowanie: kluczowe wnioski

Dane szpitalne wymagają gruntownego przygotowania przed użyciem w uczeniu maszynowym. Bez tego nawet najlepszy algorytm nie zadziała.
Anonimizacja to wymóg prawny i etyczny. Pseudonimizacja nie wystarcza do swobodnego wykorzystania danych do badań.
Standaryzacja według HL7 CDA i FHIR ułatwia integrację danych z różnych źródeł i przygotowuje na wymianę w ramach europejskiej przestrzeni danych.
Proces przygotowania obejmuje audyt, ekstrakcję, czyszczenie, anonimizację, transformację i podział danych. Każdy etap wymaga staranności.
Współpraca informatyków z lekarzami jest kluczowa. Bez wiedzy domenowej łatwo popełnić błędy, które dyskwalifikują cały zbiór.
Reprezentatywność, jakość etykiet i nierównowaga klas to pułapki, na które trzeba uważać od samego początku projektu.

Chcesz dowiedzieć się więcej? Skontaktuj się z nami

Źródła

Rynek Zdrowia: "Zbieramy mnóstwo danych o pacjentach. Wiele z nich jest jednak bezużytecznych" - https://www.rynekzdrowia.pl/E-zdrowie/Zbieramy-mnostwo-danych-o-pacjentach-Wiele-z-nich-jest-jednak-bezuzytecznych,243604,7.html
Centrum e-Zdrowia: Standardy gromadzenia danych - https://ezdrowie.gov.pl/portal/home/interoperacyjnosc/standardy-gromadzenia-danych
HL7 Poland: Polska specyfikacja bazowa HL7 FHIR - https://build.fhir.org/ig/HL7-Poland/pl-fhir-base/
Najwyższa Izba Kontroli: "RODO w szpitalu" - https://www.nik.gov.pl/aktualnosci/rodo-w-szpitalu.html
LexDigital: "Ochrona danych osobowych w służbie zdrowia" - https://lexdigital.pl/ochrona-danych-osobowych-w-sluzbie-zdrowia
Rynek Zdrowia: "Standardy HL7 w opiece zdrowotnej" - https://www.rynekzdrowia.pl/E-zdrowie/Standardy-HL7-w-opiece-zdrowotnej-Kluczowe-dla-e-recept-i-wymiany-danych-medycznych,246667,7.html
Prawo.pl: "Ochrona danych medycznych - problemy w szpitalach" - https://www.prawo.pl/zdrowie/ochrona-danych-medycznych-problemy-w-szpitalach,529506.html
Biotechnologia.pl: "W jakich obszarach medycyny sprawdzi się uczenie maszynowe?" - https://biotechnologia.pl/technologie/w-jakich-obszarach-medycyny-sprawdzi-sie-uczenie-maszynowe,22035
Nauka PAN: "Sztuczna inteligencja w medycynie – stan aktualny i wyzwania wdrożeniowe" - https://nauka-pan.pl/index.php/nauka/article/download/971/1014/1004