Norsk Tech

Fastlegers KI-bruk skaper bekymring: – Finner store avvik hver gang

Det norske Direktoratet for medisinske produkter (DMP) slår alarm etter å ha avdekket kritiske feil og store avvik i nesten samtlige KI-verktøy som norske fastleger nå bruker på legekontorene. Verktøyene, som i stor grad benyttes til å transkribere pasientsamtaler, oppsummere konsultasjoner og skrive journaler, risikerer å dikte opp symptomer eller utelate livsviktig informasjon. Konsekvensen er i verste fall at pasienter feildiagnostiseres eller får feil behandling på grunn av algoritmer som "hallusinerer".

Hverdagen for norske fastleger er preget av et enormt tidspress og tunge administrative oppgaver. Det er derfor lett å forstå at mange har kastet seg over nye KI-baserte journalskriveverktøy som lover å halvere tiden brukt på papirarbeid. Problemet er at mange av disse løsningene har sneket seg inn bakveien uten tilstrekkelig testing, risikovurdering eller den nødvendige CE-merkingen som kreves for medisinsk utstyr. Tilsynsmyndighetene opplever nå at markedet flommer over av uregulerte verktøy som tas i bruk uten at ledelsen ved legekontorene fullt ut forstår det juridiske ansvaret de påtar seg.

For gründere og produktledere i helseteknologisektoren fungerer dette som et kraftig signal om at tiden for å "leke butikk" med uregulerte språkmodeller er forbi. Å pakke inn en standard språkmodell i et pent grensesnitt og selge det som et klinisk verktøy vil raskt stoppes av myndighetene. Tech-selskaper som ønsker å lykkes i dette markedet fremover, må investere tungt i formell CE-merking etter det strenge MDR-regelverket (Medical Device Regulation) og kunne dokumentere klinisk sikkerhet overfor profesjonelle innkjøpere.

For eiere og administrative ledere av private klinikker og helseforetak krever denne situasjonen umiddelbar handling i form av IT-revisjon. Å la ansatte leger ta i bruk eksterne KI-verktøy på eget initiativ representerer en enorm juridisk risiko knyttet til både pasientsikkerhet og personvern (GDPR). Ledelsen må etablere strenge retningslinjer mot "skygge-KI", og kreve dokumentert samsvarsvurdering for alle verktøy som behandler pasientopplysninger.

Les hele saken hos NRK Teknologi