In einer Studie verglich das Team die Genauigkeit in Diagnose und Therapieempfehlung von zwei verschiedenen Algorithmen in Smartphone-Anwendungen mit jener von Ärzten.
Das Forschungsteam prüfte die KI-Anwendung unter realistischen klinischen Bedingungen in zwei Hautkrebszentren, der Universitätsklinik für Dermatologie der MedUni Wien und dem Sydney Melanoma Diagnostic Centre in Australien. Die prospektive Studie bestand aus zwei Szenarien,
- wobei die KI in Szenario A bei auf Hautkrebs verdächtigen Veränderungen eingesetzt wurde und
- in Szenario B bei Patienten mit vielen Muttermalen.
- Die KI-gestützte Anwendung wurde in beiden Fällen sowohl mit medizinischen Experten als auch weniger erfahrenen Ärzten verglichen.
In Szenario A wurden 172 verdächtige pigmentierte Läsionen (davon 84 bösartig) bei 124 Patienten untersucht; in Szenario B analysierte das Forschungsteam 5696 pigmentierte Läsionen (davon 18 bösartig) bei 66 Patienten.
Es wurden zwei verschiedene KI-gestützte Smartphone-Anwendungen verwendet:
- ein neuartiger 7-Klassen-KI-Algorithmus und
- ein bereits in retrospektiven Vorstudien verwendeter ISIC-Algorithmus.
In Szenario A zeigte der 7-Klassen-KI-Algorithmus eine äquivalente diagnostische Genauigkeit im Vergleich mit den Experten, während er den weniger erfahrenen Ärzten signifikant überlegen war. Der ISIC-Algorithmus dagegen schnitt im Vergleich zu den Experten signifikant schlechter ab, jedoch besser als die unerfahrenen Anwender.
KI-Entscheidungen kritisch betrachten
In Bezug auf Behandlungsentscheidungen war der 7-Klassen-Algorithmus den Experten signifikant unterlegen, jedoch den unerfahrenen Anwender überlegen. Die Ergebnisse deuten darauf hin, dass eine KI-gestützte Smartphone-Anwendung zur Hautkrebsdiagnose in einem realen klinischen Szenario ähnlich gute diagnostische Entscheidungen trifft wie Experten.
Bei Behandlungsentscheidungen dagegen waren die Experten der KI überlegen. Kittler: «Die KI-Anwendung neigt in der Behandlungsempfehlung tendenziell dazu, mehr gutartige Läsionen zu entfernen, als Experten das würden. Wenn man das beachtet, ist die KI-Anwendung durchaus einsetzbar. Zu bedenken ist auch, dass bei unkritischem Einsatz zuviele falsch-positive Befunde abgeklärt werden müssten.»PS