Hudcancer appar “kan inte åberopas för korrekta resultat’, studie finner

Smartphone-appar som utformats för att upptäcka risk för hudcancer är dåligt reglerad och “ofta inte kan åberopas för att producera korrekta resultat”, enligt en ny analys.

Forskare baserade vid Universitetet i Birmingham, Institutet för Tillämpad medicinsk Forskning i samarbete med Centrum för evidensbaserade Dermatologi vid University of Nottingham, har analyserat en rad studier för att utvärdera riktigheten av sex olika program.

Resultaten, som publiceras i BMJ, visar en blandad bild, med endast ett litet antal studier som visar rörliga och opålitliga test noggrannhet bland de appar som utvärderas.

De finns appar som kan leda till skada på grund av underlåtenhet att identifiera potentiellt dödliga hudcancer, eller från över-undersökning av falskt positiva resultat såsom att ta bort ett ofarligt födelsemärke i onödan.

Forskaren, Dr Jac Dinnes, från Institutet för Tillämpad Forskning om Hälsa, sade: “Detta är en snabb-rörliga området och det är verkligen en besvikelse att det inte bättre kvalitet bevis som finns för att bedöma effekten av dessa program.

“Det är viktigt att hälso-och sjukvårdspersonal är medvetna om den nuvarande begränsningar både i teknik och i sina utvärderingar.”

I en ledare på resultaten för British Medical Journal, Jessica Bengtsson, University of Oxford DataLab politik leder, Dr Ben Goldacre, DataLab direktör, och Luciano Floridi, som är professor i filosofi och etik av information vid Universitetet i Oxford, sade förtroende i artificiell intelligens (AI) som bygger på principen om “myt” av en objektiv algoritm för att informera teknik.

Men det system för att skapa och genomföra bevis har ännu inte uppfyllt de särskilda utmaningar, tillade de.

Studien tittade på nio olika program och funnit bevis för riktigheten var “saknas”.

Två av dessa apps är för närvarande tillgänglig i STORBRITANNIEN: SkinScan och SkinVision. Båda är godkänd och reglerad som en Klass 1 medicinsk utrustning och båda har CE-märkning.

Studien fann SkinScan utvärderades i en studie av 15 bilder med fem melanom. Appen inte identifiera någon av de melanom.

SkinVision utvärderades i två studier. En studie av 108 mullvadar, varav 35 var cancer eller precancerösa, uppnås en känslighet på 88% och en specificitet på 79%.

Det innebär att 12% av patienter med cancer eller precancerösa mullvadar skulle missas, medan 21% av de icke-problematiska mullvadar skulle vara som felaktigt har identifierats som potentiellt cancerframkallande, BMJ studie fann.

Men både appar marknadsförs med påståenden om att de kan “upptäcka cancer på ett tidigt stadium” eller “track födelsemärken över tiden med syfte att fånga melanom i ett tidigare skede av sjukdomen, forskare lagt till.

Andra studier har tidigare konstaterats SkinVision utför “väl över” en GP för att upptäcka hudcancer.

Åtgärder till förbättring

Dr Dinnes sade: “Eftersom tekniken fortsätter att utvecklas, dessa typer av program kommer sannolikt att locka till sig allt större uppmärksamhet för hud cancer diagnos, så det är verkligen viktigt att de är ordentligt utvärderade och reglerade.”

Forskarna gjort ett antal rekommendationer för framtida studier av smartphone-appar:

Studier måste vara baserade på kliniskt relevanta populationen av smartphone-användare som kan ha farhågor om risken för hudcancer
Alla hudförändringar som identifierats av smartphone-användare måste vara med – inte bara de som identifierats som potentiellt problematiska
Klinisk uppföljning av benigna lesioner måste ingå i studien för att ge mer tillförlitliga och generaliserbara resultat

För att förbättra tillförlitligheten i AI apps reglering, styrning och kulturella förändringar som behövs, Morley, Goldacre och Floridi skrev.

Tillsynsmyndigheter är vana vid att hantera läkemedel kommer att kräva ny kompetens för att utvärdera digital teknik och där är det inte utvärderas det bör vara tydligt flaggat för att patienter och beslutsfattare, de förklarade.

Medan kliniker, patienter och kommissionärerna måste bli bättre informerade om hur man ska värdera en AI-app, som kommer att hjälpa till att driva på bättre innovation, tillade de.

Relaterade Inlägg

BCS öppnar officiellt KLÄMTA STORBRITANNIEN chapterApp hud cancer upptäckt capability ” samt ovan av GPs’Beyond huden djup: med hjälp av maskininlärning för att förhindra 250,000 cancer deathsKey CES digital hälsa och wellness-tech trends för att titta på