Agenti AI e sanità, rischi giuridici se si superano limiti » inno3

Gli agenti di intelligenza artificiale segnano un salto di qualità nell’uso dell’AI in sanità. Non siamo più davanti a strumenti che si limitano a generare testi, riassumere documenti o recuperare informazioni. Un agente AI può interrogare banche dati, combinare fonti, produrre sintesi, suggerire azioni e inserirsi in processi clinici o amministrativi. È proprio questa crescente capacità operativa a rendere il tema particolarmente delicato sul piano giuridico. Nel quadro europeo, infatti, i sistemi di AI destinati a usi medici possono rientrare tra quelli ad alto rischio, con obblighi specifici in materia di gestione del rischio, qualità dei dati, supervisione umana e informazione agli utenti.

Il primo punto critico riguarda i dati. In sanità, l’efficienza non basta a legittimare il trattamento: entrano in gioco dati sanitari, quindi categorie particolari di dati personali soggette a una protezione rafforzata. Questo significa che l’impiego di agenti AI non può essere governato solo con logiche di innovazione o produttività. Servono base giuridica, finalità determinate, minimizzazione, misure di sicurezza adeguate e un’impostazione coerente con accountability e privacy by design.
Il Garante privacy ha richiamato di recente l’attenzione su un rischio molto concreto: la pratica, sempre più diffusa, di caricare referti, analisi cliniche o radiografie su piattaforme di IA generativa per ottenere interpretazioni o diagnosi. È un fenomeno che mostra bene quanto il rischio non sia solo teorico, ma già operativo e quotidiano.

Il secondo nodo è la qualificazione del sistema. In sanità non basta chiedersi se uno strumento sia utile: bisogna capire che cosa sia, giuridicamente. Alcuni agenti AI  resteranno strumenti organizzativi o amministrativi. Altri, però, potrebbero entrare nel perimetro del software medicale o del dispositivo medico, a seconda della funzione svolta e dell’impatto sul processo di cura. La Commissione europea ha chiarito che, per i medical device che incorporano AI, la disciplina dei dispositivi medici e l’AI Act si applicano in modo simultaneo e complementare: Mdr (Medical Device Regulation) e Ivdr (In Vitro Diagnostic Regulation) coprono il profilo del dispositivo, mentre l’AI Act aggiunge requisiti specifici rispetto ai rischi propri dell’intelligenza artificiale. Questo è un passaggio decisivo, perché il mercato tende spesso a presentare questi strumenti come semplici assistant o copilot, mentre la funzione concreta può avere un peso ben più rilevante.

C’è poi un profilo meno visibile, ma forse ancora più insidioso: la trasparenza effettiva del processo. Un agente AI sanitario raramente coincide con un singolo software. Più spesso è il risultato di una filiera tecnica composta da modello, interfaccia, orchestratore, sistemi di retrieval e connessioni con banche dati interne o esterne. Questa architettura rende più difficile capire su quali basi il sistema abbia prodotto un suggerimento, una sintesi o una priorità. E in sanità l’opacità non è un problema soltanto tecnico: è un problema giuridico, organizzativo e probatorio, perché rende più complesso verificare la correttezza del processo, ricostruire un errore e dimostrare la conformità del sistema. Anche la Who (World Health Organization – Organizzazione Mondiale della sanità), nelle proprie linee di indirizzo sui modelli generativi e multimodali per la salute, sottolinea che l’adozione di queste tecnologie richiede presidi di governance specifici.

Da qui discende il tema della supervisione umana. In sanità non è sufficiente che il professionista resti formalmente “nel loop”. La supervisione deve essere reale, consapevole e documentabile. Il rischio, altrimenti, è quello dell’affidamento passivo: l’operatore si fida del sistema perché l’output appare rapido, ben formulato e plausibile. Ma un agente AI può sbagliare anche senza produrre errori vistosi. Può omettere un dato rilevante, attribuire troppo peso a un’informazione marginale, costruire una sintesi incompleta o suggerire una priorità non adeguata. L’AI Act insiste molto sulla human oversight e, già dal 2 febbraio 2025, si applicano anche gli obblighi di AI literacy, che impongono a provider e deployer di assicurare un livello sufficiente di competenze del personale coinvolto nell’uso dei sistemi. In sanità questo punto è centrale: senza formazione e senza consapevolezza dei limiti tecnici dello strumento, il controllo umano rischia di restare solo sulla carta.

A questo si collega il tema della responsabilità. Se un agente AI contribuisce a un errore di triage, a una sintesi incompleta della cartella, a una indicazione non appropriata o a un difetto nella gestione del percorso del paziente, chi risponde? Il medico? La struttura? Il fornitore? L’integratore? Il produttore del modello? La risposta dipenderà dai casi, ma una cosa è già chiara: non ha molto senso immaginare una generica “responsabilità della macchina”. Il vero problema sarà ricostruire le responsabilità umane e organizzative lungo tutta la filiera: scelta del sistema, configurazione, validazione, limiti di utilizzo, istruzioni operative, monitoraggio e audit. È per questo che l’adozione di agenti AI in sanità non può essere gestita come una semplice acquisizione di software, ma richiede un vero modello di governance.

Infine, c’è un tema destinato a pesare sempre di più anche in chiave contenziosa: la tracciabilità. In futuro sarà essenziale poter ricostruire quale sistema è stato usato, con quale versione, su quali dati, con quali istruzioni e con quale output. Senza log, audit trail e controlli interni adeguati, la gestione del rischio si indebolisce e l’accertamento delle responsabilità diventa molto più difficile. In sanità, dove il margine di errore tollerabile è fisiologicamente basso, questa è una criticità che non può essere sottovalutata.

In definitiva, il punto non è stabilire se gli agenti AI debbano entrare o meno nella sanità: il loro ingresso è già iniziato. Il vero tema giuridico è evitare che strumenti pensati per aumentare efficienza e supporto operativo vengano introdotti in un settore ad altissima sensibilità senza un quadro adeguato di regole, controlli e responsabilità. In sanità, più che altrove, innovare non significa soltanto adottare nuove tecnologie. Significa dimostrare di saperle governare.

* Andrea Cavalloni, avvocato, si occupa dei temi legati alle nuove tecnologie, con specializzazione maturata nell’ambito del diritto d’autore e della tutela giuridica del software

© RIPRODUZIONE RISERVATA