AFFILIAZIONE
università degli studi di trieste
AUTORE PRINCIPALE
Dr. Kresevic Simone
Registrazione obbligatoria. Una valutazione consentita
GRUPPO DI LAVORO
MD Giuffrè Mauro yale university
Prof Ajcevic Milos università degli studi di trieste
Prof Crocè Lory Saveria università degli studi di trieste
Prof Shung Dennis yale university
Prof Accardo Agostino università degli studi di trieste
Prof Ajcevic Milos università degli studi di trieste
Prof Crocè Lory Saveria università degli studi di trieste
Prof Shung Dennis yale university
Prof Accardo Agostino università degli studi di trieste
AREA TEMATICA
Applicazioni di intelligenza artificiale in sanità
ABSTRACT
Nei sistemi di supporto alle decisioni cliniche (CDSS), è essenziale integrare le più recenti raccomandazioni presenti nelle linee guida mediche per ottimizzare la cura dei pazienti. Tuttavia, nella pratica clinica, l’aderenza alle linee guida risulta essere non ottimale in quanto la loro complessità ostacola il recupero efficace e l’interpretazione corretta delle informazioni. Risulta necessario sviluppare delle soluzioni scalabili e affidabili in grado di migliorare i CDSS. I Large Language Models (LLM) hanno il potenziale di ottimizzare la trasmissione di informazioni rilevanti delle linee guida agli operatori sanitari, e potrebbero così migliorare i CDSS.
In ambito clinico, un LLM dovrebbe saper generare risposte che aderiscano ai principi di Honesty, Helpfulness, and Harmlessness (HHH) e, per rispettare tale principio, un LLM dovrebbe essere vincolato ad un insieme specifico di conoscenze di dominio. Le due possibili strategie per generare risposte pertinenti sono la Retrieval Augmented Generation (RAG) e il Fine-Tuning (FT). Entrambe le tecniche permettono di specializzare un LLM sul contenuto delle linee guida mediche; tuttavia, il FT richiede molte risorse hardware e un nuovo addestramento ogniqualvolta le linee guida dovessero essere modificate.
In questo studio, per valutare la fattibilità dell’integrazione di un LLM nei CDSS, è stato proposto un framework per customizzare l’LLM GPT4 con il contenuto delle linee guida per il management dell’epatite C.
Sono stati condotti cinque esperimenti confrontando il modello base GPT4 con la sua customizzazione mediante RAG, la formattazione strutturata delle linee guida e il promt engineering. È stato sviluppato un test set di 20 domande focalizzate sulle linee guida sul management dell’epatite C. Ogni domanda è stata proposta 5 volte e l’accuratezza complessiva delle risposte generate nei vari esperimenti è stata valutata qualitativamente in termini di completezza e correttezza da tre epatologi esperti.
L’accuratezza delle risposte fornite dal GPT4 base è stata del 43%, mentre per le risposte generate dal framework proposto è aumentata al 99%. Lo studio ha dimostrato miglioramenti significativi grazie alla formattazione strutturata delle linee guida e al prompt engineering.
L’approccio proposto ha dimostrato la capacità di un framework basato su un LLM di generare risposte cliniche conformi al principio HHH e coerenti con le linee guida stabilite, aprendo la strada all’incorporazione dei LLM nei CDSS.
In ambito clinico, un LLM dovrebbe saper generare risposte che aderiscano ai principi di Honesty, Helpfulness, and Harmlessness (HHH) e, per rispettare tale principio, un LLM dovrebbe essere vincolato ad un insieme specifico di conoscenze di dominio. Le due possibili strategie per generare risposte pertinenti sono la Retrieval Augmented Generation (RAG) e il Fine-Tuning (FT). Entrambe le tecniche permettono di specializzare un LLM sul contenuto delle linee guida mediche; tuttavia, il FT richiede molte risorse hardware e un nuovo addestramento ogniqualvolta le linee guida dovessero essere modificate.
In questo studio, per valutare la fattibilità dell’integrazione di un LLM nei CDSS, è stato proposto un framework per customizzare l’LLM GPT4 con il contenuto delle linee guida per il management dell’epatite C.
Sono stati condotti cinque esperimenti confrontando il modello base GPT4 con la sua customizzazione mediante RAG, la formattazione strutturata delle linee guida e il promt engineering. È stato sviluppato un test set di 20 domande focalizzate sulle linee guida sul management dell’epatite C. Ogni domanda è stata proposta 5 volte e l’accuratezza complessiva delle risposte generate nei vari esperimenti è stata valutata qualitativamente in termini di completezza e correttezza da tre epatologi esperti.
L’accuratezza delle risposte fornite dal GPT4 base è stata del 43%, mentre per le risposte generate dal framework proposto è aumentata al 99%. Lo studio ha dimostrato miglioramenti significativi grazie alla formattazione strutturata delle linee guida e al prompt engineering.
L’approccio proposto ha dimostrato la capacità di un framework basato su un LLM di generare risposte cliniche conformi al principio HHH e coerenti con le linee guida stabilite, aprendo la strada all’incorporazione dei LLM nei CDSS.
