Assistente IA per Documenti Privati

Il modello predefinito è Qwen2.5-3B-Instruct quantizzato, da 3 miliardi di parametri, scelto perché il suo vocabolario molto ampio frammenta meno i termini italiani rispetto ai modelli anglocentrici di dimensioni simili. Resta un modello compatto: comprende e riformula bene i testi, ma può sbagliare riferimenti normativi, date e importi, e non va usato come fonte di diritto. Ogni risposta va verificata sul documento originale: è un supporto alla lettura, non un parere.

Quando alleghi un file, un Web Worker separato ne estrae il testo con pdf.js per i PDF e con Mammoth.js per i documenti Word; il testo viene poi inserito nella richiesta inviata al modello. Dai PDF che contengono solo immagini non si ricava alcun testo: vanno prima passati allo strumento OCR. Il testo dell'allegato resta nella memoria della scheda per la conversazione in corso e non viene scritto nella cronologia salvata sul dispositivo.

La memoria intermedia del modello (KV-Cache) occupa memoria grafica proporzionale alla lunghezza del testo caricato. Oltre le 3.500 parole circa lo strumento avvisa che la memoria potrebbe non bastare: in quel caso conviene dividere il documento per capitoli e analizzarli uno alla volta. Anche la conversazione consuma memoria, perché a ogni domanda vengono rinviati al modello tutti i messaggi precedenti: per un nuovo documento è meglio aprire una nuova analisi.

Un modello linguistico non legge il documento come farebbe una persona. Lo trasforma in una sequenza di numeri, la elabora attraverso miliardi di moltiplicazioni matriciali e genera la risposta un frammento alla volta, scegliendo a ogni passo il frammento statisticamente più coerente con tutto ciò che precede.

Dalla parola al token

Il testo estratto dal file viene suddiviso in token, unità sub-lessicali che non coincidono con le parole. Un vocabolario ampio, come quello da oltre centocinquantamila voci dei modelli Qwen 2.5, riduce la frammentazione dei termini italiani: un'espressione tecnica come «inadempimento contrattuale» viene rappresentata con pochi token invece che con una lunga catena di sillabe, preservando il significato e riducendo il consumo di memoria.

• Stima pratica per l'italiano: 1 parola = circa 1,3 - 1,6 token
• Documento di 3.000 parole = circa 4.000 - 4.800 token
• Token totali = Token del documento + Token della domanda + Token della risposta
• Vincolo: Token totali <= Finestra di contesto disponibile

Quanto pesa un modello: la matematica della quantizzazione

• Memoria dei pesi = Numero di parametri x Bit per parametro / 8
• Qwen 2.5 3B in FP16: 3 miliardi x 16 bit / 8 = circa 6 GB
• Qwen 2.5 3B in INT4: 3 miliardi x 4 bit / 8 = circa 1,5 GB
• Con tabelle di scala e strati non quantizzati il download reale e di circa 1,85 GB
• Qwen 2.5 1.5B in INT4: download reale di circa 980 MB

La quantizzazione a quattro bit riduce l'ingombro dei pesi di circa quattro volte rispetto alla precisione a sedici bit. È ciò che rende possibile eseguire un modello da tre miliardi di parametri sulla scheda grafica di un normale portatile. La perdita di qualità esiste ma è contenuta, perché i pesi vengono quantizzati per gruppi, ognuno con un proprio fattore di scala che ne preserva la distribuzione.

La memoria di lavoro: la KV-Cache

• Memoria KV = 2 x Strati x Teste KV x Dimensione testa x Token x Byte per valore
• La memoria cresce in modo lineare con la lunghezza del documento
• VRAM totale richiesta = Pesi del modello + KV-Cache + Buffer di attivazione

Ogni token già letto lascia in memoria una coppia di vettori, chiave e valore, per ciascuno strato della rete. Questa memoria cresce proporzionalmente alla lunghezza del testo ed è la ragione per cui i documenti molto lunghi esauriscono la VRAM prima ancora di iniziare la risposta. La strategia corretta non è ridurre la qualità del modello ma suddividere il documento in sezioni omogenee e interrogarle separatamente.

Scegliere il livello del modello

• Regolamento UE 2016/679 (GDPR), articoli 5, 25 e 32 — principi di minimizzazione, protezione dei dati fin dalla progettazione e sicurezza del trattamento.
• Regolamento UE 2024/1689 (AI Act) — quadro europeo sull'intelligenza artificiale, che impone obblighi di trasparenza e di supervisione umana commisurati al livello di rischio dell'uso.
• Codice deontologico forense, articolo 13 — dovere di segretezza e riservatezza sulle informazioni apprese nell'esercizio del mandato.
• Codice penale, articolo 622 — punisce la rivelazione del segreto professionale da parte di chi ne abbia notizia per ragione del proprio stato o professione.
• Regolamento UE 2016/679, capo V — disciplina i trasferimenti di dati personali verso Paesi terzi, rilevante quando i servizi di IA in cloud elaborano i dati fuori dallo Spazio economico europeo.

Perché l'elaborazione locale cambia il quadro giuridico

Caricare un contratto su un servizio di intelligenza artificiale in cloud configura un trattamento di dati personali affidato a un fornitore esterno. Ne derivano obblighi precisi: la nomina del fornitore come responsabile del trattamento, la verifica delle garanzie sui trasferimenti extra-UE, la valutazione dell'eventuale uso dei contenuti per l'addestramento e, per i professionisti, il rischio di violare il segreto professionale. L'elaborazione nel browser elimina alla radice il flusso di dati verso terzi e con esso questi adempimenti.

Uso responsabile dei risultati

• Supervisione umana: le risposte vanno sempre verificate sul testo originale, soprattutto quando riguardano termini, importi, date e obblighi.
• Allucinazioni: un modello linguistico può produrre affermazioni plausibili ma non presenti nel documento. Chiedere di citare il passaggio di riferimento riduce il rischio.
• Nessun parere legale: lo strumento aiuta a leggere e organizzare un testo, ma non sostituisce la valutazione di un professionista abilitato.

Attenzione: i modelli linguistici compatti hanno una conoscenza del diritto limitata e non aggiornata in tempo reale. Non vanno usati per stabilire la normativa vigente, ma soltanto per analizzare il contenuto del documento fornito. Ogni conclusione con rilevanza giuridica o economica richiede una verifica indipendente.

I casi seguenti sono stati riprodotti con lo strumento, verificando il comportamento dell'interfaccia e l'estrazione del testo dagli allegati.

Caso 1: referto in PDF e verbale in Word allegati

• PDF di due pagine: testo estratto per intero, comprese entrambe le pagine
• File DOCX: testo estratto a partire dal titolo «VERBALE DI ASSEMBLEA»
• Estrazione eseguita in un Web Worker separato, senza invio in rete

Fino alla revisione di questo strumento l'estrazione dai PDF non funzionava affatto: il motore di lettura non riusciva ad avviarsi dentro il worker e la pagina rispondeva con un avviso fuorviante, che invitava a controllare se il file fosse protetto da password.

Caso 2: browser senza WebGPU

• Messaggio: «WebGPU non supportato. Impossibile avviare il motore locale.»
• Pulsante di attivazione: disattivato
• Riquadro della richiesta: disattivato

È la situazione tipica di molti smartphone e dei browser meno recenti. In precedenza il pulsante restava cliccabile e non produceva alcun effetto: ora è chiaramente disattivato.

Caso 3: cosa resta sul dispositivo

• Cronologia delle conversazioni: salvata nel browser (localStorage)
• Testo dei documenti allegati: non incluso nella cronologia salvata
• Pesi del modello: conservati nella cache del browser dopo il primo scaricamento

In precedenza l'intero testo dei documenti analizzati veniva scritto nella memoria del browser insieme alla conversazione, e vi restava a tempo indeterminato. Ora resta solo la richiesta visibile; per cancellare del tutto una sessione basta il pulsante ✕ accanto al suo nome.