Sintesi vocale locale, sul tuo iPhone

TTS sta per text to speech, cioè sintesi vocale: il software che trasforma le parole scritte in una voce parlata. Sintesi vocale locale (TTS locale) significa che il modello che fa questa trasformazione gira sul tuo dispositivo. Sintesi vocale nel cloud significa che gira sul computer di qualcun altro: il tuo testo viaggia in rete, un server sintetizza l’audio e l’audio ti viene rimandato indietro.

Entrambe producono una voce, quindi da fuori possono sembrare uguali. La differenza è dove avviene il lavoro, e da qui seguono tre cose. Con il cloud il testo deve viaggiare, serve una connessione nel momento in cui la voce viene prodotta, e ogni frase costa al fornitore tempo di server: per questo i lettori nel cloud contano caratteri, minuti o ore. Con la sintesi locale il testo resta dov’è, la connessione non conta, e non c’è una bolletta da recuperare.

Qualche anno fa locale voleva dire voci di sistema piatte e robotiche. Le cose sono cambiate quando i modelli vocali neurali sono diventati abbastanza piccoli da stare in un telefono e abbastanza veloci da girarci in tempo reale. Oggi la sintesi vocale locale scambia ampiezza con indipendenza, non qualità con privacy.

Il telefono è dove si legge nei posti meno prevedibili, cioè proprio dove dipendere da un server fa più male.

• Privacy per architettura. I tuoi libri, PDF e pagine scansionate non vengono caricati online, perché a nessuno servono altrove: tutto resta sul tuo dispositivo, niente viene caricato, e non c’è nessun account. La versione lunga è nella pagina sulla sintesi vocale privata.
• Modalità aereo, gallerie, segnale scarso. La voce generata sul dispositivo non si accorge che la rete è sparita. Un capitolo aperto in volo suona come uno aperto a casa. Maggiori dettagli nella pagina sulla sintesi vocale offline.
• Nessun contatore di caratteri. Quando produrre la voce non costa nulla, non c’è motivo di razionarla: nessuna quota giornaliera, nessuna ora mensile, nessuna fascia di voci premium.
• Nessuna coda. Niente caricamento, niente lavoro di rendering, niente attesa che torni un file. Premi play e la prima frase parte appena è generata.

Il motore è Kokoro-82M, un modello neurale di sintesi vocale a pesi aperti con 82 milioni di parametri. Il download è di circa 276 MB, con il modello e tutte le 41 voci inclusi, quindi al primo avvio non si scarica nulla e non ci sono chiavi API o passaggi di attivazione.

Sandbook esegue il modello sulla GPU del dispositivo con Apple MLX, il framework di Apple per il machine learning sui suoi chip. Il testo viene diviso in frasi e ognuna viene sintetizzata mentre ascolti, a 24 kHz, così la riproduzione parte dopo la prima frase e non dopo l’intero capitolo. La velocità va da 0,5× a 2,5×, e ogni parola viene evidenziata mentre viene pronunciata.

Lo stesso modello Kokoro gira in locale anche nel browser di un computer: prova Kokoro TTS in una scheda del browser, dove la voce viene generata sul tuo computer e non viene caricato nulla.

Ci sono 41 voci in sei lingue: 28 in inglese (20 americane, 8 britanniche), 3 in spagnolo, 1 in francese, 2 in italiano (Sara e Nicola), 3 in portoghese brasiliano e 4 in hindi. Leggono file EPUB, PDF, TXT, RTF, Markdown e HTML, pagine web, scansioni con la fotocamera e foto (riconosciute sul dispositivo), e testo scritto o incollato. Il testo nella scheda Lettore si può esportare come file M4A.

Far girare il modello sul telefono è una scelta che ha un prezzo, e si paga così:

• Un download grande. Il download è di circa 276 MB, con il modello e tutte le 41 voci inclusi. Le app nel cloud sono piccole perché le loro voci stanno altrove.
• Un dispositivo più recente. Sandbook richiede iOS 18.2 su iPhone 12 o successivo, oppure un iPad con chip A14 o M1 o successivo. Se il tuo iPhone è più vecchio, leggi la pagina sulla sintesi vocale su iPhone meno recenti.
• La lettura in tempo reale si mette in pausa quando lo schermo si blocca. Il modello usa la GPU, e iOS sospende quel lavoro quando l’app non è più in primo piano. Per ascoltare a schermo spento, prepara prima il capitolo, poi blocca il telefono e avvia la riproduzione.
• Meno lingue dei servizi nel cloud. Sei lingue per le voci, non decine. Un server può contenere un catalogo per cui nessun telefono ha spazio.

Qualsiasi app può dire di funzionare sul dispositivo. La prova richiede un minuto e non ti chiede di fidarti di nessuno:

1. Apri nell’app un libro, un PDF o un testo incollato.
2. Attiva la modalità aereo, con anche il Wi‑Fi spento.
3. Premi play e ascolta un capitolo intero, poi prova una voce che non hai ancora usato.

La voce generata su un server non supera questa prova. Quella generata sul telefono non se ne accorge nemmeno. In Sandbook l’unica cosa che aspetta la connessione è aggiungere una nuova pagina web, perché la pagina va scaricata dal sito che la ospita. Anche scansionare una pagina stampata con la fotocamera funziona in modalità aereo, perché pure il riconoscimento del testo avviene sul dispositivo.