Kokoro TTS, interamente sul tuo iPhone

Quasi tutti i modi per ascoltare Kokoro passano da una macchina che non è la tua: uno script Python su un portatile, uno Space sulla GPU di qualcun altro, un endpoint ospitato dietro una chiave. Sandbook è l’altra strada. Il file del modello sta nel pacchetto dell’app, l’inferenza gira sulla GPU del telefono e l’audio non esiste da nessun’altra parte.

Questo cambia ciò che l’app può promettere. Niente viene messo in coda, conteggiato o limitato, perché dall’altra parte non c’è nessuno a conteggiare. Non c’è un tetto di caratteri, perché nessuno paga a carattere. Puoi aprire un libro di 400 pagine in modalità aereo e si comporta esattamente come in Wi‑Fi.

Cambia anche ciò che l’app non può fare. Tutto quello che segue è la forma onesta di questo compromesso.

Da un computer puoi provare Kokoro nel browser prima di installare: lo stesso modello e tutte le 41 voci girano nella scheda, gratis, e niente di quello che scrivi viene caricato online.

Il motore è Kokoro-82M, il modello di sintesi vocale a pesi aperti, adattato per girare con Apple MLX, il framework di Apple per il calcolo su array che lavora sulla GPU del dispositivo tramite Metal. È grazie a MLX che un modello da 82 milioni di parametri, con un codificatore di testo in stile ALBERT, un predittore di durata LSTM, un predittore prosodico e un vocoder iSTFTNet, è pratico su un telefono e non solo possibile.

Il testo viene convertito in fonemi, diviso in corrispondenza della fine delle frasi e sintetizzato frase per frase con un anticipo di due frasi. La riproduzione parte appena la prima frase è pronta, mentre le successive vengono generate dietro, così un capitolo comincia più o meno nel tempo che serve a leggerne il titolo: non aspetti mai che un intero documento sia pronto prima di sentire qualcosa.

La velocità va da 0,5× a 2,5× e viene applicata dentro il modello, scalando la durata prevista dei fonemi, non ricampionando la forma d’onda finita. A 2× resta una persona che parla in fretta, non uno scoiattolo.

I pesi vengono caricati dal pacchetto dell’app, non scaricati. Sandbook è un download grande di proposito (circa 276 MB, con il modello e tutte le 41 voci inclusi), ed ecco cosa ti dà in cambio:

• I pesi kokoro-v1_0: 82 milioni di parametri, letti direttamente dal pacchetto dell’app alla prima riproduzione.
• 41 embedding di voce: un tensore di stile per voce, tutti inclusi, nessuno bloccato o a pagamento.
• Una build di eSpeak NG per la conversione in fonemi, compilata nell’app come framework.

Dopo l’installazione non viene scaricato nulla, e nulla arriva in streaming durante l’uso. Il modello si carica al primo tocco su play e non all’avvio, così l’app si apre in fretta anche se il carico è pesante.

Il Kokoro originale ha voci in diverse lingue. Sandbook ne include sei: en-us e en-gb (28 voci), più spagnolo, francese, italiano, portoghese brasiliano e hindi, per un totale di 41 voci Kokoro. eSpeak NG cambia lingua con la voce che scegli, e la pulizia del testo inglese (date, prezzi, unità di misura, sigle) si applica solo alle voci inglesi. Le voci Kokoro in spagnolo, francese, italiano, portoghese e hindi su un iPhone, offline, sono la parte che nessuna demo ospitata ti dà.

Altri due limiti da conoscere prima di installare. La lettura in tempo reale si mette in pausa quando lo schermo si blocca: il modello occupa memoria GPU vera, e iOS sospende quel lavoro in background. Puoi preparare prima l’audio di un capitolo e poi ascoltarlo a schermo bloccato. E servono iOS 18.2 su iPhone 12 o successivo, oppure un iPad con chip A14 o M1 o successivo, perché MLX ha bisogno di quella famiglia di GPU.

Non ci sono nemmeno fusione delle voci, vettori di stile personalizzati o un dizionario di pronuncia: un solo livello di qualità, lo stesso modello da 82 milioni di parametri a 24 kHz per ogni voce.

Importa EPUB, PDF, TXT, RTF, Markdown o HTML dal selettore dell’app File, con “Apri con Sandbook” o dal menu Condividi di qualsiasi app. Aggiungi una pagina web dal menu + della Libreria o da Safari, e l’app tiene l’articolo e scarta menu, pubblicità e banner dei cookie. Scansiona pagine stampate con la fotocamera, o scegli una foto, e il testo viene riconosciuto sul dispositivo. Oppure scrivi, incolla o leggi dagli appunti.

I libri hanno l’evidenziazione parola per parola dentro il paragrafo corrente leggermente colorato, un selettore dei capitoli, la lettura dal paragrafo che tocchi, e si riaprono dal paragrafo in cui ti eri fermato. Ogni libro ricorda la sua voce e la sua velocità. Il testo nella scheda Lettore si può anche esportare come file M4A dal menu Condividi.