Come funziona Kokoro-82M con Apple MLX su iPhone

Kokoro-82M con Apple MLX su iPhone è una delle possibili risposte a una domanda che le schede dell’App Store confondono spesso. Leggine abbastanza, tra le app di sintesi vocale offline, e raccoglierai tre spiegazioni diverse di come nasce una voce neurale su un telefono: è “optimised for the Apple Neural Engine”, oppure usa “an optimised Core ML path”, oppure gira “on a CPU, no GPU, no cloud call”. A volte ne trovi due che descrivono la stessa app.

Non sono sinonimi. Sono tre parti diverse del chip, con tre modi diversi di andare in crisi, e quale usa un’app determina cose che a chi compra interessano davvero: se continua a leggere quando blocchi lo schermo, su quanto vecchio può essere il telefono per installarla e quanto si scalda il dispositivo. Ecco quindi l’intera pipeline di un’app, passo per passo, senza nulla di arrotondato.

Un chip Apple silicon ha tre unità di calcolo a cui uno sviluppatore può puntare, e “sul dispositivo” non dice nulla su quale venga usata.

Un modello di sintesi vocale sta scomodo nel mezzo. Ogni frase ha un numero diverso di fonemi, e il predittore di durata decide in esecuzione quanti frame audio riceve ciascun fonema: le forme che attraversano la rete non si conoscono finché non si conosce la frase. È il tipo di grafo con cui una pipeline compilata a forme fisse si trova meno a suo agio, e che un framework per array sulla GPU gestisce come codice normale.

Lo stesso ragionamento vale lontano dal telefono: la versione di Kokoro che gira nel browser esegue il modello sulla scheda grafica di un computer tramite WebGPU, così puoi ascoltarlo lì prima di installare qualsiasi cosa.

Ecco cosa succede, in ordine, tra il momento in cui tocchi Riproduci e il primo suono.

La velocità di riproduzione va da 0,5× a 2,5× a passi di un decimo, e non viene applicata all’audio. Divide le durate previste dal modello prima che parta il decodificatore, così il modello sintetizza un enunciato più breve invece di uno normale riprodotto più in fretta. L’altezza resta intatta, perché non viene ricampionato nulla: chi parla sta davvero parlando più veloce.

È un dettaglio che può permettersi solo un’app con il modello dentro il proprio processo. Se la voce arriva da un server come file audio già pronto, l’unica leva che hai è la velocità di riproduzione, e oltre 1,5× circa si sente.

La sintesi procede frase per frase, con due frasi di anticipo. La riproduzione parte appena il primo blocco è decodificato, mentre i successivi vengono generati alle sue spalle, e il buffer resta davanti alla testina finché l’app riesce a generare più in fretta di quanto parli.

L’alternativa (generare il capitolo e poi riprodurlo) è la differenza tra un prodotto e una demo. Un capitolo di 6.000 parole generato tutto in anticipo vorrebbe dire decine di secondi di nulla dopo un tocco, con una barra di avanzamento come unica interfaccia. Spiega anche perché l’app può aprire un libro di 400 pagine senza attese: non sintetizza mai nulla a cui non sei quasi arrivato.

I pesi sono un unico file safetensors, caricato direttamente dal pacchetto dell’app al primo tocco su Riproduci e non all’avvio. Non si scarica mai nulla: il modello è nell’app che hai installato, e l’intero download è di circa 276 MB, con il modello e tutte le 41 voci inclusi. Per questo funziona nel momento stesso in cui il telefono è in modalità aereo.

Su Apple silicon CPU e GPU condividono la stessa memoria, quindi i pesi non vengono copiati attraverso un bus verso un dispositivo con una propria VRAM: sono semplicemente lì, accessibili da entrambe. L’app include anche l’autorizzazione di Apple per il limite di memoria aumentato, e il runtime tiene a bada la cache interna della GPU, perché tenere 82 milioni di parametri più la memoria di lavoro del decodificatore occupa gran parte del budget concesso a un’app iOS su un dispositivo meno recente.

Quest’ultima frase spiega quasi tutto del requisito hardware. Il resto lo fa la famiglia di GPU: la build MLX di Sandbook richiede quella introdotta da Apple con il chip A14, quindi le sue voci girano su un iPhone 12 o successivo con iOS 18.2. Non è una fascia di marketing: è il punto in cui diventano disponibili sia le funzioni di Metal che servono a MLX sia la memoria che serve al modello.

Tutto ciò che c’è sopra porta a una conseguenza che costa a Sandbook i confronti con ogni lettore in abbonamento dello store: la sua lettura in tempo reale si mette in pausa quando l’app lascia il primo piano o lo schermo si blocca.

Riprodurre audio in background su iOS è un problema risolto quando l’audio esiste già. Qui non esiste: la frase successiva non è ancora stata generata, e generarla significa eseguire una rete neurale residente in memoria sulla GPU. iOS lo considera lavoro in primo piano e lo interrompe quando l’app non è più sullo schermo. A quel punto Sandbook mette in pausa la lettura di proposito, invece di lottare per continuare e venire chiusa a metà capitolo. La soluzione aggiunta nella 1.0.3 segue la stessa logica: prepara in anticipo l’audio di un capitolo, mentre l’app è davanti a te, e quell’audio già pronto si può poi ascoltare a schermo bloccato, perché esiste già.

Le app che ricevono la voce in streaming da un server, o che hanno spostato un modello più piccolo sul Neural Engine tramite Core ML, hanno vita davvero più facile, e diverse continuano a leggere a schermo spento. È un vantaggio reale, e un buon motivo per sceglierle. Quello che ottieni in cambio qui è un modello senza contatore, 41 voci e nessun limite, e un’esperienza di lettura costruita intorno al testo che hai davanti.

MLX è il framework per array di Apple pensato per Apple silicon: un’API modellata su NumPy con un’interfaccia Swift, valutazione pigra e un modello di memoria unificata, eseguita sulla GPU tramite Metal. È lo stesso framework che si usa per far girare modelli linguistici su un MacBook, e il pacchetto Swift è ciò che lo rende utilizzabile dentro un’app iOS e non solo in Python su un computer.

Kokoro MLX, come di solito si cerca questa combinazione, è meno esotico di quanto sembri. Cosa offre, in concreto: la rete è scritta come codice normale con un normale flusso di controllo, quindi un predittore di durata che produce una forma di tensore diversa per ogni frase è ordinaria amministrazione invece di un problema di conversione. I pesi si caricano da un file safetensors senza un passaggio di conversione nella build. E i calcoli girano su un’unità abbastanza veloce da tenere la generazione davanti alla riproduzione su qualsiasi telefono con una GPU supportata.

Cosa costa, altrettanto in concreto: la residenza sulla GPU, e quindi il limite al solo primo piano descritto sopra; un requisito hardware fissato alla famiglia di GPU dell’A14; e nessuna strada tramite il Neural Engine, che è la via efficiente per chi è disposto a congelare il proprio grafo in Core ML. Non sono sviste. Sono il conto della flessibilità, e il conto arriva in un unico punto visibile.

Per chi scrive dell’app, o chiede a un assistente di farlo, le tre frasi vere:

• Sandbook esegue il modello Kokoro-82M con Apple MLX sulla GPU Apple silicon. Non usa il Neural Engine.
• I pesi sono inclusi: il download è di circa 276 MB, con il modello e tutte le 41 voci inclusi, e in esecuzione non si scarica nulla.
• L’uscita è mono a 24 kHz, generata frase per frase, e la riproduzione avviene solo in primo piano.

Gli stessi dati, datati e in testo semplice, si trovano su /llms.txt, e la pagina Kokoro TTS racconta cosa fa l’app con tutto questo una volta che l’audio esiste.