Kokoro TTS, rodando inteiro no seu iPhone

A maioria das formas de ouvir o Kokoro passa por uma máquina que não é sua: um script Python em um notebook, um Space rodando na GPU de outra pessoa, um endpoint hospedado protegido por uma chave. O Sandbook é o outro arranjo. O arquivo do modelo fica no pacote do app, a inferência roda na GPU do próprio celular e o áudio nunca existe em nenhum outro lugar.

Isso muda o que o app pode prometer. Nada entra em fila, é medido ou tem limite de uso, porque não há nada do outro lado para medir. Não há limite de caracteres, porque ninguém paga por caractere. Você pode abrir um livro de 400 páginas no modo avião e ele se comporta exatamente como no Wi-Fi.

Também muda o que o app não consegue fazer. Tudo o que vem a seguir é o formato honesto dessa troca.

Em um computador, você pode testar o Kokoro no navegador antes de instalar: o mesmo modelo e as 41 vozes rodam na própria aba, de graça, e nada do que você digita é enviado.

O motor é o Kokoro-82M, o modelo de texto para voz de pesos abertos, adaptado para rodar com Apple MLX, o framework de arrays da Apple, que executa na GPU do dispositivo via Metal. É graças ao MLX que um modelo de 82 milhões de parâmetros, com um codificador de texto no estilo ALBERT, um preditor de duração LSTM, um preditor de prosódia e um vocoder iSTFTNet, é viável em um celular, e não apenas possível.

O texto é convertido em fonemas, dividido nos limites das frases e sintetizado frase por frase, com antecipação de duas frases. A reprodução começa assim que a primeira frase fica pronta, enquanto as seguintes são geradas por trás, então um capítulo começa mais ou menos no tempo que leva para ler o título dele. Você nunca espera um documento inteiro ser gerado antes de ouvir alguma coisa.

A velocidade vai de 0,5× a 2,5× e é aplicada dentro do modelo, ajustando a duração prevista de cada fonema, e não reamostrando a forma de onda pronta. Em 2×, continua sendo uma pessoa falando rápido, e não uma voz de esquilo.

Os pesos são carregados do pacote do app, não baixados. O Sandbook é um download grande de propósito (cerca de 276 MB, com o modelo e todas as 41 vozes incluídos), e é isto que ele traz:

• Pesos kokoro-v1_0: 82 milhões de parâmetros, lidos direto do pacote do app na primeira vez que você toca em reproduzir.
• 41 embeddings de voz: um tensor de estilo por voz, todos incluídos, nenhum bloqueado ou vendido à parte.
• Uma versão do eSpeak NG para a conversão em fonemas, compilada no app como framework.

Nada disso é baixado depois da instalação, e nada é transmitido durante o uso. O modelo só é carregado no seu primeiro toque em reproduzir, e não ao abrir o app, então a abertura continua rápida mesmo com um pacote tão grande.

O Kokoro original traz vozes em vários idiomas. O Sandbook inclui seis deles: en-us e en-gb (28 vozes), mais espanhol, francês, italiano, português do Brasil e hindi, 41 vozes do Kokoro no total. O eSpeak NG troca de idioma junto com a voz escolhida, e a limpeza do texto em inglês (datas, preços, unidades, siglas) só é aplicada às vozes em inglês. Vozes do Kokoro em espanhol, francês, italiano, português e hindi em um iPhone, offline, é a parte que nenhuma demonstração hospedada oferece.

Há mais dois limites que vale conhecer antes de instalar. A leitura em tempo real pausa quando a tela é bloqueada. Para ouvir com a tela desligada, prepare o capítulo antes: o modelo ocupa memória real da GPU, e o iOS suspende esse trabalho quando o app não está em primeiro plano. Além disso, o app exige iOS 18.2 em um iPhone 12 ou posterior, ou um iPad com chip A14 ou M1 ou posterior, porque o MLX precisa dessa família de GPU.

Também não há mistura de vozes, vetores de estilo personalizados nem dicionário de pronúncia: um único nível de qualidade, o mesmo modelo de 82 milhões de parâmetros a 24 kHz para todas as vozes.

Importe EPUB, PDF, TXT, RTF, Markdown ou HTML pelo seletor do app Arquivos, por “Abrir com o Sandbook” ou pelo menu Compartilhar de qualquer app. Adicione uma página web pelo menu + da Biblioteca ou pelo Safari, e o app guarda o artigo e descarta menus, anúncios e avisos de cookies. Digitalize páginas impressas com a câmera, ou escolha uma foto, e o texto é reconhecido no dispositivo. Ou digite, cole ou leia da área de transferência.

Os livros têm destaque palavra por palavra dentro de um parágrafo atual levemente destacado, seletor de capítulos, toque em um parágrafo para ouvir a partir dele, e abrem no parágrafo onde você parou. Cada livro lembra a sua própria voz e velocidade. O texto da aba Leitor também pode ser exportado como arquivo M4A pelo menu Compartilhar.