Kokoro TTS, entièrement sur votre iPhone

La plupart des façons d’entendre Kokoro passent par une machine qui n’est pas la vôtre : un script Python sur un ordinateur portable, un Space sur le GPU de quelqu’un d’autre, un point d’accès hébergé derrière une clé. Sandbook fait l’inverse. Le fichier du modèle se trouve dans l’app, l’inférence tourne sur le GPU du téléphone lui-même, et l’audio n’existe nulle part ailleurs.

Cela change ce que l’app peut promettre. Rien n’est mis en file d’attente, compté ou bridé, puisqu’il n’y a personne à l’autre bout pour compter. Il n’y a pas de plafond de caractères, puisque personne ne paie au caractère. Vous pouvez ouvrir un livre de 400 pages en mode Avion et il se comporte exactement comme en Wi-Fi.

Cela change aussi ce que l’app ne peut pas faire. Tout ce qui suit décrit honnêtement ce compromis.

Sur un ordinateur, vous pouvez essayer Kokoro dans votre navigateur avant d’installer l’app : le même modèle et les 41 voix tournent dans l’onglet, gratuitement, et rien de ce que vous tapez n’est envoyé en ligne.

Le moteur est Kokoro-82M, le modèle de synthèse vocale à poids ouverts, porté sur Apple MLX, le framework de calcul d’Apple qui s’exécute sur le GPU de l’appareil via Metal. C’est grâce à MLX qu’un modèle de 82 millions de paramètres, avec un encodeur de texte de type ALBERT, un prédicteur de durée LSTM, un prédicteur de prosodie et un vocodeur iSTFTNet, devient pratique sur un téléphone et pas seulement possible.

Le texte est converti en phonèmes, découpé aux limites des phrases, puis synthétisé phrase par phrase avec deux phrases d’avance. La lecture démarre dès que la première phrase est prête pendant que les suivantes se génèrent derrière elle : un chapitre commence à peu près le temps de lire son titre, et vous n’attendez jamais le rendu d’un document entier avant d’entendre quelque chose.

La vitesse va de 0,5× à 2,5×, et elle s’applique à l’intérieur du modèle, en ajustant la durée prévue des phonèmes, et non en rééchantillonnant l’onde finale. À 2×, on entend toujours une personne qui parle vite, pas une voix de dessin animé.

Les poids sont chargés depuis l’app, pas téléchargés. Sandbook est un gros téléchargement à dessein (environ 276 Mo, modèle et 41 voix compris), et voici ce qu’il vous apporte :

• Les poids kokoro-v1_0 : 82 M de paramètres, lus directement dans l’app à la première lecture.
• 41 embeddings de voix : un tenseur de style par voix, tous inclus, aucun verrouillé ni payant.
• Une version d’eSpeak NG pour la conversion en phonèmes, compilée dans l’app sous forme de framework.

Rien de tout cela n’est téléchargé après l’installation, et rien n’est diffusé en continu pendant l’utilisation. Le modèle se charge à votre premier appui sur Lire plutôt qu’au lancement, si bien que l’app démarre vite malgré le poids de l’ensemble.

Le Kokoro d’origine propose des voix dans plusieurs langues. Sandbook en retient six : en-us et en-gb (28 voix), plus l’espagnol, le français, l’italien, le portugais du Brésil et le hindi, soit 41 voix Kokoro au total. eSpeak NG change de langue avec la voix choisie, et le nettoyage du texte anglais (dates, prix, unités, sigles) ne s’applique qu’aux voix anglaises. En français, il n’y a qu’une voix, Siwis. Des voix Kokoro en espagnol, français, italien, portugais et hindi sur un iPhone, hors ligne : c’est ce qu’aucune démo hébergée ne vous offre.

Deux autres limites à connaître avant d’installer. La lecture en temps réel se met en pause quand l’écran se verrouille : le modèle occupe une vraie mémoire GPU, et iOS suspend ce travail en arrière-plan. Vous pouvez préparer l’audio d’un chapitre à l’avance, puis l’écouter écran verrouillé. Et il faut iOS 18.2 sur un iPhone 12 ou ultérieur, ou un iPad doté d’une puce A14 ou M1 ou ultérieure, car MLX a besoin de cette famille de GPU.

Il n’y a pas non plus de mélange de voix, de vecteurs de style personnalisés ni de dictionnaire de prononciation : un seul niveau de qualité, le même modèle de 82 M à 24 kHz pour toutes les voix.

Importez des fichiers EPUB, PDF, TXT, RTF, Markdown ou HTML depuis le sélecteur de l’app Fichiers, avec « Ouvrir avec Sandbook », ou via le menu Partager de n’importe quelle app. Ajoutez une page web depuis le menu + de la Bibliothèque ou depuis Safari : l’app garde l’article et écarte les menus, les publicités et les bandeaux de cookies. Numérisez des pages imprimées avec l’appareil photo, ou choisissez une photo, et le texte est reconnu sur l’appareil. Vous pouvez aussi saisir du texte, le coller ou lire le presse-papiers.

Les livres profitent du surlignage mot à mot dans un paragraphe en cours légèrement teinté, d’un sélecteur de chapitres, de la lecture à partir du paragraphe touché, et ils s’ouvrent au paragraphe où vous vous étiez arrêté. Chaque livre retient sa propre voix et sa vitesse. Le texte de l’onglet Lecteur peut aussi être exporté en fichier M4A via le menu Partager.