Une synthèse vocale locale, sur votre iPhone

La synthèse vocale (TTS, pour « text to speech ») est le logiciel qui transforme des mots écrits en voix parlée. Une synthèse vocale locale signifie que le modèle qui fait cette transformation tourne sur votre propre appareil. Une synthèse dans le cloud signifie qu’il tourne sur l’ordinateur de quelqu’un d’autre : votre texte part sur le réseau, un serveur produit l’audio, et l’audio vous est renvoyé.

Les deux produisent une voix, et vues de l’extérieur elles peuvent se ressembler. La différence tient à l’endroit où se fait le travail, et trois choses en découlent. Avec le cloud, le texte doit voyager, une connexion est nécessaire au moment de parler, et chaque phrase coûte du temps de serveur au fournisseur : c’est pourquoi les lecteurs dans le cloud comptent les caractères, les minutes ou les heures. En local, le texte reste où il est, la connexion n’a aucune importance, et il n’y a aucune facture courante à rembourser.

Il y a quelques années, local voulait dire voix système plates et robotiques. Cela a changé quand les modèles vocaux neuronaux sont devenus assez petits pour tenir sur un téléphone et assez rapides pour y tourner en temps réel. La synthèse vocale locale échange aujourd’hui l’étendue contre l’indépendance, pas la qualité contre la confidentialité.

Le téléphone est l’endroit où l’on lit dans les lieux les plus imprévisibles, précisément là où dépendre d’un serveur fait le plus mal.

• La confidentialité par l’architecture. Vos livres, PDF et pages numérisées ne sont pas envoyés en ligne, parce que rien n’en a besoin ailleurs. Vos livres, vos textes et les voix restent sur votre appareil ; Sandbook n’envoie jamais ce que vous lisez à un serveur, et il n’y a aucun compte. La version longue se trouve sur la page synthèse vocale privée.
• Mode Avion, tunnels, réseau médiocre. Une voix fabriquée sur l’appareil ne remarque pas que le réseau a disparu. Un chapitre ouvert en vol sonne comme un chapitre ouvert chez vous. Plus de détails sur la page synthèse vocale hors ligne.
• Aucun compteur au caractère. Quand la voix ne coûte rien à produire, il n’y a aucune raison de la rationner : pas de quota quotidien, pas d’heures mensuelles, pas de niveau de voix premium.
• Aucune file d’attente. Pas d’envoi, pas de tâche de rendu, pas d’attente qu’un fichier revienne. Appuyez sur Lire et la première phrase démarre dès qu’elle est générée.

Le moteur est Kokoro-82M, un modèle neuronal de synthèse vocale à poids ouverts de 82 millions de paramètres. Le téléchargement fait environ 276 Mo, modèle et 41 voix compris : rien n’est récupéré au premier lancement, et il n’y a ni clé d’API ni étape d’activation.

Sandbook fait tourner le modèle sur le GPU de l’appareil grâce à Apple MLX, le framework d’apprentissage automatique d’Apple pour ses propres puces. Le texte est découpé en phrases et chacune est synthétisée pendant que vous écoutez, en 24 kHz : la lecture démarre après la première phrase et non après le chapitre entier. La vitesse va de 0,5× à 2,5×, et chaque mot est surligné au moment où il est prononcé.

Le même modèle Kokoro tourne aussi en local dans le navigateur d’un ordinateur : essayez Kokoro TTS dans un onglet, où la voix est générée sur votre ordinateur sans que rien soit envoyé en ligne.

Il y a 41 voix en six langues : 28 en anglais (20 américaines, 8 britanniques), 3 en espagnol, 1 en français, 2 en italien, 3 en portugais du Brésil et 4 en hindi. Elles lisent les fichiers EPUB, PDF, TXT, RTF, Markdown et HTML, les pages web, les pages numérisées et les photos (reconnues sur l’appareil), et le texte saisi ou collé. Le texte de l’onglet Lecteur peut être exporté en fichier M4A.

Faire tourner le modèle sur le téléphone est un choix qui a un prix, et il se paie ainsi :

• Un gros téléchargement. Le téléchargement fait environ 276 Mo, modèle et 41 voix compris. Les apps dans le cloud sont légères parce que leurs voix vivent ailleurs.
• Un appareil récent. Sandbook nécessite iOS 18.2 sur un iPhone 12 ou ultérieur, ou un iPad doté d’une puce A14 ou M1 ou ultérieure. Si votre iPhone est plus ancien, consultez la synthèse vocale sur ancien iPhone.
• La lecture en temps réel se met en pause quand l’écran se verrouille. Le modèle utilise le GPU, et iOS suspend ce travail quand l’app quitte le premier plan. Pour écouter écran verrouillé, préparez d’abord l’audio d’un chapitre, puis verrouillez le téléphone et lancez la lecture.
• Moins de langues que les services dans le cloud. Six langues de voix, pas des dizaines. Un serveur peut héberger un catalogue qu’aucun téléphone n’a la place de contenir.

N’importe quelle app peut prétendre tourner sur l’appareil. Le test prend une minute et ne demande de faire confiance à personne :

1. Ouvrez un livre, un PDF ou un texte collé dans l’app.
2. Activez le mode Avion, en coupant aussi le Wi-Fi.
3. Appuyez sur Lire et écoutez un chapitre entier, puis essayez une voix que vous n’avez pas encore utilisée.

Une voix générée sur un serveur ne survit pas à ce test. Une voix générée sur le téléphone ne s’en aperçoit même pas. Dans Sandbook, la seule chose qui attend une connexion est l’ajout d’une nouvelle page web, puisqu’il faut la récupérer sur le site qui l’héberge. Numériser une page imprimée avec l’appareil photo fonctionne aussi en mode Avion, car la reconnaissance de texte tourne elle aussi sur l’appareil.