Avec l’annonce d’Apple Intelligence en juin dernier, la firme de Cupertino a levé le voile sur une nouvelle gamme de services d’intelligence artificielle. Prévue pour un lancement cet automne sur certains appareils, l’initiative suscite à la fois excitation et interrogations, particulièrement en Europe en raison des régulations. Les détails techniques de ce projet ambitieux, les modèles, données utilisées et les méthodes d’entraînement qui se cachent derrière Apple Intelligence.
Les modèles de base : Pruning et Distillation
Apple Intelligence repose sur plusieurs modèles de base, aussi appelés fondations. Parmi eux, deux modèles phares. L’un est conçu pour fonctionner localement sur les appareils des utilisateurs et l’autre est basé sur des serveurs distants. Ces modèles appartiennent à une famille plus large et incluent également des modèles spécialisés pour le code et la diffusion de contenu.
Pour développer ces modèles, Apple a employé deux techniques essentielles : le pruning et la distillation. Le pruning permet d’optimiser les performances des modèles par la réduction de la complexité des réseaux neuronaux. La distillation consiste à transférer les connaissances d’un modèle complexe à un modèle plus léger. Elle implique de conserver une grande partie de l’efficacité initiale. Ces techniques ont permis des gains de performance notables, jusqu’à 5 % sur certains benchmarks.
Les données : une sélection rigoriste et variée
Apple a alimenté ses modèles avec un mélange soigneusement sélectionné de données provenant de trois principales sources :
- des données sous licence d’éditeurs réputés pour leur qualité et leur profondeur;
- des jeux de données ouverts ou publics, accessibles à tous;
- des informations extraites du web, après un processus de filtrage sophistiqué.
Ce dernier type de données utilise des algorithmes comme Boilerpipe.
Les données couvrent une multitude de domaines et incluent
- des dépôts de code open source;
- des forums;
- des blogs;
- des ressources mathématiques issues de sites de référence.
Chaque type de donnée a été soigneusement sélectionné et filtré pour assurer une qualité optimale. Une attention particulière a été portée aux contenus longs et qualitatifs pour renforcer les capacités des modèles en matière de raisonnement complexe.
Les étapes d’entraînement : une recette en trois temps
Le processus d’entraînement des modèles s’est déroulé en trois phases distinctes. La première phase, pré-entraînement, a mobilisé des ressources informatiques considérables, notamment des TPU (Tensor Processing Units) v4 et v5p, pour traiter des billions de tokens. Cette étape a permis de poser les bases du modèle par l’utilisation des séquences de données massives, optimisées pour l’efficacité et la performance.
La deuxième phase a doublé la taille des séquences de données et intégré des tokens supplémentaires pour renforcer l’expertise en mathématiques et en programmation. Ce sont deux domaines essentiels pour l’IA moderne. Enfin, l’ajustement sur un contexte long a permis de préparer les modèles à gérer des tâches complexes. Elles peuvent nécessiter une compréhension approfondie et une analyse en profondeur.
On vous explique pourquoi l’intégration de l’IA dans iOS 18 est une excellente chose pour Apple.
Vers une Intelligence plus humaine : Fine-Tuning et RLHF
Pour améliorer les performances en conversation et suivi d’instructions, Apple a mis en œuvre un fine-tuning supervisé (SFT). Il utilise des datasets annotés par des experts. Ce processus a permis de raffiner les réponses des modèles en tenant compte de divers critères comme la factualité, la lisibilité et l’acceptabilité.
En complément du fine-tuning, l’apprentissage avec feedback humain (RLHF) a joué un rôle clé dans l’amélioration des capacités des modèles. Des évaluateurs humains ont noté et comparé les réponses générées par les modèles. Cela a permis d’affiner encore davantage les algorithmes en termes de raisonnement et de génération de texte.
Compression et quantisation : une approche QLoRA
Après l’entraînement, Apple a appliqué des techniques de compression et de quantisation pour rendre les modèles plus légers et plus adaptables. Grâce à l’utilisation d’adaptateurs LoRA (Low-Rank Adaptation), les modèles quantisés peuvent conserver une grande partie de leur qualité initiale et s’adapter à des tâches spécifiques.
Apple a soumis ses modèles à des évaluations automatisées et humaines pour garantir leur efficacité et leur alignement avec des principes éthiques stricts. Ces évaluations ont confirmé la robustesse des modèles sur des tâches variées. Elles ont aussi mis en évidence l’importance de l’intégration de principes d’IA responsable dès la phase d’entraînement.
La mise en œuvre de ces technologies en Europe reste incertaine face aux défis réglementaires.
On vous explique pourquoi Apple pourrait devenir le Maître incontesté de l’IA.