Recursive a publié son modèle Flint, qui peut exécuter des tâches de codage sans avoir besoin d'une connexion Internet ni d'un serveur distant. Recursive Flint ajoute une alternative axée sur le développement logiciel aux options de modèle ouvert qui peuvent s'exécuter sur l'appareil. Dans le test en contexte court de l'entreprise, la production de plus de 125 jetons par seconde est annoncée pour le MacBook Pro équipé du processeur M4 Pro.
La taille totale du modèle est d'environ 40 milliards de paramètres. Cependant, l’architecture Expert Mix permet environ 2,5 milliards de paramètres à mesure que chaque jeton est généré. Ces deux chiffres signifient des choses différentes. Bien que le faible nombre de paramètres effectifs vise à réduire la charge de calcul, la taille des fichiers de modèle ou les besoins en mémoire de l'ordinateur ne peuvent pas être déterminés simplement en regardant ce nombre.
La version locale de Flint et le fichier de modèle complet ont des exigences différentes
La version BF16 proposée sur la carte modèle Hugging Face nécessite un téléchargement d'environ 80 Go. L'exemple d'installation sur la carte concerne les cartes graphiques B300 ou H200. Des versions de précision inférieure sont préparées séparément pour Apple Silicon et Nvidia. Par conséquent, l’affirmation selon laquelle le modèle peut fonctionner sur des ordinateurs portables ne signifie pas que chaque fichier du référentiel principal convient directement à tous les ordinateurs portables.
Flint prend en charge la saisie et la sortie de texte, ainsi que le raisonnement et la conduite sur plusieurs tours. Réviser la base de code, corriger des bugs, ajouter de nouvelles fonctionnalités et rédiger des tests font partie des tâches ciblées. Les poids des modèles sont ouverts avec la licence Apache 2.0. Cependant, la licence des pondérations et les données et conditions d'utilisation d'un service API hébergé, le cas échéant, sont des questions distinctes.
De plus, le développeur précise que les résultats peuvent varier en fonction de l'environnement d'exploitation et de la précision numérique du modèle. Les comparaisons publiées incluent les propres évaluations de Recursive. La vitesse indiquée dans un contexte court n'indique pas à elle seule que la même vitesse sera maintenue dans un référentiel de code long. L'une des limitations de la carte modèle est que le code généré peut être défectueux et doit être testé avant sa mise en œuvre.
La société affirme que Flint a été développé par une petite équipe d’humains et d’agents IA en moins de quatre mois. Le système de recherche, appelé Eureka Machine, a été utilisé à différentes étapes, depuis les données et les méthodes de formation jusqu'à l'amélioration du moteur d'inférence. Récursif suggère de diviser des tâches complexes en parties plus petites et de donner des instructions claires. Le principal avantage de travailler localement est que vous pouvez traiter votre code sans l’envoyer à un serveur distant et que vous ne payez pas de frais API pour les tâches utilisées.
