Openai, la nouvelle famille de modèles de langue qui peut fonctionner dans le matériel local et est complètement gratuit GPT-OOSpublié. Ces modèles répondent à des questions de base telles que qui, quand et avec lesquelles les appareils peuvent être utilisés et offrent aux développeurs des options open source.
La caractéristique la plus frappante des modèles est qu'un système d'intelligence artificielle avancée devient si facilement accessible pour la première fois. GPT-OOS-20BPeut travailler sur un ordinateur portable avec 16 Go de mémoire. S'attaquer à un équipement plus puissant GPT-OOS -20B Le modèle peut être utilisé avec un GPU avec une mémoire de 80 Go. Les deux modèles ont été partagés en open source avec la licence Apache 2.0. Ainsi, les développeurs de logiciels, les institutions et les utilisateurs individuels peuvent personnaliser et utiliser ces modèles dans leur infrastructure. L'utilisation locale est offerte sans dépendre d'un service cloud.
Cette décision d'OpenAI montre que seuls les modèles de langue qui fonctionnent dans de grands centres de données peuvent désormais être utilisés sur des appareils plus petits. Les modèles GPT-ORS peuvent être téléchargés non seulement avec des codes source, mais aussi avec des poids du modèle. Ceci est particulièrement important pour les secteurs qui doivent travailler dans la confidentialité des données et les réseaux privés. Les utilisateurs peuvent contrôler le fonctionnement du modèle sur leurs systèmes. De plus, les modèles ont été optimisés pour fonctionner directement dans le bureau et les ordinateurs portables.
GPT-OOS-20B Le modèle se démarque avec le besoin d'un système bas. L'adéquation RAM de 16 Go offerte par ce modèle lui permet d'être utilisé sur de nombreux ordinateurs portables modernes. Le succès du modèle, Openai a précédemment introduit O3-min Il atteint des valeurs proches du modèle. Dans les tests courants, les taux de précision similaires sont mesurés dans des domaines tels que le codage et les mathématiques. Santé Et Aime Dans des tests spéciaux tels que GPT-OOSS-20B laisse O3-MinI dans certaines régions.
Le modèle GPT-OOS -20B peut offrir un succès élevé avec un seul GPU
Développé pour une utilisation à plus grande échelle GPT-OOS -20B Le modèle a un paramètre de 117 milliards. Ce modèle est conçu pour fonctionner avec seulement 5,1 milliards de paramètres actifs. Ainsi, l'exigence matérielle élevée des grands modèles était limitée. Un seul processeur graphique avec 80 Go de mémoire permet à ce modèle de fonctionner en pleine capacité. GPT-OOS-120B, l'un des modèles enregistrés d'Openai O4-min avec des résultats similaires dans diverses évaluations.
L'architecture du modèle a été structurée avec un transformateur. Seule une petite partie des paramètres est activée pendant le processus. Cette structure, Mélange des experts (MOE) a été créé par la méthode connue sous le nom de. Dans les deux modèles, la longueur du contexte peut atteindre jusqu'à 128 mille jetons. L'efficacité a été augmentée en utilisant des techniques telles que l'incorporation de positionnt rotative (corde) et l'attention multi-requier groupée.
OpenAI déclare qu'il utilise un ensemble de données composées souvent de données basées sur l'anglais et le texte dans la formation des modèles. Dans cet ensemble de données, le contenu scientifique, les données logicielles et les problèmes d'information générale sont à l'avant-garde. Pour le processus de mise en place O200K_HARMON une structure spéciale nommée. Ce système est une version étendue de la structure de jeton utilisée dans les modèles GPT – 4O.
Les deux modèles offrent différents niveaux de compétences de raisonnement dans les processus d'inférence. Les développeurs peuvent déterminer le «temps de réflexion ği qu'ils dépensent pour créer la réponse aux modèles à trois niveaux (faible, moyen, élevé). Cette fonctionnalité offre un grand avantage dans les applications retardées. Des réponses plus longues et plus détaillées peuvent être obtenues dans des analyses complexes, tandis que le modèle fonctionne plus rapidement dans des tâches simples.
Taubench, Santé Et Gpqa Le succès des modèles GPT-OOSS dans des tests comparatifs tels que des tests comparatifs a été mesuré. GPT-OOS -20BDans certains scénarios, il a donné des résultats avec des taux de précision plus élevés que le modèle GPT-4O enregistré. Cette situation est plus évidente, en particulier dans les questions en mathématiques au niveau de la santé et de la compétition.
OpenAI indique également que la sécurité des modèles a une importance particulière. En plus de filtrer le contenu nocif pendant le processus de formation, il est indiqué que les modèles ont subi des tests spéciaux contre les scénarios d'abus. L'entreprise comprenait des experts externes dans ce processus d'évaluation. De cette façon, il vise à augmenter le niveau de sécurité des modèles ouverts.
OpenAI partage également des exemples de codes et manuels d'utilisateurs pour les développeurs qui souhaitent que les modèles soient exécutés sur leur ordinateur. Préparé pour les plates-formes Python et Rust harmonie Le format de sortie appelé It a également été publié ouvertement. Les modèles sont optimisés pour travailler sur la plate-forme métallique d'Apple. De plus, il existe des options de distribution telles que le visage étreint, Azure, AWS et Vercel.
Les modèles GPT-OOSS sont proposés avec GPU pour les utilisateurs de Windows avec la prise en charge de Microsoft. Ces versions travaillant sur ONNX Runtime, Fonderie locale Et Code Visual Studio développé pour Boîte à outils AI rendu accessible. Ainsi, les développeurs de Windows peuvent travailler directement avec le modèle dans leurs systèmes locaux.
Les développeurs peuvent exécuter des modèles dans leur propre matériel ou utiliser des modèles sur diverses plates-formes cloud. Les modèles GPT-Out offrent une infrastructure flexible qui peut être façonnée en fonction des différentes exigences. De plus, il est positionné comme une solution qui répond à la nécessité de la vie privée locale et du développement indépendant.
Série GPT-OOS publiée par Openai, gratuit, Open -Source Et Peut travailler sur l'ordinateur portable Il se démarque avec sa structure. Cela ouvre la voie à des technologies d'intelligence artificielle pour atteindre plus de développeurs. De cette façon, les utilisateurs individuels et les équipes à petite échelle peuvent bénéficier de ces modèles sans investissement matériel élevé.
