NOUVEAU ET OUVERTAI Modèles GPT-OOSSÀ la suite de la coopération avec Nvidia Sur les ordinateurs pris en charge RTX Il est devenu opéré localement. Ce développement offre une opportunité importante aux utilisateurs qui souhaitent déplacer des applications d'intelligence artificielle au niveau du bureau sans être connecté à l'infrastructure cloud.
L'un des modèles GPT-OOS-20Ba au moins 16 Go de vram Nvidia rtx ai pcs Il a été optimisé pour fonctionner. Selon la déclaration faite, ce modèle, GPU RTX 5090 avec la capacité de produire 250 jetons par seconde. Autre modèle GPT-OOS -20B et se concentre davantage sur les scénarios d'utilisation professionnelle et GPU RTX Pro Travailler chez les postes de travail soutenus. Les deux modèles peuvent être utilisés sans accès cloud car ils sont conçus pour fonctionner dans l'environnement local.
Jensen Huang, fondateur et PDG de Nvidia, a souligné l'importance de ce lancement avec les mots suivants:
«OpenAI a montré au monde ce qui peut être construit sur NVIDIA AI et apporte maintenant l'innovation dans le domaine des logiciels open source.
Ces deux nouveaux modèles open source développés par OpenAI sont au stade de l'éducation GPU NVIDIA H100 Il a été exécuté. Dans ce processus de formation Mxfp4 Une forme de sensibilité a été utilisée qui offre une meilleure précision par rapport aux méthodes précédentes. Les deux modèles peuvent traiter 131 072 textes longs de jetons pendant le processus d'inférence local. De plus, Mélange des experts (MOE) Grâce à son architecture, il s'adapte dynamiquement en fonction de différents scénarios d'utilisation.
Il est devenu possible de gérer l'intelligence artificielle locale sur des ordinateurs soutenus par RTX
Pour l'utilisation de ces modèles Garage RTX AI une initiative nommée. Les utilisateurs pour tester les modèles GPT-ORS Application de ollation peut utiliser. Cette application est préparée directement sur le GPU RTX sans aucune configuration supplémentaire. L'interface offerte par l'application fournit un minimum d'informations techniques pour un usage local.
Pour les développeurs Lama.cpp De nouvelles optimisations sont offertes dans le cadre du projet. NVIDIA a travaillé avec la communauté open source et a rendu ce logiciel plus efficace dans les systèmes RTX. Les nouveaux composants, tels que les graphiques CUDA, sont également intégrés dans le logiciel pour la réduction de la charge et l'amélioration des performances. Les développeurs intéressés peuvent accéder à ce projet via GitHub.
Pour les utilisateurs de Windows Microsoft AI Foundry Local La plate-forme a été commandée. Bien que cet outil soit toujours en phase d'aperçu, il permet aux modèles GPT-ORS d'être essayés localement. Le modèle peut être utilisé avec une courte commande entrée via le terminal. Cette approche rend l'accessible à l'intelligence artificielle locale accessible aux développeurs.
Une autre caractéristique offerte par les modèles est la capacité d'établir une chaîne de pensées et de suivre les instructions. De plus, des compétences telles que l'interaction avec les véhicules sont intégrées dans les systèmes. Ces caractéristiques facilitent également le processus de développement des applications complètes dans l'étude locale. La présentation de toute cette structure en tant que open source ouvre un large espace pour les développeurs d'entreprises et individuels.
Openai Et Nvidia Ces modèles, qui sont développés en coopération, sont pris en charge non seulement dans des équipements à haute performance, mais aussi par des outils logiciels flexibles. Ainsi, des applications locales d'intelligence artificielle sont proposées pour accéder non seulement aux centres de recherche mais aussi aux développeurs individuels. Cette flexibilité offerte par la famille GPT-ORS permet une utilisation en fonction des différentes exigences du système.
