Google pour les personnes malvoyantes et malvoyantes Vision guidée a rendu la fonctionnalité disponible dans Gemini Live. Selon l'annonce de la société datée du 1er octobre, l'utilisateur peut recevoir des descriptions audio des objets qui l'entourent en partageant l'image de la caméra de son téléphone avec Gemini Live. Alors que la capacité de Gemini Live à pointer des objets à travers la caméra mettait auparavant l'accent sur les réponses visuelles, la nouvelle fonctionnalité organise le guidage vocal en fonction des besoins d'accessibilité.
La vision guidée ne se limite pas à nommer ce que la caméra voit. Si l'image n'est pas assez claire, il peut demander à l'utilisateur de tourner le téléphone vers la droite, de l'incliner vers le bas ou de le tirer un peu en arrière. De cette façon, il devient plus facile de placer l’objet en question au milieu du cadre. L'utilisateur peut alors poser de nouvelles questions sur la même image ; Il n'a pas besoin de prendre une photo distincte à chaque fois.
Les exemples donnés par Google incluent la lecture d'étiquettes nutritionnelles en petits caractères, la compréhension d'un menu dans une lumière tamisée et la recherche d'un article perdu sur une surface bondée. De plus, des tâches quotidiennes telles que décrire les couleurs ou les motifs des vêtements sont également incluses. Ces exemples ne signifient pas que la fonctionnalité interprète toutes les informations visuelles sans erreur. Les explications données par l’intelligence artificielle générative peuvent être incomplètes ou inexactes selon les circonstances.
Les commentaires des utilisateurs malvoyants et malvoyants ont été utilisés dans le développement de la fonctionnalité. Google déclare qu'en collaborant avec Aira, il a bénéficié de dizaines de milliers d'heures de données d'interprétation visuelle dans des scénarios d'utilisation réels, et que plus d'un millier de personnes ayant rejoint le réseau de test fiable d'Aira ont essayé le système. Ces chiffres décrivent le processus de développement annoncé par l'entreprise ; Il ne doit pas être interprété comme un taux de précision indépendant.
Guided Vision est déployé sur les appareils équipés d'Android 9 et supérieur
Selon Google, Guided Vision peut être utilisé sur les téléphones compatibles fonctionnant sous Android 9 ou version ultérieure dans les régions et les langues où Gemini Live est pris en charge. Après avoir activé l'option « Utiliser la vision guidée en direct » dans les paramètres de profil de l'application Gemini, le partage de caméra démarre dans l'appel en direct. En raison de la distribution et de la prise en charge linguistique, l'option ne devrait pas apparaître à tous les utilisateurs en même temps.
Ceux qui souhaitent un accès rapide peuvent ajouter un raccourci vers les paramètres d'accessibilité d'Android. Google répertorie le bouton d'accessibilité à l'écran, un geste de balayage à deux doigts ou une pression simultanée sur les touches de volume comme options. Les utilisateurs de TalkBack peuvent accéder à Guided Vision à partir du menu qui s'ouvre d'une simple pression sur trois doigts. De plus, l’application et le système Android doivent être à jour.
En revanche, Google souligne clairement que Guided Vision n’est pas un outil de navigation ou de voyage sécurisé. Il n’est pas destiné à détecter un handicap, à une évaluation médicale ou à remplacer la canne blanche. Cette fonctionnalité peut faciliter la compréhension des détails environnants ; Les aides traditionnelles devraient continuer à être utilisées pour les décisions concernant la sécurité en mouvement. L'accès pour les utilisateurs en Turquie variera également en fonction de la langue et de la région prises en charge dans l'application.
