L'IA ne se limite pas aux grands modèles ! Realiser une « intelligence collective de toutes choses », permettant à l'esprit et au corps de s'échapper de la réalité pour entrer dans un nouveau monde.

L'intelligence artificielle physique devient l'un des domaines les plus pris en compte dans l'industrie de l'intelligence artificielle.

Il faut trois choses pour que l'intelligence artificielle sorte de l'écran.Un cerveau fiable, un système d'exécution capable d'organiser son fonctionnement continu, un corps capable de connecter les dispositifs physiques.Avec l'amélioration constante des capacités des modèles et le perfectionnement du cadre d'exécution des agents, les différents types d'appareils dans le monde réel continuent de poser des défis à la compréhension et à l'interaction des entités intelligentes.

Agnes met en œuvre des actions relatives aux capacités des modèles et à leur connexion aux dispositifs physiques. L'intelligence artificielle a apporté de nouveaux progrès technologiques.

Agnes Harness (AGH) est officiellement devenu open source.AGH prend en charge l'exécution continue des tâches, l'appel d'outils, la gestion de l'état et la fourniture de retours de résultats, en tant que tâches réelles de l'infrastructure d'exécution de l'Agent. De plus, le système AGHLe protocole d'interaction des appareils MHS (Model Hardware Standard) ainsi que les composants associés sont également mis à disposition du public.，Les outils logiciels et le matériel programmable peuvent être connectés aux développeurs dans le même environnement d'exécution.

De plus, la nouvelle génération de modèlesAgnes 3.0 ProL'API sera bientôt disponible, offrant une amélioration des fonctionnalités.

De la déduction par modèles à l'exécution de tâches, en passant par la connexion aux dispositifs physiques, l'intelligence artificielle Agnes intègre ces capacités dans un même système technologique, permettant à l'intelligence artificielle de participer à des tâches réelles plus complexes et de s'étendre davantage au monde physique.

Agnes Harness est un projet open source :

Permettre à l'Agent d'exécuter continuellement des tâches réelles

Agnes AI a cette fois ouvert le code source d'Agnes Harness (AGH), qui est un ensemble d'agents open source conçus pour des scénarios de travail réels. Agnes Harness fournit à ces agents les bases nécessaires pour fonctionner de manière continue et être délivrés sur plusieurs plateformes.

Les développeurs peuvent l'utiliser via la console Web ou la ligne de commande, ou encore accéder à leurs propres outils pour construire des applications Agent adaptées à différents scénarios sur cette base.

Actuellement, AGH a rendu son code source et les fichiers de développement associés disponibles sur GitHub, permettant aux développeurs d'installer et d'exécuter le code source selon leurs besoins.

Adresse open source sur GitHub :

https://github.com/AgnesAI-Labs/agnes-harness

Ouvrez le bureau web d'AGH, et la première chose que vous voyez est une interface de dialogue qui s'exécute dans l'environnement local. Les développeurs peuvent spécifier le répertoire de travail, envoyer des instructions de tâche, permettre à l'Agent de lire des fichiers et d'exécuter des commandes, puis continuer à modifier le projet existant en fonction des résultats de l'exécution.

Ce processus dépend de la poursuite de l'Agent Loop d'AGH. Le modèle est responsable de déterminer la prochaine action à entreprendre, Harness est chargé d'appeler les outils, de recevoir les retours et de renvoyer les résultats au modèle, jusqu'à la fin de la tâche ou lorsqu'une intervention manuelle est nécessaire.

Mais lorsque la tâche devient complexe, il est souvent insuffisant de se contenter de regarder les enregistrements de conversation.

Par exemple, lorsque l'Agent a modifié une dizaine de fichiers et exécuté de nombreuses commandes, mais qu'il n'a finalement pas réussi les tests, comment déterminer à quel étape le problème est survenu ? Le modèle a-t-il commis une erreur, ou est-ce que l'outil a échoué à fonctionner correctement ?

Dans AGH«Trajectoire»Sur la page, les développeurs peuvent suivre l'exécution des tâches le long de l'axe temporel. Ils peuvent voir quels outils le modèle a appelés et combien de temps chaque étape a duré. En étendant les enregistrements spécifiques, ils peuvent examiner plus en détail les paramètres des outils et l'état d'exécution, ce qui aide les développeurs à localiser les problèmes.

En termes de capacités d'extension,AGH a activé le mécanisme d'extension de plugins. Les utilisateurs peuvent accéder à leurs outils professionnels via des plugins, se connecter à des services existants à l'aide de MCP, et développer des interfaces personnalisées pour différents postes de travail.

Sur la page de gestion des plugins, les utilisateurs peuvent parcourir les plugins disponibles, consulter leurs sources, versions et informations de compatibilité, ainsi que les installer et les gérer. Les méthodes de tâches vérifiées peuvent également être conservées via Skills et continuer à être utilisées dans d'autres projets.

Ces capacités fournissent également une base pour la personnalisation des scénarios d'entreprise.

ParMode de livraison FDE (Forward Deployed Engineering)L'équipe de projet peut, en se basant sur les systèmes existants de l'entreprise, se rendre sur les lieux de travail spécifiques pour effectuer les connexions et les adaptations nécessaires. Les outils, les méthodes de tâche et les règles commerciales développés au cours du projet peuvent progressivement devenir des capacités réutilisables, réduisant ainsi le développement répétitif lors des déploiements ultérieurs.

AGH permet également aux différentes interfaces utilisateur de partager les mêmes tâches en arrière-plan via le serveur d'applications. Les développeurs peuvent lancer des tâches sur le bureau web, puis reprendre la même conversation via la ligne de commande sans avoir à réorganiser les enregistrements.

De la mise en œuvre continue à l'expansion commerciale, AGH a fourni aux développeurs un environnement d'opération pour les agents entièrement personnalisé. Lorsque ces outils ont été étendus aux robots, aux instruments d'expérimentation et à d'autres équipements physiques, la portée des agents s'est également étendue au monde réel.

De la logique des logiciels au monde réel

L'agent commence à se connecter à l'appareil physique.

En plus des outils logiciels et des systèmes d'entreprise, AGH intègre également l'accès aux dispositifs physiques dans le même système d'exécution de tâches via MHS. AGH a également évolué d'un simple cadre de développement d'agents à une plateforme d'infrastructure ouverte, conçue pour des entités intelligentes à plusieurs modes et du matériel programmable. Basée sur MHS, elle prend en charge l'accès à une variété de dispositifs, permettant aux grands modèles et aux entités intelligentes de se connecter à des dispositifs physiques réels.

L'équipe d'IA d'Agnes a assigné une tâche à AGH.Faites que la voiture mobile dans le bureau trouve le livre spécifié et lise son contenu à voix haute.

Lors de la démonstration, la voiture a effectué la recherche de livres et la lecture à voix haute conformément aux exigences de la tâche. De la réception des instructions à l'opération réelle, la portée de l'agent a commencé à s'étendre des outils logiciels aux appareils physiques.

Derrière cela se trouve une autre technologie open-source qui avance de manière synchronisée :MHS（Model Hardware Standard）。

MHS est un protocole d'interaction avec les appareils conçu de manière indépendante par Agnes AI, destiné à divers types de matériel doté d'interfaces programmables. Grâce à une méthode d'interaction unifiée, les appareils peuvent fournir à l'Agent des informations sur leurs fonctionnalités et leurs opérations, permettant au corps intelligent de comprendre leurs capacités et d'appeler les opérations appropriées en fonction des exigences de la tâche.

Dans ce système,AGH est responsable de l'organisation de toute la tâche, tandis que MHS s'occupe de la connexion aux dispositifs spécifiques.Le modèle détermine, en fonction de l'objectif, ce qu'il doit faire ensuite,L'outil de coordination AGH effectue l'appel et la réception des retours d'exécution, puis effectue les opérations correspondantes via l'interface de l'appareil.。Lorsque des étapes clés sont concernées, il est également possible d'introduire une confirmation manuelle en fonction des exigences de la tâche.

Agnes AI a également construit une base virtuelle sur Mars appelée Mars World, et a conçu une mission de sauvetage : un astronaute a perdu le contact à l'extérieur de la base, et l'Agent doit utiliser l'équipement disponible à l'intérieur de la base pour retrouver l'astronaute et organiser les opérations de sauvetage.

Ceci est une expérience de simulation basée sur des dispositifs virtuels, qui se concentre sur la manière dont l'AGH organise plusieurs tâches de dispositifs, ainsi que sur la façon dont le MHS fournit une méthode d'interaction unifiée pour différents dispositifs. Dans cette scène de simulation, l'Agent peut planifier la recherche d'avions dans une zone cible, organiser des opérations de sauvetage par des robots et coordonner des installations telles que les portes de décompression de la base. Tout le processus nécessite de combiner des cartes, l'état des dispositifs et les retours des tâches pour avancer continuellement à travers plusieurs étapes opérationnelles.

L'open source comprend également des outils pour l'accès aux équipements et le développement associés.Agnes MHSSAI a ouvert simultanément le protocole d'équipement 1.0, le protocole de perception de données MOS 1.0, le composant de connexion d'équipement AgnesHub, les bibliothèques de développement en Python et TypeScript, ainsi que le kit de test de cohérence mhs-check.

Parmi eux, MHS est responsable de l'état des appareils, des appels d'outils et des exigences d'action, tandis que MOS est chargé de la transmission de données d'observation telles que celles provenant des caméras, des capteurs et des cartes. Les développeurs peuvent accéder à leur propre matériel à l'aide de la bibliothèque d' développement d'appareils ouverte et utiliser des groupes de test de cohérence pour vérifier les protocoles.

Actuellement, le répertoire officiel propose un exemple de Mars World contenant 11 appareils virtuels, ainsi que des dispositifs d' simulation locaux tels que des robots mobiles, des bras mécaniques et des capteurs. Les développeurs peuvent expérimenter le processus complet d'accès aux appareils et d'appel de tâches sans avoir à préparer de matériel physique.

L'opération de sauvetage menée par AGH et MHS, allant des véhicules mobiles dans les bureaux à la base martienne virtuelle et impliquant plusieurs appareils, démontre différentes méthodes d'utilisation des dispositifs réels pour collaborer à des tâches complexes. Avec le développement et la validation de davantage de capacités d'adaptation des appareils, ce système open-source offre également une base pour de nouvelles explorations dans les domaines de l'inspection robotisée, des expériences scientifiques et des opérations sur site.

Code open source de MHS :

https://github.com/AgnesAI-Labs/agnes-harness/tree/main/packages/mhs

Guide d'accessibilité des appareils MHS :

https://github.com/AgnesAI-Labs/agnes-harness/blob/main/docs/guide/mhs.md

Amélioration des capacités d'Agnes 3.0 Pro

L'API sera bientôt disponible.

Les agents ont besoin de modèles pour traiter les informations et prendre des décisions, que ce soit pour gérer des tâches complexes dans un environnement logiciel ou pour interagir avec des appareils réels via des interfaces.

En plus de gérer la connexion entre le système d'exécution et les appareils, Agnes AI a également annoncé le lancement de la nouvelle génération de son modèle, Agnes 3.0, et a indiqué que les progrès les plus récents de son API Pro seraient bientôt disponibles.

Dans six tests de référence publics, couvrant la réflexion scientifique, la programmation pour la recherche, le respect des instructions, l'exécution de tâches commerciales et les connaissances générales, Agnes 3.0 Pro a démontré des capacités plus complètes. Parmi ceux-ci,Les scores de Sol (Max) ne diffèrent que de moins d'un point entre GPQA91.11 et Scicode56.13, ainsi qu'entre GPT-5.6 et Tau3-Banking. Lors de l'évaluation simulée des activités bancaires menée par Tau3-Banking, le modèle a obtenu la première place avec un score de 48,0 points.

Dans l'évaluation des connaissances scientifiques complexes et de la capacité de raisonnement, GPQA a attribué à Agnes 3.0 une note de 91,11 points, ce qui la classe dans la catégorie "Pro".GPQA évalue principalement la capacité des modèles à comprendre et à raisonner sur des problèmes scientifiques spécialisés, fournissant ainsi une référence pour la performance des modèles dans le traitement de tâches de connaissance complexes.

Dans le benchmark de programmation scientifique Scicode, Agnes 3.0 Pro a obtenu 56,13 points, se classant parmi les trois premiers modèles de cette comparaison.Scicode a été conçu pour répondre aux problèmes de programmation réels dans la recherche scientifique, exigeant que les modèles combinent des connaissances spécialisées, de la réflexion et du code pour accomplir des tâches. Dans cette comparaison, Agnes 3.0 Pro et GPT-5.6 Sol (Max) ne diffèrent que de 0,97 point sur 57,1, ce qui montre sa compétitivité dans les tâches de programmation scientifique.

Les différentes évaluations reflètent les performances des modèles dans des tâches spécifiques. Pour l'Agent, ce qui est plus important, c'est de savoir si ces capacités peuvent être mises en œuvre dans des tâches réelles.

Pour cela, nous avons également demandé à Agnes 3.0 Pro d'essayer une tâche simulant une mission d'entreprise : transférer les services des commandes historiques vers la nouvelle version de l'API et de réaliser la vérification quotidienne de 100 commandes.

En plus des résultats de l'évaluation, nous avons également demandé à Agnes 3.0 Pro d'essayer une tâche simulant une activité d'entreprise, qui consistait à transférer les services des commandes historiques vers une nouvelle API et à effectuer la vérification du règlement quotidien de 100 commandes. Des enregistrements répétés et l'absence de données financières étaient prévus dans le matériel de test. Le modèle devait comprendre les modifications apportées au code de la documentation d'interface et vérifier les données une par une.

Finalement, Agnes 3.0 a reconnu Pro.Différences de montants pour 3 transactions, 2 enregistrements financiers manquants, 4 demandes de remboursement en suspens。Lors de l'acceptation indépendante, le code livré a réussi 10 tests, et les résultats pour chaque commande parmi les 100 commandes correspondaient aux réponses standard préétablies. Concernant les remboursements pour lesquels les preuves étaient insuffisantes, le modèle est resté incertain et n'a pas choisi de montant ni deviné de commande à rembourser.

Dans la mission de développement créatif, Agnes 3.0 Pro a créé une serre numérique interactive pour plantes tropicales. La tâche comprenait plusieurs étapes successives, allant de la mise en ordre des données des plantes à la génération et à l'organisation de plusieurs illustrations de plantes, puis à la conception de la page web et au développement de l'interaction. La page finale permet de faire pivoter les étagères de spécimens de plantes pour les visualiser, de consulter les données d'une plante individuelle et d'explorer les caractéristiques morphologiques différentes des plantes via des interactions.

De plus, Agnes 3.0 Pro transforme également les articles scientifiques en pages web éducatives interactives. Ce modèle réorganise le contenu des articles et utilise des éléments interactifs tels que la simulation de déplacements stellaires pour transformer les concepts complexes de la recherche scientifique en une expérience de lecture plus intuitive.

Ces exemples montrent les performances réelles d'Agnes dans différents types de tâches, allant du traitement complexe de données commerciales au développement d'applications interactives avec Agnes 3.0 Pro.

Agnes 3.0 Pro améliore les capacités du modèle tout en maintenant une stratégie de tarification compétitive. Les prix d'appel étant bas, cela aide les développeurs à maîtriser les coûts de fonctionnement à long terme et de débogage répétitif, ainsi que le développement et le déploiement d'applications d'intelligence artificielle complexes.

L'API Agnes 3.0 Pro sera bientôt officiellement mise à disposition. Les tarifs référentiels sont les suivants :

En même temps,Agnes 3.0 Flash reste disponible gratuitement.。Pour les utilisateurs qui doivent effectuer fréquemment des débogages, valider des flux de travail ou mener de multiples expériences de développement, les modèles gratuits peuvent encore réduire les obstacles à l'essai et à l'erreur, permettant aux développeurs de ne pas se limiter au nombre d'essais ou à l'espace d'itération, en raison de la consommation de tokens.

3.0 dispose d'une capacité avancée de traitement des tâches complexes. La version 3.0 Flash, toujours gratuite et ouverte à tous, offre aux développeurs une plus grande flexibilité dans le choix des modèles d'intelligence artificielle. L'équilibre entre les capacités des modèles et les coûts d'utilisation influencera également la capacité des applications basées sur l'intelligence artificielle à passer d'une démonstration ponctuelle à un fonctionnement continu.

3.0 AGH est responsable de l'organisation de l'exécution des tâches, tandis que MHS étend davantage les capacités de l'agent au monde physique.

De la programmation, de la recherche à los systèmes d'entreprise et aux appareils réels, nous offrons une base technique pour diverses applications d'agents, en nous concentrant respectivement sur l'inférence de modèles, l'exécution continue et la connexion matérielle.

Les modèles continuent de s'améliorer, mais la concurrence à l'ère des agents ne se limite pas seulement aux capacités des modèles eux-mêmes. Il s'agit également de savoir comment organiser les modèles, les outils, les données, les autorisations, les applications et les dispositifs physiques en un système fiable.Cela devient une question importante pour la prochaine génération d'infrastructures intelligentes.

Le cerveau, la mémoire et le corps sont maintenant entre vos mains.

Accès à l'open source et à l'expérience utilisateur :

Agnes Harness：

https://github.com/AgnesAI-Labs/agnes-harness

Rapport technique AGH :

https://github.com/AgnesAI-Labs/agnes-harness-tech-report

Guide d'accessibilité des appareils MHS :

https://github.com/AgnesAI-Labs/agnes-harness/blob/main/docs/guide/mhs.md

L'auteur vient de "Xinzhiyuan", "Xinzhiyuan".