Third Moment Research utilise des agents logiciels pour conduire des expériences de recherche quantitative. Dans une étude de cas publiée le 14 octobre, OpenAI rapporte que Codex, son outil employé ici pour examiner les calculs et le code, a aidé l’équipe à diagnostiquer un ralentissement. Selon OpenAI, Third Moment Research fait fonctionner jusqu’à 10 000 agents en parallèle, lors de sessions de recherche pouvant durer de 36 à 48 heures.
Des simulations pour localiser le ralentissement
Pour analyser le problème, Codex a examiné des milliers de trajectoires enregistrées : les actions des agents et les réponses de l’environnement de simulation. L’analyse incluait aussi les moments où ces actions avaient lieu et le code du système. OpenAI rapporte qu’un test rétrospectif d’une stratégie financière, appliquée à un an de données sur des actions américaines détaillées au niveau des ordres, prenait plusieurs heures.
Pendant le calcul, les agents demandaient régulièrement s’il était terminé. Selon OpenAI, ces vérifications consommaient des jetons — les unités de texte traitées par les modèles — et encombraient le contexte, c’est-à-dire les informations disponibles pour poursuivre leur tâche. Le récit décrit ainsi à la fois un calcul lent et le coût des demandes répétées pendant l’attente.
Codex teste et déploie une optimisation
Après avoir étudié le calcul et les données utilisées, Codex a identifié une optimisation du cache, qui permet de réutiliser des données conservées temporairement, ainsi qu’une autre manière de les organiser en mémoire. OpenAI indique que Codex a essayé différentes solutions puis déployé le correctif en production. Dans l’exemple rapporté, le backtest est passé d’environ trois heures à environ trois à cinq minutes. OpenAI indique aussi que les changements ont réduit l’usage des jetons et les informations de suivi accumulées dans le contexte.
Un environnement préparé pour les agents
Pour ses recherches quantitatives, l’équipe de Third Moment Research utilise le Codex harness, un ensemble d’outils qui permet aux agents d’agir et d’organiser leur travail. Les agents y reçoivent les données, la documentation et un dépôt de recherche nécessaires à leurs tâches. OpenAI distingue le rôle des modèles, qui fournissent le raisonnement, de celui du harness, qui donne accès aux outils.
L’entreprise utilise également Daybreak pour tester la sécurité de cet environnement avant le lancement des simulations. Les tests vérifient si un agent pourrait en sortir et accéder au réseau plus large. OpenAI présente ce contrôle ciblé comme une façon d’éprouver l’environnement à grande échelle, sans le décrire comme un audit complet de l’infrastructure.
Ces résultats sont ceux d’un cas présenté par OpenAI et Third Moment Research. Ils décrivent une expérience dans leur propre environnement ; ils ne permettent pas de conclure que le même gain de temps serait obtenu dans une autre organisation.
Sources de référence
À retenir
OpenAI rapporte que Codex a analysé des simulations, leurs horodatages et le code de Third Moment Research, puis a testé et déployé une optimisation. Dans l’exemple décrit, un backtest est passé d’environ trois heures à trois à cinq minutes. Ce résultat concerne l’environnement de l’entreprise.
