C’est un débat qui fait rage sur la toile, des utilisateurs du monde entier rapportent un phénomène préoccupant : une baisse notable des performances de GPT-4, l’un des modèles de langage les plus avancés développé par OpenAI. À première vue, cet outil autrefois salué pour sa capacité à générer des réponses pertinentes semble dégringoler sur l’échelle de l’intelligence. Alors, mythe ou réalité? Plongeons ensemble dans cette énigme technologique.

Comprendre le GPT-4 et ses ancêtres

Pour bien saisir l’ampleur de la situation, il est essentiel de comprendre ce qu’est GPT-4 mais aussi GPT-3.5. Ce sont tous deux des modèles de langage conçus par OpenAI. Ils interviennent dans de multiples services, dont les assistants vocaux et les chatbots comme ChatGPT. À la pointe de la technologie, ces modèles sont devenus omniprésents dans notre quotidien, mais aujourd’hui, nous voyons apparaître des signaux d’alerte.

Les plaintes des utilisateurs

Les plaintes, diverses et variées, émanent de toutes parts. Certains utilisateurs signalent des erreurs factuelles dans les réponses de l’IA, d’autres déplorent une dégradation de ses capacités subjectives. Par exemple, le Chatbot semble perdre en créativité et en vivacité d’esprit. Certains sont allés jusqu’à comparer l’expérience à celle de conduire une Ferrari pendant un mois pour ensuite se retrouver au volant d’une vieille camionnette.

Une étude au cœur de la controverse

Face à ces critiques grandissantes, des chercheurs des universités de Stanford et Berkeley ont décidé de passer au peigne fin les performances de GPT-4 et GPT-3.5. Les résultats sont pour le moins surprenants. Selon leur analyse, les performances de ces modèles auraient bel et bien décliné sur une période allant de mars à juin.

Les focus de l’étude étaient les suivants : la résolution de problèmes mathématiques, la réponse à des questions sensibles, la génération de code et le raisonnement visuel.

Pour la résolution de problèmes mathématiques, la précision de GPT-4 a chuté de manière spectaculaire, passant de 87,6% en mars à uniquement 2,4% en juin. De son côté, GPT-3.5 a montré une amélioration notable, passant de 7,4% à 86,8%.

En ce qui concerne les réponses à des questions sensibles, GPT-4 a montré une réticence accrue à répondre en juin par rapport à mars, tandis que GPT-3.5 est resté plutôt stable.

Il est aussi à noter que les deux modèles ont montré des défaillances dans la génération de code, avec plus d’erreurs observées en juin qu’en mars.

Enfin, concernant le raisonnement visuel, des améliorations mineures ont été observées pour les deux modèles, mais GPT-4 a montré des incohérences.

La réaction d’OpenAI

Peter Winder, le vice-président produit d’OpenAI, a réagi face à ces accusations. Il affirme que malgré les problèmes signalés, chaque nouvelle version de ChatGPT est plus intelligente que la précédente. Selon lui, une utilisation intensive du chatbot peut faire ressortir des problèmes autrefois invisibles.

Impact sur le monde professionnel

Ces résultats pourraient avoir un impact significatif sur les entreprises qui utilisent GPT-4 et GPT-3.5 pour des tâches comme la génération de code, la rédaction de texte ou le service client. Les chercheurs recommandent aux clients professionnels de mettre en place une analyse de surveillance similaire à celle menée dans leur étude.

Il est également conseillé aux entreprises de rester en contact avec OpenAI et de signaler tout problème qu’elles rencontrent. Cela aidera OpenAI à améliorer ses modèles et à résoudre les problèmes plus rapidement.

La stabilité des versions

Une autre hypothèse pour expliquer ces fluctuations de performances a été avancée par un utilisateur de Twitter. Selon lui, la cause pourrait venir de la façon dont on appelle le modèle. Lorsque vous utilisez GPT-4, vous appelez en réalité un proxy qui pointe vers la dernière version de GPT-4. Or, cette dernière peut être différente de celle que vous utilisiez il y a trois mois.

Conclusion

Alors, le ChatGPT d’OpenAI est-il réellement devenu plus stupide ? Les résultats de l’étude menée par les universités de Stanford et Berkeley semblent aller dans ce sens. Toutefois, il est important de prendre en compte les réactions d’OpenAI et les autres explications possibles.

Plus que jamais, il est crucial de rester vigilant et de mettre en place une surveillance pour détecter rapidement toute dégradation des performances. N’oublions pas que l’intelligence artificielle est un domaine en constante évolution, et il y aura toujours des défis à relever et des problèmes à résoudre. À nous tous de jouer notre rôle pour continuer à améliorer ces technologies.

Allez, je vous laisse, le monde de l’IA n’attend pas, et moi non plus! Restez connectés, et surtout, restez curieux. À la prochaine!