Le fonctionnement et la maintenance du chatbot ChatGPT, qui jouit d’une immense popularité, sont extrêmement coûteux. Selon une étude menée par SemiAnalysis, l’infrastructure de l’IA coûte à OpenAI environ 700 000 dollars par jour.

« L’essentiel de ce coût est basé sur les serveurs coûteux dont l’entreprise (OpenAI, ndlr) a besoin pour faire fonctionner le chatbot », a déclaré Dylan Patel, analyste principal chez SemiAnalysis, à The Information.

• En effet, ChatGPT a besoin d’une puissance de calcul énorme pour calculer les réponses aux milliers de requêtes que l’IA doit traiter chaque jour.
• M. Patel suggère en outre que le coût pourrait être encore plus élevé, car les estimations de SemiAnalysis étaient basées sur GPT-3, le précurseur du dernier modèle GPT-4 de l’OpenAI. Le langage GPT-4 devrait être encore plus coûteux à exploiter.

Le contexte : OpenAi utilise actuellement des cartes graphiques (GPU) de Nvidia pour faire fonctionner sa propre infrastructure d’IA. Les experts estiment que l’entreprise aura probablement besoin de plus de 30 000 GPU supplémentaires pour assurer le bon fonctionnement de son service jusqu’à la fin de l’année 2023.

• Au cours des derniers mois, ChatGPT a dû faire face à plusieurs reprises à l’augmentation significative du nombre d’utilisateurs, ce qui a conduit à une inaccessibilité fréquente du service.
• L’entreprise a tenté de remédier à cette situation en introduisant un mode d’abonnement payant appelé ChatGPT Plus. Cette formule permet aux utilisateurs d’avoir la priorité sur les utilisateurs non rémunérés et d’accéder à GPT-4.

Athena

Puce propriétaire : le coût élevé nécessaire au fonctionnement du système d’IA est un problème récurrent, auquel OpenAI n’est pas le seul à être confronté. Le fonctionnement des IA est incroyablement coûteux, en raison de la consommation d’énergie élevée des puces spécialisées coûteuses qui pilotent le système.

• C’est précisément la raison pour laquelle Microsoft – un investisseur majeur d’OpenAI – développe actuellement sa propre puce d’IA, appelée Athena. Avec cette puce, l’entreprise espère remplacer le système actuel de Nvidia par un système plus efficace et moins gourmand en énergie.
• « Athena pourrait réduire le coût par puce d’un tiers par rapport à l’offre de Nvidia », a déclaré M. Patel au média The Information.
• Actuellement, plus de 300 employés de Microsoft travailleraient au développement de la puce. La puce pourrait être mise à la disposition de l’entreprise pour un usage interne dès l’année prochaine.