Costaría 700 mil dólares operar ChatGPT... ¡al día!

Monterrey— El uso de ChatGPT para escribir cartas de presentación, generar planes de lecciones y rehacer su perfil de citas podría costarle a OpenAI hasta 700 mil dólares por día debido a la costosa infraestructura tecnológica en la que se ejecuta la IA, apuntó Dylan Patel, analista jefe de la firma de investigación de semiconductores SemiAnalysis, en un artículo recreado por Business Insider.

Reportó que esto se debe a que ChatGPT requiere grandes cantidades de potencia informática para calcular las respuestas en función de las indicaciones del usuario.

Patel señaló que probablemente sea aún más costoso operar ahora, ya que su estimación inicial se basa en el modelo GPT-3 de OpenAI.

GPT-4, el último modelo de la compañía, sería aún más costoso de operar.

Si bien la capacitación de los modelos de lenguaje grande de ChatGPT probablemente cueste decenas de millones de dólares, los gastos operativos o los costos de inferencia, "superan con creces los costos de capacitación cuando se implementa un modelo a cualquier escala razonable", indicaron a Forbes Patel y Afzal Ahmad, otro analista de SemiAnalysis.

En un esfuerzo por reducir el costo de ejecutar modelos generativos de IA, Microsoft está desarrollando un chip de IA al que llama Athena, informó The Information.

El proyecto, que comenzó en el 2019, se produce años después de que Microsoft hiciera un trato de mil millones de dólares con OpenAI que requería que OpenAI ejecutara sus modelos exclusivamente en los servidores en la nube Azure de Microsoft.

Los ejecutivos de Microsoft se dieron cuenta de que se estaban quedando atrás de Google y Amazon en sus esfuerzos por construir sus propios chips, añadió The Information.

Al mismo tiempo, Microsoft estaba buscando alternativas más baratas y decidió construir un chip que fuera menos costoso.

Casi cuatro años después, más de 300 empleados de Microsoft ahora están trabajando en el chip.

El chip podría ser lanzado para uso interno por parte de Microsoft y OpenAI a partir del próximo año.