Entrenar LLMs es un pésimo negocio — si no tienes un producto al cuál integrarlo

En un artículo del año pasado, Cal Paterson predice que construir (entrenar) LLMs no va a ser un buen negocio, gracias a los principios económicos de la industria:

Existen cinco componentes básicos (“fuerzas”) que definen la posición de una empresa:

El poder de sus proveedores para aumentar sus precios

El poder de sus compradores para reducir sus precios

La fuerza de la competencia directa

La amenaza de nuevos participantes

La amenaza de sustitutos

Es la estructura del sector la que determina la rentabilidad de un negocio. No la eficiencia, ni el trabajo duro, ni la innovación.

Si ninguna de las fuerzas está en su contra, su negocio prosperará. Si todas están en su contra, estará en la misma posición que las aerolíneas. Y si todas están a su favor: ¡genial!, es Coca-Cola.

La implicación aquí es que las aerolíneas son famosamente negocios horribles que no generan dinero de manera directa, así buscan apalancarse de cualquier otro mecanismo para tener ganancias. Puedes ver este video para entender por qué, por ejemplo, muchas aerolíneas en realidad son bancos que operan aviones.

Coca-Cola, por otro lado, es un gran negocio porque sus insumos son bastante simples, y es un ejercicio de mercadotecnia.

¿Y qué tiene que ver esto con los LLMs? Que prácticamente todas las compañías que están entrenando nuevos modelos tienen una sola y gran dependencia: NVIDIA.

En realidad, los fabricantes de LLM solo tienen un proveedor real: NVIDIA. NVIDIA fabrica los chips en los que se entrenan todos los modelos, independientemente del proveedor de la nube. Y eso le otorga a NVIDIA un poder de fijación de precios colosal, casi absoluto. NVIDIA es más potente en comparación con Anthropic u OpenAI de lo que Airbus o Boeing jamás podrían soñar.

Ahora, The Information reporta que OpenAI está ofreciendo acceso a su modelo o3 con descuentos de hasta el 90% para nuevos clientes, confirmando la sospecha de Ben Thompson del año pasado: el valor de los LLMs va a estar ligado a la plataforma, no a la capacidad del modelo:

Soy escéptico: creo que los modelos ciertamente diferirán, pero no lo suficiente como para no ser tratados como productos básicos; el mayor valor se obtendrá al crear plataformas que traten los modelos como procesadores, ofreciendo mejoras de rendimiento a los desarrolladores que nunca necesitan saber qué sucede en segundo plano. Esto significa que los mayores beneficios se obtendrán del alcance horizontal (en la capa de API, la capa de modelo y la capa de GPU), a diferencia de la integración vertical; Google debe demostrarme que estoy equivocado.

Recapitulemos. Para poder entrenar un LLM requieres una cantidad estúpida de GPUs, y NVIDIA es la única compañía que tiene la capacidad para producirlos a la escala necesaria, así que ellos controlan el mercado y te van a hacer pagar hasta por los ojos. Digamos que consigues el dinero, y logras poner tu data center. ¿Cómo vas a competir con OpenAI, que tiene reconocimiento de marca, presencia mundial, una plataforma, y que estáofreciendo o3 con un 90% de descuento?

Volviendo al artículo de Cal:

Las empresas de software son muy buenas empresas. No tienen proveedores reales, su software suele ser único, por lo que no hay competencia, y el sustituto es simplemente fabricarlo uno mismo. Por esta razón, las empresas de software suelen tener márgenes de beneficio muy altos.

El problema es que no todas las empresas tecnológicas son empresas de software. Si tienes un único proveedor enormemente poderoso como NVIDIA, la rentabilidad de tu empresa se parecerá menos a la de Microsoft Office y más a la de Pan-Am.

Los próximos años se anticipan interesantes.