El 25 % de los tokens de AT&T son de modelos abiertos; esperan que lleguen hasta el 80

Belle Lin, WSJ:

Estrategia de IA de las empresas estadounidenses está cambiando a medida que más negocios sustituyen los modelos propietarios de IA en favor de alternativas abiertas para ahorrar costos. El esfuerzo de AT&T para transformar su negocio para la era de la IA muestra qué tan lejos ha llegado ese cambio.

Tales modelos abiertos actualmente impulsan alrededor del 25% del uso general de IA de la empresa de telecomunicaciones, incluyendo ayuda para administrar su red, dijo el director de datos e IA de AT&T, Andy Markus, "y creemos que podemos llegar mucho más arriba que eso".

Con el tiempo, espera que los modelos abiertos impulsen del 70% al 80% del uso total de IA de la empresa.

Estar en la frontera sale caro:

Debido a que AT&T utiliza un promedio de 45 mil millones de tokens de IA cada día, dirigir las peticiones de los usuarios hacia modelos más baratos genera un impacto, dijo Markus. La empresa construyó lo que llama un "enrutador inteligente" para seleccionar automáticamente el modelo más rentable para una tarea específica.

Cambiar de modelos de IA cerrados y propietarios a modelos abiertos ya ha resultado en ahorros del 80% al 90% para AT&T en ciertas aplicaciones, dijo.

Las últimas semanas he estado inviertiendo en agregar soporte para modelos abiertos a mi arnés. Aquí está un gist como tengo configurado mi sistema:

.zshrcShell

# ~/.zshrc
export OPENROUTER_API_KEY="sk-or-v1-...."

or() {
  local model onem
  case "$1" in
    glm|glm52)            model="z-ai/glm-5.2";             onem="[1m]"; shift ;;
    dsv4pro|deepseek|ds)  model="deepseek/deepseek-v4-pro"; onem="[1m]"; shift ;;
    kimi|k3|k)		  model="moonshotai/kimi-k3";	    onem="[1m]"; shift ;;
    *)                    model="z-ai/glm-5.2";             onem="[1m]" ;;
  esac

  printf 'openrouter → %s @ xhigh\n' "$model" >&2

  ANTHROPIC_BASE_URL="https://openrouter.ai/api" \
  ANTHROPIC_AUTH_TOKEN="$OPENROUTER_API_KEY" \
  ANTHROPIC_API_KEY= \
  ANTHROPIC_MODEL="opus" \
  ANTHROPIC_DEFAULT_OPUS_MODEL="${model}${onem}" \
  ANTHROPIC_DEFAULT_SONNET_MODEL="${model}${onem}" \
  ANTHROPIC_DEFAULT_HAIKU_MODEL="${model}" \
  CLAUDE_CODE_SUBAGENT_MODEL="${model}" \
  ANTHROPIC_DEFAULT_OPUS_MODEL_SUPPORTED_CAPABILITIES="effort,xhigh_effort" \
  ANTHROPIC_DEFAULT_SONNET_MODEL_SUPPORTED_CAPABILITIES="effort,xhigh_effort" \
  CLAUDE_CODE_EFFORT_LEVEL="xhigh" \
  CLAUDE_CODE_MAX_OUTPUT_TOKENS="64000" \
  "$@"
}

Ver el Gist completo en GitHub

En mi experiencia, GLM 5.2 es un excelente reemplazo de Claude Opus 4.8. Para cosas más pesadas, Kimi K3 me ha dado buenos resultados. Ojo: esto es nada más en pruebas, mis daily drivers siguen siendo Claude y, más recientemente, por sorpresa para mí, Codex. Tengo el plan Max de ambos, pero actualmente uso Codex como mi agente principal. En otro post compartiré un poco más de mi setup.

Sigue leyendo