Ananaya Bhattacharya:

Un nuevo estudio publicado el mes pasado por la Coalition for Language Equity in AI Research descubrió que los modelos de inteligencia artificial requieren muchos más tokens para algunos idiomas que para otros. Los tokens son las unidades de texto o datos que procesan los modelos. Los investigadores han calificado esto como un “impuesto de tokenización” oculto, el cual puede encarecer la IA en los idiomas con menor presencia en línea. Un tokenizador es una herramienta que desglosa texto sin procesar, imágenes o audio en tokens.

Incluso entre los 20 idiomas más populares de internet, existe una brecha en el uso de tokens, según descubrió la investigación. Los idiomas más costosos utilizaron entre 1.5 y 5 veces más tokens que los más económicos. Esta brecha se amplió cuando los investigadores ampliaron el conjunto a 200 idiomas, y la brecha en el costo de tokens en un modelo de inteligencia artificial creció 17 veces.