AccueilHome / Modèles et coûtsModels and cost
Un contexte court, et un modèle par agentA short context, and one model per agent
Chaque mot lu par un modèle se paie. Le modèle ne lit donc que ce dont il a besoin. Et tout ne passe pas par le plus gros modèle : chaque agent a le sien. Un modèle open source sur le Mac pour le quotidien. Un grand modèle dans le cloud là où il faut raisonner.Every word a model reads has a cost. So the model only reads what it needs. And not everything goes through the biggest model: each agent has its own. An open-source model on the Mac for everyday work. A large cloud model where reasoning is needed.
Ce que le modèle lit, on le paieYou pay for what the model reads
Exemple réel : chercher « cuisse de poulet » sur un site de Drive. Voici ce qui entre dans le contexte du modèle quand il navigue lui-même avec un navigateur. Puis quand du code fait la recherche pour lui. Puis quand le site du magasin change de présentation.Real example: searching for “chicken thigh” on a grocery Drive site. Here is what enters the model's context when it browses on its own. Then when code does the search for it. Then when the store's site changes its layout.
bruitnoiseutileusefulerreurerrorréparation, payée une foisrepair, paid once
Une tâche, un modèleOne task, one model
Choisissez une tâche. Un grand modèle dans le cloud sert à concevoir et à relire. Un modèle open source installé sur le Mac traite le quotidien : les données personnelles ne sortent pas de la machine. Quand un calcul suffit, il n'y a pas de modèle du tout. Chaque choix est testé sur la vraie tâche : un modèle deux fois plus rapide a été écarté parce qu'il échouait.Pick a task. A large cloud model is used to design and review. An open-source model installed on the Mac handles everyday work, so personal data never leaves the machine. When a computation is enough, there is no model at all. Each choice is tested on the real task: a model twice as fast was rejected because it failed.