Onze AI-feature werd populair en de API-rekening liep harder op dan de omzet. We hebben caching toegevoegd op veelgestelde vragen en een goedkoper model voor de simpele gevallen, met escalatie naar een groter model alleen waar het nodig is. Sinds we ook een tokenlimiet per gebruiker hebben ingesteld is het beheersbaar. Hoe regelen jullie de kosten bij schaal?
0 reactieslive
Nog geen reacties. Wees de eerste die antwoordt.