O custo de uma feature, medido
A primeira medição está pendente. A régua está congelada e os baselines commitados; os números chegam aqui depois que o mantenedor rodar a régua de agente (make bench-agent-measure).
Metodologia
Os prompts de cada cenário são congelados antes da primeira medição, um por lado, com o SHA-256 commitado em CHECKSUMS.txt; mudar um prompt reabre a série.
A comparação é contra um app em Go puro commitado neste repositório — a mesma feature, só a biblioteca padrão —, então o denominador de cada economia é algo que se pode ler.
Tudo aqui é medido: as medianas das rodadas que saíram verdes, três execuções por lado por cenário, tokens de entrada (novos mais leitura de cache) e saída, do próprio JSON de resultado do agente. Nada é estimado; quando for, leva o rótulo est.
A economia nunca é armazenada — ela é derivada dos dois lados onde quer que se leia, inclusive aqui. O arquivo da série registra o que foi gasto, e nada mais.
Uma release falha no gate quando qualquer cenário regrediu mais de cinco pontos contra a medição anterior dele, quando qualquer cenário fica abaixo de 60%, ou quando a média perde a meta do marco.