UpVendasToda ferramenta de inteligência comercial promete aumentar as vendas. Poucas mostram, com os seus dados, se o modelo acerta. Existe um jeito simples e barato de fazer isso antes de assinar qualquer contrato: o backtest.
O que é um backtest
É uma viagem no tempo controlada. Você pega o histórico de vendas e finge que está num dia do passado, por exemplo, 30 de junho. O modelo aprende só com os dados até aquele dia e faz as sugestões para julho: quem visitar, o que oferecer a cada cliente. Depois, compara essas sugestões com o que os clientes compraram de verdade em julho.
Como julho já aconteceu, não há opinião envolvida. Ou o modelo apontou os clientes que compraram e os produtos que eles levaram, ou não apontou.
Repetindo isso mês a mês, você vê se o acerto é estável ou se foi sorte de um mês bom.
O que medir
Três perguntas resumem um bom backtest de inteligência comercial:
- A agenda escolheu os clientes certos? Do valor que a carteira comprou no mês, quanto estava nos clientes que o modelo mandou visitar?
- O pedido sugerido bateu com o pedido real? Do valor do primeiro pedido de cada cliente, quanto já estava na sugestão?
- As novidades fizeram sentido? Dos produtos novos sugeridos, quantos o cliente acabou comprando por conta própria?
E uma regra de ouro: compare sempre com uma regra simples, como "os clientes que mais compraram nos últimos meses" e "os produtos mais vendidos". Se a IA não ganha de uma regra que qualquer supervisor faria numa planilha, ela não vale o que custa.
Como o UpVendas foi validado
O UpVendas foi validado exatamente assim: 16 meses de vendas de uma indústria química com mais de 200 representantes e mais de 8 mil clientes, mês a mês, sempre só com o passado de cada dia, contra a regra que um bom supervisor faria na planilha (os clientes e produtos que mais compram).
| Pergunta | UpVendas | Regra da planilha |
|---|---|---|
| Valor do 1º pedido real que já estava no pedido sugerido | 74% | 68% |
| Acerto ao ordenar os clientes por chance de compra (AUC) | 0,83 | 0,77 |
| Meses em que o UpVendas ficou à frente | 16 de 16 | — |
O AUC vai de 0,5 (sorteio) a 1,0 (perfeito). Ficar à frente em todos os 16 meses mostra que o resultado não depende de um mês bom. É a mesma validação que fazemos com os dados de cada empresa no diagnóstico, antes de qualquer contrato.
O que o backtest não prova
Aqui é preciso ser honesto. O backtest mede se o modelo reconhece o que o cliente ia comprar. Ele não mede se a sugestão fez o cliente comprar mais, porque naquele passado ninguém usou a sugestão.
Por isso o backtest serve para uma decisão específica: vale a pena testar na operação? O ganho em receita só aparece no piloto, com parte da equipe usando a ferramenta e parte seguindo como hoje. Esse é o assunto do grupo de controle.
Peça o seu
Qualquer fornecedor sério consegue rodar um backtest com um relatório de vendas que o seu sistema já gera. Se ele não consegue mostrar quanto teria acertado nos seus últimos meses, você está comprando promessa.