Grupo de controle, o jeito honesto de medir uma ferramenta comercial

A empresa contrata uma ferramenta comercial nova em março. Em abril, as vendas sobem 8%. A ferramenta funcionou?

Talvez. Mas abril pode ter tido mais dias úteis, uma campanha da indústria, um concorrente sem estoque ou simplesmente a sazonalidade do produto. Olhar a venda antes e depois mistura tudo isso e credita à ferramenta um ganho que pode não ser dela. Também acontece o contrário: um mês ruim por causa do mercado faz parecer que a ferramenta não serviu.

A ideia do grupo de controle

O jeito honesto é comparar dois grupos ao mesmo tempo, no mesmo mercado:

• Grupo que usa: vendedores (ou carteiras) que recebem a agenda e o pedido sugerido.
• Grupo de controle: vendedores parecidos que seguem trabalhando como hoje.

Os dois passam pelo mesmo mês, com os mesmos feriados, campanhas e concorrentes. A diferença entre eles é o que a ferramenta trouxe. É o mesmo princípio dos testes de remédio: só dá para dizer que funcionou quando se compara com quem não tomou.

Na prática, sem atrapalhar a operação

Separar a equipe em dois grupos fixos pode gerar ciúme e distorções. Por isso existem formatos que revezam:

• Alternância (switchback): a mesma equipe usa a ferramenta em alguns dias ou semanas e não usa em outros, em ordem sorteada. Todo mundo usa, e a comparação continua justa.
• Por carteira: dentro da carteira de cada vendedor, parte dos clientes entra na agenda sugerida e parte segue a rotina normal.

Em qualquer formato, a regra é a mesma: quem decide quem entra em cada grupo é o sorteio, não o gestor. Se o gestor escolhe os melhores vendedores para usar a ferramenta, o resultado vai parecer ótimo por outro motivo.

O que medir

• Faturamento por cliente contatado, comparado entre os grupos.
• Positivação: quantos clientes compraram no período.
• Mix: quantos produtos diferentes cada cliente levou.
• Recuperação: quantos clientes que tinham sumido voltaram a comprar.

E uma condição para a medição valer: os vendedores do grupo que usa precisam usar de fato. Se metade ignora a agenda, o teste mede adoção, não a qualidade das sugestões. Vale combinar um mínimo de uso antes de começar.

Por que isso importa na hora de contratar

Uma ferramenta que mede o próprio impacto com grupo de controle está assumindo um risco: se não funcionar, o relatório vai mostrar. Por isso tão poucas fazem. Quem oferece essa medição está dizendo que prefere ser cobrado pelo resultado a ser cobrado pela promessa.

O piloto do UpVendas é desenhado para começar com essa comparação, para que a conversa sobre contrato aconteça com o número na mesa.