Case iFood: Teste A/B de Cupons

Resumo da Análise

O teste A/B de cupons no iFood mostrou aumento significativo de frequência de pedidos (+100%) e gasto total por usuário (+20%), mas sem impacto no ticket médio. O retorno financeiro foi positivo no agregado (ROI 31%), embora segmentos como heavy e não-heavy isolados tenham destruído valor, enquanto Desktop e iOS sustentaram ROI elevado e Android operou no limite. Conclui-se que os cupons são eficazes como alavanca de engajamento, mas demandam segmentação mais inteligente, calibragem de valor/gatilhos e governança de testes para garantir retorno sustentável, com potencial de gerar até R$4,8 milhões de margem incremental anual sob os ajustes propostos.


1. Contexto

O iFood testou uma campanha de cupons com um grupo de usuários selecionados (grupo teste), enquanto outro grupo similar não recebeu o benefício (grupo controle).
O objetivo do experimento foi avaliar se o cupom aumentaria o engajamento e o gasto dos usuários, além de verificar a viabilidade financeira da iniciativa.

Período amostrado: Janela inferida de 01-01-2029 a 01-02-2019, desconsiderando registros isolados fora desse período (quantis 1–99%).

Glossário


2. Principais Resultados da Campanha

2.1 Engajamento e Vendas

Tabela 1 – Sumário por grupo (medianas, p95 e heavy users).

Grupo Usuários Mediana GMV Mediana pedidos Mediana AOV p95 GMV p95 pedidos p95 AOV % Heavy Users (≥3)
Sem Cupom 357261 66.2 1 40.85 457.40 9 100.6 30.71%
Com Cupom 442676 79.8★ 2★ 41.00 507.19 10 99.80 36.93%

Notas:
= diferença estatisticamente significativa versos Controle (teste Mann–Whitney, p < 0,05).

Figura 1 – Medianas por grupo (GMV, Pedidos, AOV).
Medianas por grupo

Figura 2 – Distribuição de pedidos por usuário (controle vs tratamento).
Distribuição de pedidos

Figura 3 – Boxplots (medianas) por grupo.
a) GMV por usuário
Box GMV

b) Pedidos por usuário
Box Pedidos

c) AOV por usuário
Box AOV

Interpretação:
O cupom não aumentou o valor de cada pedido, mas levou os usuários a pedirem com mais frequência, elevando o gasto total.
Isso reforça o cupom como alavanca de engajamento e hábito de consumo, e não como impulsionador de ticket médio.


2.2 Sustentabilidade Financeira

Premissas adotadas:
- Valor do cupom: R$10, pago pelo iFood.
- Taxa de uso do cupom: 30%.
- Comissão média do iFood (take rate): 23% sobre o valor dos pedidos.

Tabela 2 – Indicadores financeiros.

Métrica Valor
Receita incremental total R$1,74 milhão
Custo total dos cupons R$1,33 milhão
Lucro incremental total R$416 mil
Lucro incremental por usuário R$0,94
LTV R$34,6
CAC R$10
LTV/CAC 3,5
ROI (%) 31,35%

Break-even (geral do A/B)
Necessário: R$ 13,04 | Entregou: R$ 17,13 | Gap: +R$ 4,09
Lucro por usuário: R$ 0,94 | Status: OK

Nota sobre o LTV:
O cálculo do LTV (Lifetime Value) é normalmente utilizado em horizontes mais longos, acompanhando a evolução do cliente ao longo de vários meses ou anos. Na análise, os dados disponíveis cobrem apenas o período do experimento, de modo que o LTV foi aqui estimado a partir desse intervalo restrito.
Ainda assim, a métrica foi incluída porque oferece uma boa referência de potencial de retorno por cliente e permite compará-lo com o CAC. Ou seja, ainda que a estimativa seja mais conservadora e não capture todo o ciclo de vida real do cliente, ela ajuda a reforçar a análise de viabilidade financeira no contexto deste case.

Interpretação:
O investimento em cupons trouxe retorno positivo para o iFood.
Cada real gasto com cupons gerou aproximadamente R$3,50 de valor de cliente a longo prazo, indicando uma estratégia financeiramente sustentável.


2.3. Conclusões


2.4. Recomendações e Nova Proposta de Teste A/B

Os resultados da análise mostraram que os cupons, da forma como foram aplicados, aumentaram o número de pedidos e o GMV, mas não alteraram o valor médio por pedido (AOV). Além disso, foi observado que usuários com alto engajamento (heavy users) utilizaram os cupons, o que reduz a eficiência da campanha.

Diante disso, recomendam-se ajustes na estratégia antes de repetir a ação:

1. Segmentação mais inteligente

2. Diferenciar o tipo de cupom

3. Nova proposta de teste A/B

Para validar essas hipóteses, sugere-se um desenho de experimento com três grupos:

Público-alvo do teste: clientes inativos ou de baixa frequência.

4. Métricas de avaliação

Com essa abordagem, será possível avaliar se os cupons funcionam não apenas como incentivo imediato, mas também como alavanca de crescimento sustentável para o negócio.


3. Segmentação de usuários

3.1. Critérios de segmentação e racional

Objetivo. Agrupar clientes com comportamentos semelhantes para direcionar benefício, mensagem e canal, aumentando engajamento/retenção e otimizando custo de cupom.

Critérios utilizados:


3.2. Resultados do A/B por segmento e recomendações

1) Frequência (Heavy vs Não-heavy)

Tabela 3 – Medianas por segmento (Heavy vs Não-heavy) + métricas financeiras

Segmento Usuários (Trat., amostra) Usuários (Trat., base) GMV mediano (Ctrl → Trat) Δ GMV Pedidos medianos (Ctrl → Trat) Δ Pedidos AOV mediano (Ctrl → Trat) Δ AOV Receita inc. total (R$) Custo total (R$) Lucro inc. total (R$) Lucro por usuário (R$)
Não-heavy 34.929 279.181 47,00 → 50,00 +3,00 1 → 1 0 40,09 → 40,45 +0,37 200.754 837.543 -636.789 -2,28
Heavy 20.439 163.495 205,60 → 208,20 +2,60 5 → 5 0 42,30 → 42,30 +0,00 33.120 490.485 -457.365 -2,80

Notas:
indica diferença estatisticamente significativa entre Tratamento e Controle dentro do segmento (teste Mann–Whitney, p < 0,05). Em Não-heavy, embora a mediana de pedidos permaneça 1→1, o teste indica diferença na distribuição de pedidos.
• As medianas (GMV/pedidos/AOV) foram calculadas sobre amostras retiradas da base completa; os “Usuários (Trat., amostra)” refletem o tamanho coletado.
• As métricas financeiras (receita, custo, lucro, lucro por usuário) foram calculadas sobre 100% da base por segmento.

Break-even (Frequência)
Não-heavy: Necessário R$ 13,04 | Entregou R$ 3,13 | Gap −R$ 9,91 | Lucro/usuário −R$ 2,28NEG
Heavy: Necessário R$ 13,04 | Entregou R$ 0,88 | Gap −R$ 12,16 | Lucro/usuário −R$ 2,80NEG

Figura 4 - Mediana GMV/AOV/Pedidos por usuário (Heavy vs Não-heavy)

a) GMV por usuário
Bars GMV
b) AOV por usuário
Bars AOV
c) Pedidos por usuário
Bars Pedidos

Interpretação:
O cupom não altera de forma relevante o comportamento típico (medianas) dentro de cada grupo:

Composição importa
O grupo Tratamento tem mais heavy (~37% vs ~31% no Controle, +6 p.p.). Essa diferença de mix eleva as médias globais do tratado mesmo quando as medianas por grupo mudam pouco.

Implicações financeiras
Com as premissas atuais (23% de take rate, cupom R$10, resgate 30%), o lucro incremental por usuário é negativo em ambos:

Isto pode indicar canibalização/ineficiência com o valor e/ou gatilho atuais quando apenas a frequência é considerada.
O cupom não move a mediana de pedidos (1 → 1 em não-heavy; 5 → 5 em heavy). O pequeno ganho observado vem de poucos clientes específicos com gasto acima da média, o que é insuficiente para compensar o custo quando olhamos o grupo como um todo.
Como a composição do Tratamento possui mais heavy users, o agregado pode parecer melhor, mas a política por frequência pura (heavy vs não-heavy) não se paga com o desenho atual.

Ações sugeridas:

  1. Não-heavy (1–2 pedidos): manter cupom direcionado, mas com gatilho de progressão (ex.: após o 1º pedido, ou após X dias sem compra) para conduzir usuário ao 3º pedido.
  2. Heavy (≥3): reduzir valor/frequência do cupom (ou condicionar a novos comportamentos, por exemplo, categorias menos frequentes), evitando canibalização.
  3. Equilibrar os grupos de teste: assegurar que controle e tratamento tenham proporções semelhantes de heavy e não-heavy. Isso evita distorções no resultado global e permite avaliar com clareza o impacto real dos cupons.

KPIs a acompanhar:

2) Plataforma (Android / iOS / Desktop)

Tabela 4 – Medianas por segmento (Plataforma) + métricas financeiras

Plataforma Usuários (Trat., amostra) Usuários (Trat., base) GMV mediano (Ctrl → Trat) Δ GMV Pedidos medianos (Ctrl → Trat) Δ Pedidos AOV mediano (Ctrl → Trat) Δ AOV Receita inc. total (R$) Custo total (R$) Lucro inc. total (R$) Lucro por usuário (R$)
Android 23.632 189.796 59,00 → 69,80 +10,80 1 → 2 +1 38,57 → 38,67 +0,10 609.238 569.388 39.850 0,21
Desktop 7.939 63.370 63,20 → 73,60 +10,40 1 → 2 +1 39,33 → 39,43 +0,10 305.302 190.110 115.192 1,82
iOS 23.336 185.497 77,80 → 94,00 +16,20 2 → 2 0 44,90 → 45,00 +0,10 808.417 556.491 251.926 1,36

Notas:
indica diferença estatisticamente significativa entre Tratamento e Controle dentro do segmento (teste Mann–Whitney, p < 0,05).
• As medianas (GMV/pedidos/AOV) vêm de amostras da base de dados; “Usuários (Trat., amostra)” reflete o tamanho coletado.
• As métricas financeiras foram calculadas sobre 100% da base.
Windows Phone: este segmento foi omitido da tabela por ter pouquíssimos usuários no Tratamento/Controle, o que gera estimativas instáveis (alta variância) e risco de leitura equivocada.

Break-even (Plataforma)
Desktop: Necessário R$ 13,04 | Entregou R$ 20,95 | Gap +R$ 7,91 | Lucro/usuário R$ 1,82OK
iOS: Necessário R$ 13,04 | Entregou R$ 18,95 | Gap +R$ 5,91 | Lucro/usuário R$ 1,36OK
Android: Necessário R$ 13,04 | Entregou R$ 13,96 | Gap +R$ 0,91 | Lucro/usuário R$ 0,21No limite
Windows Phone: Entregou R$ 10,46 | Gap −R$ 2,58 | Lucro/usuário −R$ 0,59NEG (N pequeno)

Figura 5 - Mediana GMV/AOV/Pedidos por usuário (Plataforma)

a) GMV por usuário
Bars GMV

b) AOV por usuário
Bars AOV

c) Pedidos por usuário
Bars Pedidos

Figura 6 - Heavy Users por Plataforma
Bars Heavy Users

Interpretação

A análise por plataforma mostra que o efeito do cupom não foi homogêneo entre os usuários:

Os resultados indicam que Desktop e iOS devem ser priorizados nas próximas campanhas, pois além de engajarem os clientes, entregam ROI positivo. Já o Android, apesar de estimular comportamento mais ativo, exige ajustes para que o investimento seja de fato rentável.

Ações sugeridas:

KPIs a acompanhar:

3) RFM (111–555)

Tabela 5 – RFM (Top 5 com mais usuários em Tratamento, medianas + AOV)

RFM Usuários (Trat.) GMV mediano (Ctrl → Trat) Δ GMV Pedidos medianos (Ctrl → Trat) Δ Pedidos AOV mediano (Ctrl → Trat) Δ AOV
555 5.391 409,3 → 415,2 +5,9 9 → 9 0 47,10 → 46,94 −0,16
111 3.192 25,2 → 25,9 +0,7 1 → 1 0 25,20 → 25,90 +0,70
112 2.904 44,0 → 44,5 +0,5 1 → 1 0 44,00 → 44,50 +0,50
211 2.310 25,1 → 25,0 −0,1 1 → 1 0 25,10 → 25,00 −0,10
455 2.054 343,6 → 332,8 −10,8 7 → 7 0 46,72 → 45,64 −1,08

Notas:
• A grade RFM tem muitas células (até 125). Várias têm N pequeno, o que torna estimativas de ROI voláteis.
• O objetivo da RFM é direcionamento (quem merece mais/menos incentivo).
• As medianas (GMV/pedidos/AOV) vêm de amostras da base completa; “Usuários (Trat., amostra)” reflete o tamanho coletado.
Top-5 por população: não houve diferenças estatisticamente significativas entre Tratamento e Controle nas células apresentadas (Mann–Whitney, p ≥ 0,05).

Interpretação

Ações sugeridas

KPIs a acompanhar:

4) Novo vs Recorrente (limitação atual)

Tabela 6 – Medianas (Novo vs Recorrente)

Segmento Usuários (Trat.) GMV mediano (Ctrl → Trat) Δ GMV Pedidos medianos (Ctrl → Trat) Δ Pedidos
Recorrente 55.348 66,00 → 79,60 +13,60 1 → 2 +1

Interpretação

Clientes novos não existem na amostra, pois a base completa contém apenas usuários com ao menos um pedido anterior ao período de análise, então a “conversão=1,0” é espúria.

Ações sugeridas

Incluir usuários sem pedido na base de teste (grupo de controle e tratado) para medir 1ª compra; só então definir política específica para “novos”.


3.3. Recomendações para Segmentação

Frequência (Heavy vs Não-heavy)

Plataforma

RFM

Métricas por segmento


4. Próximos Passos

4.1. Próximos passos recomendados

Redesenhar a política de cupons

Direcionar por plataforma

Estratégia RFM simplificada

Refinar desenho experimental

Benefício esperado: comparar formatos de incentivo em condições mais justas, evitar gastos em segmentos onde o ROI já se mostrou negativo e garantir ajustes rápidos quando a campanha destruir valor.


4.2 Previsão de impacto (financeiro e não financeiro)

Impacto financeiro atual (teste A/B realizado)

Quadro – Break-even por célula (resumo)

Célula Necessário Entregou Gap Lucro/usuário Status
Geral 13,04 17,13 +4,09 0,94 OK
Android 13,04 13,96 +0,91 0,21 No limite
Desktop 13,04 20,95 +7,91 1,82 OK
iOS 13,04 18,95 +5,91 1,36 OK
Não-heavy 13,04 3,13 −9,91 −2,28 NEG
Heavy 13,04 0,88 −12,16 −2,80 NEG

Regras práticas

Interpretação atual:

A análise financeira do teste mostra que, no agregado, a campanha gerou retorno positivo. No entanto, os resultados variam bastante por segmento. As plataformas Desktop e iOS apresentaram ROI confortável, sustentando expansão seletiva nesses canais. O segmento Android também mostrou crescimento em engajamento (pedidos 1→2 e aumento da base de heavy users em +6 p.p.), mas o retorno líquido ficou praticamente no zero a zero (R$0,21 por usuário), o que indica necessidade de calibragem no valor e nos gatilhos do cupom. Já os grupos heavy e não-heavy, analisados isoladamente, apresentaram destruição de valor: ambos tiveram prejuízo médio por usuário, confirmando que a política de cupons aplicada de forma ampla não se sustenta sem segmentação. Esses achados reforçam que a eficácia do incentivo depende não apenas do valor oferecido, mas de um direcionamento mais estratégico dos públicos.

Impacto esperado com as recomendações

Com os ajustes propostos (priorização de segmentos rentáveis e exclusão de grupos deficitários) a projeção é de uma margem incremental anual de aproximadamente R$4,8 milhões. Esse ganho vem de duas frentes principais:

Impacto não financeiro


4.3 Melhorias no processo e no desenho de testes

Para garantir que futuras campanhas de cupons sejam sustentáveis e gerem aprendizado confiável, é necessário fortalecer a governança e a instrumentação dos testes. As seguintes práticas são recomendadas:

Em conjunto, essas práticas aumentam a disciplina no acompanhamento e tornam o processo de experimentação mais confiável, rápido e orientado a evidências.


4.4 Premissas adotadas

A análise e as projeções aqui apresentadas foram feitas sob premissas claras, que devem ser consideradas na interpretação dos resultados: