E-mail marketing - teste A/B de assunto e de nome do remetente
Como testar dois assuntos (ou dois nomes de remetente) em uma parte do público antes de mandar a campanha para todos - o que varia, o tamanho da amostra, o critério, a espera, a vencedora enviada sozinha ou escolhida por você, e por que a abertura é uma medida imprecisa.
Quando usar
Use quando quiser descobrir, antes de enviar a campanha para todo o público, qual assunto ou qual nome de remetente faz mais gente abrir ou clicar.
Antes de começar
- Ser quem gerencia o CRM (só quem gerencia mexe em campanhas)
- O Marketing do CRM ligado e pronto para enviar, com conta de envio, domínio verificado e endereço do rodapé
- A campanha em rascunho
- Um público que dê para testar - pelo menos 20 contatos por variante, e alguém sobrando para receber a vencedora
Para que serve e quando usar
O teste A/B descobre, antes de a campanha ir para todo mundo, qual assunto faz mais gente abrir ou clicar.
A campanha sai primeiro para uma parte do público, a amostra. Metade da amostra recebe o assunto A e metade recebe o assunto B. Depois de algumas horas, a variante com o melhor resultado segue para o restante do público.
Dá para testar também o nome do remetente, por exemplo "Serra Net" contra "Maria da Serra Net".
Antes de começar
| O que | Detalhe |
|---|---|
| Marketing pronto para enviar | Conta de envio, domínio verificado e endereço do rodapé, como em qualquer campanha |
| Campanha em rascunho | Depois de agendada, o teste não muda. Desagendar volta a campanha para rascunho |
| Público | Pelo menos 20 contatos por variante, e alguém sobrando para receber a vencedora |
| Link no e-mail | Só se a vencedora for escolhida pelo clique |
| Tamanho da amostra | Contatos no segmento | Quantos recebem cada variante |
|---|---|---|
| 10% do público | 400 | 20 |
| 20% do público | 200 | 20 |
| 30% do público | 134 | 20 |
| 40% do público | 100 | 20 |
| 50% do público | 80 | 20 |
O que varia e o que não varia
| Parte do e-mail | Variante A | Variante B |
|---|---|---|
| Assunto | O assunto da campanha, da aba Conteúdo | O campo Assunto da variante B |
| Nome do remetente | O nome do remetente da campanha | O campo Nome do remetente da variante B. Vazio, é o mesmo da A |
| Conteúdo do e-mail | O mesmo | O mesmo |
O teste não compara conteúdos diferentes do e-mail. Só o assunto e o nome do remetente mudam.
Configurar o teste
- 1
Abra CRM > Painel de controle > grupo Captação e marketing > cartão E-mail marketing. Abra a campanha, ou clique em Nova campanha.
- 2
Na aba Conteúdo, monte a campanha normalmente: nome, assunto e o e-mail. O assunto da campanha é o da variante A.
- 3
Abra a aba Envio e escolha o Segmento.
- 4
Logo abaixo, ligue Fazer teste A/B. O rótulo passa a Teste A/B ligado.
- 5
Preencha os campos do teste. Veja a tabela abaixo.
- 6
Leia a linha "Como vai sair". Ela diz quantos contatos recebem cada variante e quantos esperam a vencedora. Se o público for pequeno demais, o aviso aparece ali mesmo e diz qual amostra resolve.
- 7
Clique em Salvar.
- 8
Clique em Enviar teste e confirme. As duas variantes chegam no seu e-mail, marcadas com "[Teste A]" e "[Teste B]" no assunto.
- 9
Clique em Enviar ou agendar. A janela repete o tamanho de cada grupo na linha Teste A/B. Escolha Enviar agora, ou Agendar com Data e Hora, e confirme.
| Campo | O que preencher |
|---|---|
| Assunto da variante B | Obrigatório. Tem de ser diferente do assunto da campanha, a não ser que o nome do remetente mude |
| Nome do remetente da variante B | Opcional. Vazio, é o mesmo da variante A |
| Tamanho da amostra | 10%, 20%, 30%, 40% ou 50% do público. Nasce em 20%. A amostra é dividida igual entre as duas variantes |
| Vence a variante com | Mais abertura ou Mais clique |
| Esperar (horas) | De 1 a 168. Nasce em 4. A contagem começa quando a amostra termina de sair |
| Ao fim da espera | Enviar a vencedora sozinho, ou Esperar eu escolher |
Acompanhar e escolher a vencedora
No topo da campanha aparece uma etiqueta com a situação do teste. A mesma etiqueta aparece na aba Relatório, na seção Teste A/B.
| Etiqueta | O que quer dizer |
|---|---|
| Com teste A/B | O teste está configurado e o envio ainda não começou |
| Teste A/B: enviando a amostra | As variantes A e B estão saindo para a amostra. O restante espera o resultado |
| Teste A/B: esperando o resultado | A amostra saiu. A seção diz quando a decisão sai |
| Teste A/B: escolha a vencedora | A espera terminou e o restante do público só recebe depois da sua escolha |
| Teste A/B: variante A venceu, ou variante B venceu | A vencedora foi decidida e segue para o restante. O motivo fica escrito |
| Teste A/B cancelado | A campanha foi cancelada antes de o teste terminar |
A seção Teste A/B do relatório traz uma tabela com uma linha para a Variante A, uma para a Variante B e uma para o Restante. As colunas são Variante, Enviados, Abertura, Clique, Devolvidos, Descadastros e Falhas. A vencedora ganha a etiqueta Vencedora.
No modo Enviar a vencedora sozinho, não há nada a fazer: ao fim da espera a vencedora segue sozinha.
No modo Esperar eu escolher:
- 1
Abra a campanha e a aba Relatório.
- 2
Na seção Teste A/B, compare as taxas das duas variantes. A seção mostra quem estava na frente.
- 3
Em "Escolher a vencedora agora", clique em Variante A ou em Variante B.
- 4
Confirme na janela. A variante escolhida segue para todo o restante do público.
Na lista Contatos do relatório, cada contato mostra o grupo dele: Teste A ou Teste B para quem estava na amostra, e Variante A, Variante B ou Espera a vencedora para o restante.
A franqueza sobre a medida de abertura
A abertura é uma medida imprecisa. Alguns programas de e-mail abrem a mensagem sozinhos, como o Apple Mail, e inflam o número. Outros bloqueiam a imagem que conta a abertura, e a pessoa lê sem ser contada.
Quando o e-mail tem link, o clique é mais confiável. Prefira o critério Mais clique sempre que o e-mail tiver um link que interessa.
Vence quem tem a maior taxa sobre os enviados daquela variante. Não há margem mínima. Com poucos contatos, uma abertura a mais decide o teste, e uma diferença pequena pode ser acaso. Quanto maior a amostra, mais o resultado merece confiança.
Como se comporta
| Assunto | Regra |
|---|---|
| Uma variante por contato | Cada contato recebe uma variante só. O sorteio é feito uma vez, quando o envio começa, e não muda, nem se a campanha for pausada e retomada |
| Público do teste | Os números da tela são da última contagem do segmento. O público é contado de novo quando o envio começa |
| Quem vence | A variante com a maior taxa de abertura ou de clique, sobre os enviados daquela variante. Não há margem mínima |
| Empate | Em empate, ou quando uma variante não teve nenhum envio, vale a variante A. O motivo da decisão fica escrito no relatório |
| Troca da vencedora | A vencedora não pode ser trocada depois de escolhida, pelo sistema ou por você |
| Modo Esperar eu escolher | A campanha fica parada até alguém escolher. Não há prazo automático |
| Início da espera | A espera só começa depois que a amostra termina de sair. Com o limite por hora baixo, a amostra demora |
| Critério Mais clique | O e-mail precisa ter pelo menos um link |
| Pausar, retomar e cancelar | Funcionam como em qualquer campanha. Cancelada durante o teste, o restante não recebe |
| Devolvidos | Os devolvidos de cada variante podem subir depois da decisão, porque a devolução chega com atraso |
| Depois de agendada | O teste não muda. Desagendar volta a campanha para rascunho |
| O que o teste não faz | Não compara conteúdos diferentes do e-mail, só assunto e nome do remetente |
Problemas comuns
- Aparece "Escreva o assunto da variante B do teste A/B." - o campo Assunto da variante B é obrigatório quando o teste está ligado.
- Aparece "As variantes A e B do teste estão iguais" - mude o assunto ou o nome do remetente da variante B. As duas precisam ter alguma diferença.
- Aparece que cada variante ficaria com menos de 20 contatos - o público é pequeno para a amostra escolhida. Aumente a amostra para o percentual que a mensagem indica, escolha um segmento maior ou envie sem o teste.
- Aparece "O teste A/B não começou e a campanha voltou para rascunho" - entre o agendamento e a hora do envio o público diminuiu (descadastros, endereços devolvidos) e ficou pequeno demais. Ajuste a amostra ou desligue o teste e agende de novo.
- Aparece "O vencedor é escolhido pelo clique, mas o e-mail não tem link" - inclua um link no e-mail, ou troque o critério para Mais abertura.
- Aparece "A amostra do teste ainda está sendo enviada" - a vencedora só pode ser escolhida depois que a amostra termina de sair.
- Aparece que a variante já foi escolhida como vencedora - alguém, ou o próprio sistema, já decidiu. A vencedora não pode ser trocada.
- O campo Esperar (horas) mostra "De 1 a 168 horas." - o valor está fora do intervalo.
- Os campos do teste estão travados - a campanha não está mais em rascunho. Se ela estiver agendada, clique em Desagendar para voltar a rascunho.
- A campanha parou na etiqueta "Teste A/B: escolha a vencedora" e o restante não recebeu - o teste está no modo Esperar eu escolher. Abra a aba Relatório e escolha a variante. Não há prazo automático.
- Passaram as horas da espera e nada foi decidido - a espera só começa a contar depois que a amostra termina de sair. Com o limite por hora baixo, a amostra demora.
- A variante A venceu com os mesmos números da B - em empate vale a variante A. O motivo da decisão fica escrito no relatório.
- Os devolvidos de uma variante aumentaram depois da decisão - a devolução chega com atraso. A vencedora não muda por isso.
- A campanha foi cancelada no meio do teste e parte do público não recebeu - cancelada durante o teste, o restante não recebe. Cancelar não tem volta.