Ons white paper ChatGPT in e-mailmarketing is gelanceerd! Natuurlijk moesten we ons verhaal zelf ook testen. Wij waren benieuwd of een tekst geschreven door ChatGPT beter zou scoren dan een zelfgeschreven tekst. Daarom leek het ons een goed idee om in de nieuwsbrief over ChatGPT een A/B-test uit te voeren. In dit blog nemen wij je mee in de uitslag.
Versie A en B van onze nieuwsbrief
Versie A is de variant die we zelf hebben geschreven en versie B is van ChatGPT:
Inrichting A/B-test
Zoals je ziet, zijn de teksten in beide nieuwsbrieven verschillend. Maar dat is niet het enige wat we hebben getest. We hebben ook de onderwerpregel en de snippet-teksten getest. Eigenlijk heb je niet helemaal een zuivere A/B-test als je meerdere onderdelen test. Maar als je wilt testen of ChatGPT echt het werk van een e-mailmarketeer kan vervangen, dan wil je weten of de volledige nieuwsbrief beter presteert dan de tekst geschreven door de marketeer.
Dit doen we omdat ChatGPT zo’n enorme trend is en er voor marketeers ook een onzekerheid heerst. In hoeverre is ChatGPT beter dan een ‘gewone’ marketeer? Kennen wij onze doelgroep goed genoeg om een betere versie te sturen dan ChatGPT dat doet?
ChatGPT is, naast trending, ook erg handig om bepaald werk mee te vereenvoudigen. Je moet het alleen wel op de juiste manier kunnen aansturen. Gelukkig hebben we daar een heel handig white paper over geschreven.
ChatGPT in e-mailmarketing
ChatGPT is een ideale assistent om je te helpen bij het schrijven van onderwerpregels, snippet-teksten, calls-to-action en bij de teksten in je contentblokken.
Maar hoe zet je de chatbot goed in? Dat laten we je graag zien met voorbeelden en handige prompts.
Verschillende onderwerpregels en snippet-teksten
De A- en B-variant van de onderwerpregel en de snippet-tekst zagen er als volgt uit:
Vanuit deze onderwerpregels en snippet-teksten kun je aan ChatGTP prima vragen om een tekst voor je contentblok. Dit hebben we aan ChatGTP gevraagd en die tekst zie je ook terug in de B-variant van onze nieuwsbrief:
De cijfers
Onze testperiode duurde twee dagen en beide versies zijn naar 1.115 mensen gestuurd. Het doel van de mailing is het verzamelen van conversies.
De openratio van versie A is 2,5% hoger dan de openratio van versie B. Ook waren de unieke opens 3% hoger. Deze gegevens zijn eigenlijk niet statistisch significant, dus dat betekent dat er niet een overduidelijke winnaar uit de test naar voren komt als je kijkt naar de openratio.
Als we kijken naar het contentblok, dan gaat het vooral om hoe vaak er unieke conversiekliks zijn geweest. Dit zijn namelijk de kliks naar onze landingspagina. De andere kliks in de nieuwsbrief leiden niet naar het document. De unieke doorkliks van versie A zijn 16,4% hoger dan die van versie B. Dit verschil is groter dan het verschil in openratio.
Het doel van de campagne is uiteindelijk om zoveel mogelijk downloads te genereren. Wat dat betreft, heeft versie A gewonnen. Uiteindelijk hebben we om deze reden de keuze gemaakt om versie A te verzenden.
Wat betekent dit nou eigenlijk?
Uit onze test blijkt dat de verschillen tussen beide varianten wel te meten zijn, maar ze zijn niet heel groot. Het was ook niet per se ons doel om grote verschillen te creëren. We wilden simpelweg kijken naar de daadwerkelijke kracht van ChatGPT. En het blijkt dat de ChatGPT-versie niet beter heeft gepresteerd dan de versie van eigen hand.
Ieder bedrijf heeft zijn eigen schrijfstijl waar de doelgroep aan gewend is. Daarom zullen wij altijd kiezen om deze te blijven hanteren. Wel is ChatGPT een mooie uitweg om de hoge werkdruk een beetje te verminderen. Het helpt bij je creativiteit en het kan je processen versnellen. Toch zal ChatGPT de e‑mailmarketeer niet vervangen. Dus neem weer even diep adem en omarm ChatGPT in plaats het te vrezen.
