Come si fa un holdout geografico credibile

L'holdout geografico è lo strumento di misurazione più utile che quasi nessuno usa. Si spegne un canale in un gruppo di aree, lo si lascia acceso in un gruppo confrontabile, e si guarda cosa succede. Produce una stima causale, cosa che la reportistica delle piattaforme non sa fare, e funziona qualunque cosa accada ai cookie.

È anche il test che si fa male più spesso, in modi ovvi col senno di poi e invisibili sul momento.

Decidete la domanda prima del disegno

“Il canale X funziona?” non è una domanda a cui un test possa rispondere. “Se spegnessimo il canale X agli attuali livelli di spesa per otto settimane, quanto fatturato perderemmo?” lo è. La seconda versione vi obbliga a fissare una spesa, una durata e una metrica di risultato, ed è esattamente per questo che quasi tutti preferiscono la prima.

Appaiate le aree sul risultato, non sulla popolazione

I gruppi di test e di controllo vanno appaiati sul comportamento storico della cosa che state misurando, non su quante persone ci vivono. Prendete dodici mesi di fatturato settimanale per area e accoppiate le aree le cui serie si muovono insieme: livello simile, stagionalità simile, reazione simile alle promozioni passate.

Se test e controllo non si seguivano prima del test, quello che fanno durante non significa niente.

Dimensionatelo con onestà, poi decidete se farlo

• Stabilite l'effetto più piccolo che cambierebbe una decisione. Se un incremento del 3% e uno del 6% portano alla stessa azione, vi basta rilevare il 6%.
• Calcolate la durata necessaria a rilevarlo data la vostra varianza settimanale. Fatelo prima di impegnarvi, non dopo.
• Se la risposta onesta è trenta settimane, avete imparato qualcosa di importante: questo canale non è testabile a questo livello di spesa. Cambiate la spesa o cambiate la domanda.
• Non accorciate mai un test perché i primi numeri sembrano buoni. I primi numeri sembrano sempre qualcosa.

Proteggete il test dall'organizzazione

La causa di fallimento più comune non è statistica. È il capo area che si accorge che la sua zona si è fermata e compensa con una promozione locale, oppure il bidding automatico di una piattaforma che sposta budget sulle aree di controllo perché è lì che adesso arrivano le conversioni. Congelate ciò che potete, monitorate ciò che non potete, e mettete a verbale ogni intervento.

Pubblicate il risultato che avete ottenuto

Intervallo di confidenza compreso, direzione scomoda compresa, riserve comprese. Una pratica di misurazione si guadagna credibilità riportando i test che hanno dato torto alla sua stessa raccomandazione, e la spende ogni volta che ne rifà uno in silenzio.