Misurare una scelta di design su una testata da milioni di lettori
Le metriche di prodotto e quelle editoriali si contraddicono più spesso di quanto si ammetta. Chi progetta deve sapere quale delle due sta guardando, e perché.
Su un prodotto editoriale grande, ogni scelta di gerarchia si può misurare. Il problema non è avere i numeri. È che i numeri disponibili rispondono a domande diverse, e alcune di quelle domande sono in conflitto tra loro.
Due misure che tirano in direzioni opposte
Sposto un blocco di articoli correlati più in alto nella pagina. I clic su quel blocco salgono, le pagine per sessione salgono. Sembra una vittoria netta.
Guardo un’altra riga della stessa tabella: il tempo speso sull’articolo che la persona stava leggendo è sceso. Ho spostato traffico da un contenuto a un altro, e ho interrotto una lettura che stava andando bene. La stessa modifica è un successo se la misuro in pagine viste ed è un danno se la misuro in letture completate.
Non c’è una risposta universale su quale delle due conti di più. C’è una risposta per quel prodotto, in quel momento, che dipende da come si fanno i ricavi e da che rapporto la testata vuole avere con chi la legge. Il lavoro del designer è costringere quella conversazione a essere esplicita prima del test, non dopo.
Le medie nascondono quasi tutto
Il tempo medio sulla pagina è il numero meno utile che abbia mai usato. Su una testata generalista mette insieme la persona arrivata da un social che rimbalza in quattro secondi e quella arrivata dalla newsletter che legge fino in fondo. La media di due comportamenti opposti descrive un lettore che non esiste.
Da quando guardo le distribuzioni invece delle medie, le decisioni sono cambiate. Vedere che un intervento non sposta il centro ma ingrossa la coda dei lettori lunghi è un’informazione che una media azzera. Ed è quasi sempre quella la cosa che volevo ottenere.
Il test A/B misura bene solo le cose piccole
Sulle modifiche locali funziona: il colore di un bottone, la posizione di un elemento, la formula di un titolo. Sulle modifiche strutturali fa fatica, per un motivo semplice. Un cambio di gerarchia si valuta su come cambia l’abitudine di chi torna, e l’abitudine si forma in settimane. Quasi nessun test resta acceso abbastanza a lungo.
Quando il cambiamento è strutturale preferisco misurarlo per coorti, guardando come si comporta nel tempo chi era già lettore prima. Ci vuole più pazienza e i risultati non arrivano mai il venerdì per la riunione del lunedì. Però rispondono alla domanda giusta.
Quello che non si misura, e va detto
Alcune cose che valgono molto non hanno un numero. Se una pagina è coerente con le altre del gruppo, se la redazione riesce a comporla in dieci minuti invece che in un’ora, se un componente regge una notizia che arriva alle due di notte. Sono tutte cose che si vedono nel costo di gestione e nell’errore umano, non nella dashboard.
Quando presento una scelta provo a dire tutte e due le parti. Questo è il numero che mi aspetto di muovere. Questo è quello che miglioro e che non saprò dimostrare. Dichiararlo prima è l’unico modo per non essere costretto, sei mesi dopo, a inventare una metrica che confermi quello che avevo già deciso.
La domanda che faccio sempre per prima
Prima di aprire qualsiasi strumento: se questo numero salisse del venti per cento, cosa faremmo di diverso domani. Se la risposta è niente, quel numero non serve a prendere una decisione, e guardarlo è un modo elegante di perdere tempo.