¿Cuáles son los buenos recursos para aprender sobre el diseño de experimentos para pruebas A / B?

Answer 1

Si está buscando lo más básico y las pautas generales, hay algunos libros en el mercado que pueden ayudar, pero muchos no son tan buenos como carecen de información esencial. Por ejemplo, una revisión de los libros de pruebas A / B que hice hace un par de años mostró que muy pocos incluso tocaron el concepto de significación estadística en profundidad, mientras que ninguno discutió el poder estadístico. Ambos son cruciales para el diseño y la ejecución adecuados de las pruebas A / B desde un punto de vista estadístico. Así que sería muy cauteloso al llegar a estos.

Mucho de lo que hacen los grandes (Google, Microsoft, etc.) no es realmente aplicable a la mayoría de las pequeñas y medianas empresas o incluso a grandes corporaciones con un equipo pequeño de UX / CRO. Sin embargo, Kohavi et. Alabama. Se han entregado algunas presentaciones muy buenas y los eventos de KDD, que siempre son un buen punto de partida.

Este libro electrónico es gratuito y está escrito por un veterano de la industria (Keith Hagen) y los chicos de VWO y cubre mucho terreno: http://resources.vwo.com/convers…

Recomendaría mi propio informe técnico gratuito (https: //www.analytics-toolkit.co…) como siguiente paso, ya que cubre un enfoque frecuentista avanzado de las pruebas A / B que no presenta los inconvenientes de Enfoques bayesianos adoptados por algunos de estos días.

Pasar a través de los blogs de las principales empresas de pruebas A / B (proveedores y proveedores de servicios por igual) también descubrirá cosas útiles, pero no me detendría demasiado en los estudios de caso en particular, debido a las estadísticas insuficientes presentadas en la mayoría de los casos evaluar qué tan bien se justifican las reclamaciones dentro de.

Answer 2

Si está buscando ideas únicas, definitivamente recomendaría el “Libro de Pruebas A / B” escrito por Cara Harshman en nombre de los fundadores de Optimizely.

Cara es un versátil experto en A / B con gran energía e ideas frescas sobre la personalización en marketing. Comenzó su carrera como periodista y estudió cultura y lengua africanas. Luego, logró incorporar sus conocimientos para mejorar el mundo del marketing, un enfoque interdisciplinario bastante refrescante. Puedes leer más sobre su historia aquí.

En cuanto al libro, es un recurso realmente completo que explica lo que debe probar en su página web, cómo crear un gran equipo que manejará las pruebas A / B y cómo determinar qué tipo de experiencias digitales necesita diseñar para su Público objetivo. Lo más interesante es que incluye estudios de casos sobre maestros de personalización, como Amazon y Netflix.

Answer 3

A / B probamos los diseños de la mayoría de nuestras campañas de marketing en 99designs y recientemente escribimos un informe sobre cómo lo hacemos: cómo (y por qué) probar A / B sus activos de marketing – 99designs Blog

¡Piensa que esto podría ayudar!

Answer 4

Un grupo de expertos de la industria de Microsoft (dirigido por Ronny Kohavi) ha escrito una larga serie de presentaciones extremadamente prácticas para varias formas de pruebas A / B en el contexto de aplicaciones de Internet para consumidores. Son archivos PDF gratuitos y puedes encontrar tres de ellos en:

• Guía práctica de experimentos controlados en la Web: escuche a sus clientes y no al artículo de KPD de 9 páginas de la HiPPO en http://www.exp-platform.com/docu … (publicado en 2007)
• Experimentos controlados en la web: encuesta y guía práctica Artículo de Springer de 42 páginas en http://ai.stanford.edu/~ronnyk/2 … (Publicado en 2008)
• Siete Reglas empíricas para los experimentadores de sitios web Documento de KDD de 11 páginas en http://www.exp-platform.com/Docu… (Publicado en 2014)

Los escritos no son demasiado técnicos, por lo que debería ser una lectura adecuada para cualquier persona con un curso básico de estadísticas en su haber (o si eres valiente, puedes intentar leer esto sin ningún tipo de información estadística). Toca algunos de los matices de las pruebas A / B que surgen en las aplicaciones web de los consumidores, pero no tanto en los cursos, por lo que esto también lo ayudará a prepararse para las entrevistas de ciencia de datos.

Si está buscando un libro de texto gratuito que habla sobre estadísticas básicas y diseño experimental, consulte el Primer curso de diseño y análisis de experimentos (el libro de texto está disponible en http://users.stat.umn.edu/~gary/ …) . Solo los dos primeros capítulos son necesarios para los principiantes; el resto de los capítulos tratan temas que son más avanzados y menos relevantes para las pruebas A / B.

¡Buena suerte!