[VIDEO] Opciones para hacer A/B testing en sitios de poco tráfico

pexels-photo-125514
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

En el último video comenté la importancia de respetar la cantidad mínima de usuarios que deben pasar por cada variante de un A/B testing para poder tener certeza sobre el resultado que obtenemos.

Pero también vimos que esa cantidad mínima de usuarios suele ser grande, sobre todo para sitios que tienen baja conversión. Y en general pocos sitios reciben una cantidad diaria de tráfico que haga que ese número sea alcanzable en pocos días…

¿Qué pasa entonces si somos una startup? ¿o incluso qué pasa si estamos en una compañía grande pero trabajamos en un producto que no recibe la mayor parte del tráfico?

¿Debemos dejar de lado el A/B testing? ¿Debemos hacer A/B testings que duren 6 meses en obtener resultados?

La respuesta es no. Existen opciones que son mejores que salir a producción “a ciegas” y que repaso en el video de hoy.

Continúa leyendo [VIDEO] Opciones para hacer A/B testing en sitios de poco tráfico

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

[VIDEO] A/B testing práctico: determinar fácil y correctamente cuánto debe durar

pexels-photo-356040
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

En el último tiempo me di cuenta que di por sentado que cuando hablamos de A/B testing los equipos a cargo de ejecutarlos saben cuánto tiempo deben ejecutar las pruebas antes de determinar un ganador. Y me encontré con algunos mitos o ideas que daban a entender que este conocimiento no estaba tan claro 😀

Por eso armé este pequeño video con explicaciones muy básicas sobre la estadística que ocurre “por detrás” de un A/B test, y la forma exacta para determinar muy rápida y fácilmente cuánto debe durar tu prueba.

En resumen queremos:

  • Nivel de confianza >95%
  • Poder >80%
  • No frenar un A/B test cuando llega a 95% de confianza, porque ese valor varía en el tiempo
  • Determinar de antemano cuánto tiempo ejecutar la prueba en base a nuestra hipótesis de cambio

Para los que quieran leer más del tema, les dejo un artículo que me parece muy bueno sobre el tema:

https://conversionxl.com/blog/ab-testing-statistics/

Me encantaría saber sus comentarios y otras opiniones o formas de calcularlo que estén usando!

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

15 métricas para optimizar un e-commerce

pexels-photo-265087
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Tener éxito y poder hacer crecer un e-commerce depende de que sepamos cómo medir y tomar decisiones sobre la performance que estamos viendo.

Luego de más de 6 años trabajando con métricas de e-commerce me parece que hay 2 problemas que impiden que lleguemos a este éxito:

  • Tenemos potencialmente infinidad de métricas para mirar
  • Hay desconocimiento sobre cuáles vale la pena mirar, pero sobre todo qué decisión tomar en base a los resultados que veo (definitivamente me paso cuando estaba empezando)

En general podemos tener muy fácilmente métricas básicas como Transacciones y Conversión, y con eso nos alcanzaría para poder “llevar los números” del negocio. Sería el equivalente digital a una verdulería 😀

La verdad es que hay una evolución de los usuarios y las tecnologías, que nos obliga a  analizar aspectos más complejos del comportamiento de compra. Y creo que pocos los están aprovechando.

Existen métricas más avanzadas como tiempo a conversión, atribución multicanal, cohorts, life time value, tasas de cancelación… y mucho más. Estas son las que pueden darnos un grado de decisión más preciso que nos hagan realmente una diferencia sustancial en lo que ganamos con el negocio.

 

Escribir un post con toda esta información sería poco práctico, pero me gustaría abrir la conversación con algunos tips rápidos que pueden ayudar a que verifiquen si podrían estar tomando mejores decisiones con datos adicionales.

Si no tenés tiempo ahora, bajá ahora la guía sobre medición de e-commerce, con los 15 indicadores que deberías medir, qué decisiones tomar con ellos y cómo llegar a ellos en Google Analytics

Herramientas

Antes de comenzar vale aclarar que este no es un post técnico para analizar cómo implementar un tracking de un sitio o aplicación.

Pero si quiero ser detallista en cómo obtener la información de una herramienta dada.

Y si bien hay muchas (MixPanel, Interana, Amplitude, Kissmetrics, etc), voy a hacer foco en Google Analytics. Porque si hoy mismo quisieran empezar con algo, Google Analytics es gratis y poderosa, y además porque tiene entre 50 y 80% de market share (hay bastantes chances de que ya lo estén usando).

Finalmente, Google tiene una “Demo Account” muy poderosa para poder mostrarles gráficos con datos a lo largo de la explicación, y que ustedes pueden acceder para verlo por sí mismos.

Si están buscando una guía técnica de implementación, la información que Google brinda es excelente.

Métricas Básicas

Sólo para sentar las bases (y si ya estás avanzado sentite libre de pasar de sección), hay ciertas métricas que si o si deberías estar analizando diariamente que nos dan la información básica del rendimiento del sitio o app.

Transacciones (en un período de tiempo), Conversion Rate, Ticket promedio

Es habitual que miremos las transacciones de forma diaria, aunque también podríamos ver las transacciones de la semana o del mes, para comparar con otros períodos de tiempo.

En Google analytics existen varias formas de ver las transacciones, pero si estamos hablando de un e-commerce lo mejor es utilizar el tracking específico que la herramienta tiene para esto.

Entrando en “Conversiones” – “E-commerce” – “Overview” tendremos un panel con la información más relevante sobre cantidad de transacciones.

Transactions GA

En este mismo panel tenemos el conversion rate, posiblemente una de las métricas más universales en productos digitales porque podemos definirla como la cantidad de usuarios que cumplen un objetivo definido. Por eso podría servir para medir cualquier producto.

Pero cuando hablamos de e-commerce, lo que queremos medir es particularmente la cantidad de usuarios que realizaron una compra.

El valor que vemos (ese 3,09% en este caso) es la cantidad de sesiones en este período que tuvieron una compra.

Finalmente también podemos ver el ticket promedio, que tendrá impacto en el volumen de venta. Este dato estará muy ligado al tipo de producto que vendemos, pero en general suele ser un número que querremos que en el tiempo vaya creciendo.

  • ¿Qué decisiones podría tomar?

Continúa leyendo 15 métricas para optimizar un e-commerce

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

5 problemas que emergen cuando no hay Product Managers

desesperado
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Recientemente tuve la experiencia de ver a fondo una compañía “de producto” sin estructura de Product Management. Este es un pequeño análisis de los problemas que detecté y una ratificación de la importancia del rol de producto.

“Debería funcionar…”

Mi primer impresión fue bastante buena. Tenían un modelo innovador donde áreas que en otras compañías están más separadas trabajaban en conjunto para crear el producto.

La idea era simple:

  • Hay un área de negocio que entiende a dónde va la industria y lo que se necesita del producto a nivel mercado
  • Hay un área de UX que sabe sobre el usuario y cómo hacer un producto “friendly”
  • Hay un área de tecnología que sabe cómo construir el producto de la mejor manera, eficiente, escalable, etc.

Esas áreas trabajan juntas en un producto, y son un mismo equipo.

Definen juntos que construir y las prioridades. Miran juntos la salud del producto y que debería mejorarse.

Así definido debería funcionar, ¿no?

¿Qué cosas no funcionaban?

Detecté una serie de problemas que lo resumo en 5 puntos principales.

1. Backlog y Priorización

Uno de los aspectos que me pareció más grave fue la falta de un backlog explícito y priorizado visible para cualquier miembro del equipo (o de la compañía).

Eso no significa que no se supiera “que hacer a continuación”, pero si que cada quien tenía su imagen en la cabeza de cómo era ese backlog, y la priorización era una discusión basada en opiniones que se tenía todos los días.

Quizás más grave aún, existía un roadmap anual pre-existente, basado en estimaciones hechas por el equipo de IT en base a descripciones de una línea. Si bien a nivel directivo estaban las puertas abiertas para modificarlo si se detectaban cambios de prioridades, constantemente en la discusión de “cuándo hacer funcionalidad X” salía la frase “dijiste que lo íbamos a tener en Y fecha”.

No existía esa idea de trabajo como un solo equipo, donde se negocia que hacer y todos entienden por qué. Se veía más como un cliente y una software factory, cuándo se cae en las discusiones de contrato.

De más está mencionar los problemas de este enfoque: discutir constantemente las prioridades de todo el año complica mucho el delivery, hace cambio de enfoque constante porque es basado en opiniones, limita mucho la capacidad de introducir nuevas ideas… y muchos más 🙂

 

El mantenimiento de este artefacto es una de las tareas principales de un Product Manager, y con ese rol en el team, no hubiese faltado jamás.

2. Data-drivenness

An increasing bar graph and pen together with a sheet of statics in a concept of analysing graphs of increasing sales or turnover values

Casi a la par de este problema estaba la falta de decisiones basadas en datos.

¡En primer lugar por la falta de datos! Si bien había datos básicos del CRM (propio y de muy difícil acceso), faltaba por ejemplo la implementación correcta de una herramienta de medición del producto en sí y su funnel.

Y de la mano de eso, una falta de objetivos claros y concretos.

Continúa leyendo 5 problemas que emergen cuando no hay Product Managers

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

10 libros esenciales sobre desarrollo de productos

pexels-photo-46274
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

(Y otros 20 muy valiosos…)

En el último tiempo una de las preguntas más frecuentes que recibo es “que libro me recomendas para…” (inserte tema random desde “Discovery” hasta “Gestión del tiempo”).

Me pareció un gran insight para escribir un artículo resumiendo libros increíbles en ciertas temáticas que hacen al Product Management, Discovery, y disciplinas afines que a todos los que estamos en desarrollo de productos digitales nos debería interesar conocer.

Además he notado que a veces en la elección de libros a leer, estamos centrados en un tema particular del que queremos aprender (¡lo cual está perfecto!) pero perdemos de vista libros que hablan de temáticas más generales y que es mucho más importante que los leamos primero.

Por eso armé este top 10, agrupados por categoría, porque así me suele llegar la consulta, pero también me pareció importantes darles un orden del 1 al N según su importancia general.

Quizás sea por el vicio de estar todo el día repitiendo que tengamos un backlog ordenado y que 2 cosas no pueden tener igual prioridad 🙂

2 intenciones sobre este artículo

  • Que sea una lista viva, que iré actualizando a medida que vea más libros relevantes y su prioridad
  • Que sirva de guía para los que están empezando o quieran expandir su conocimiento. Por este motivo, cree como material de referencia la “Guía de 10 libros esenciales sobre Product Development (y 20 más que te van a servir)”,que pueden descargar aquí.

Elegir sólo 10 fue muy difícil. Por eso agregué otros 20 también muy útiles, que sirven para ahondar más en algunos temas o simplemente para dejarles mis preferencias a los que estén más avanzados 🙂

La lista completa

Tabla libros

(Ok, eso fue una imagen, lo más inusable del mundo – sepan disculpar :S)

Descarga la “Guía de 10 libros esenciales para Product Managers”, para tener un formato más amigable y links a los libros en Amazon

Continúa leyendo 10 libros esenciales sobre desarrollo de productos

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Complejizar la priorización no necesariamente la hace más exacta

precise tools
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Esta es la tercera y última parte del artículo que publiqué sobre las técnicas efectivas de priorización. Si no leíste la primer parte, te recomiendo ampliamente que lo hagas, ya que contiene la que para mi es la forma más efectiva de priorizar en la construcción de productos digitales.

De todas formas, en este artículo voy a explayar las últimas y quizás más “sofisticadas” de las técnicas que utilicé, y que problemas pueden traerte si las estás usando.

[También te puede interesar la segunda parte, donde introduje las 3 técnicas más simples que veo habitual y desafortunadamente utilizadas]

Te recomiendo que descargues el documento de referencia que tiene un resumen gráfico de esta información para futuras consultas

Continúa leyendo Complejizar la priorización no necesariamente la hace más exacta

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Que aprendí de mis primeros pasos en priorización

construction-work-carpenter-tools
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Esta es la segunda parte del artículo que publiqué sobre las técnicas efectivas de priorización. Si no leíste la primer parte, te recomiendo ampliamente que lo hagas, ya que contiene la que para mi es la forma más efectiva de priorizar en la construcción de productos digitales.

De todas formas, en este artículo voy a explayar las primeras 3 de las 7 técnicas que considero más relevantes con sus pros, sus cons, y en qué momentos puede cada una funcionar mejor.

Te recomiendo que bajes el documento de referencia que tiene un resumen gráfico de esta información para futuras consultas

Las opciones para priorizar

A modo introductorio reitero la matriz del primer post con el resumen de técnicas:

Matriz técnicas priorizacion

Continúa leyendo Que aprendí de mis primeros pasos en priorización

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Priorización efectiva del backlog con experimentación rápida

coins-currency-investment-insurance
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Este es un post en 3 partes “7 técnicas de priorización para productos digitales”, pero la publicación quedó algo rara :). En esta entrada están las partes 1 (Introducción) y final (Cómo priorizar con Product Discovery y experimentos rápidos), pero el detalle de las técnicas sigue en la parte 2. El motivo es que considero la parte final es tan valiosa que no podía dejar de incluirla hoy.

¿Qué tan relevante es la priorización para la construcción de productos?

Uno de los principales desafíos cuando estamos desarrollando productos es como priorizar el backlog o roadmap de funcionalidades que queremos hacer. Es la pregunta que más frecuentemente recibo, el tema sobre el que más posts hay (de hecho escribí el año pasado otro post de este tema), y uno de las tareas que podría decir que más veces cambié la forma de realizar a lo largo de mi carrera.

Si no tenés tiempo ahora descargá el PDF con el resumen de las 7 técnicas de priorizaciónpara leer más tarde

Continúa leyendo Priorización efectiva del backlog con experimentación rápida

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

El backlog de elementos terminados (inglés)

Checklist
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Por Nacho Bassino.

Este artículo fue originalmente publicado en Linked In (y en idioma inglés).

Muchas veces los equipos se concentran en desarrollar los items del backlog, y al completarlos y ponerlos en producción en general avisan a los stakeholders o usuarios apropiadamente y siguen con el siguiente item.

Sin embargo, existen beneficios adicionales que podemos obtener de hacer una buena gestión de esos elementos completados, y que servirán para el desarrollo futuro del producto. El Product Manager debe tomar este responsabilidad dentro del equipo y cumplir los 3 pasos que recomiendo hacer con los items completados. Los invito a leerlos en el articulo completo en Linked in.

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Lo que aprendí de comunicar pobremente nuevas funcionalidades (inglés)

Feature exposition - portada
Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone

Por Nacho Bassino.

Este post fue originalmente publicado en Medium (y en idioma inglés).

Uno de los aspectos fundamentales a la hora de hacer exitoso una nueva funcionalidad es tener una buena estrategia de comunicación del lanzamiento. No hay nada peor que tener una buena funcionalidad, que resuelve un problema para tu usuario, y que no la use porque no la conoce.

En este post cuento mis experiencias sobre este tema, y dejo 4 tips para evitar tener estos problemas en tus productos. Te invito a conocerlos en el post de medium.

Si te gustó, compartilo! :)Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Email this to someone