Validación y testado de prototipos

Explica qué es validar un prototipo y en qué se diferencia de «que a tu equipo le guste». ¿Por qué no basta con preguntar a tus amigos si tu idea es buena?

Explica qué es un usuario de prueba (tester) y por qué tu abuela o tu mejor amigo son testers sospechosos. Describe el perfil de tres buenos testers para una app de apuntes del instituto (quiénes son y por qué su opinión cuenta más que la de tu familia).

Distingue validar de verificar con un ejemplo del puesto de crepes: verificar es comprobar que la crepe está hecha según la receta; validar es comprobar que la gente quiere comprarla. Explica por qué un producto puede estar «bien hecho» y aun así no vender.

Vas a testar el puesto de zumos con $5$ compañeros. Describe qué les darías a probar, qué tres cosas anotarías de cada uno (qué elige, cuánto tarda en decidir, si pagaría el precio) y por qué es mejor observar lo que hacen que preguntarles solo si les gusta.

Diseña el test de un prototipo de app del instituto hecho con pantallas de papel: escribe el guion de $5$ pasos que pedirás al usuario (buscar el horario, apuntar una tarea…), qué debe hacer solo (sin que le ayudes) y qué anotarás en cada paso. Explica por qué en el test el usuario «conduce» y tú callas.

Vuestra primera validación salió «demasiado bien»: enseñasteis el prototipo a $8$ amigos explicándolo vosotros, y todos dijeron que «está genial». Al probarlo solos, $3$ compañeros de otra clase no supieron ni empezar.

1. a) Identifica los tres errores del primer test (muestra, explicación previa, preguntas que empujan al elogio).
2. b) Rediseña el test con las reglas correctas (usuario conduce, tú callas, tareas en vez de opiniones) y escribe las dos primeras frases que dirás al tester.

Explica qué es una métrica y por qué «parece que gustó» no es una métrica. Escribe una métrica concreta para cada proyecto: el puesto de desayunos, la app de apuntes y el punto de intercambio de libros.

Del test de vuestra app salen $15$ comentarios: dos personas piden modo oscuro, una pide que hable con Alexa, ocho se quejan de que no se entiende el botón principal y cuatro no comentan nada. Explica cómo distingues la señal del ruido (cuánta gente lo pide, cuánto bloquea el uso) y decide qué dos cambios haríais primero, defendiendo el orden.

El equipo testó su app con $20$ alumnos y recogió $25$ comentarios: $9$ piden modo oscuro, $6$ se quejan de que no encuentran el buscador, $4$ piden avisos de exámenes, $3$ piden stickers y $3$ no dijeron nada.

1. a) Ordena los cambios por señal (cuánta gente lo pide y cuánto bloquea) y decide qué dos entran en la próxima versión, defendiendo el criterio.
2. b) Explica qué harías con el comentario de los stickers y por qué «contentar a todos» es la receta para no lanzar nunca.

El puesto de zumos hizo dos rondas de test. Ronda 1: $40\ \%$ de los que se acercaban compraban, espera media de $6$ minutos, valoración del sabor $6,5$. Ronda 2 (con receta nueva y dos jarras): $55\ \%$ de compra, espera de $3$ minutos, sabor $8,2$.

1. a) Interpreta la evolución: qué cambió, qué métrica lo confirma y qué dirías si alguien del equipo afirma que «ya está perfecto».
2. b) Propón la siguiente métrica a mejorar (porcentaje que repite, ventas por hora punta) y diseña cómo la mediríais en la feria.

Dos equipos validan el mismo tipo de puesto. El A pregunta: «¿te gustaría que hubiera un puesto de desayunos sanos?» ($90\ \%$ dice que sí). El B monta un puesto mínimo un recreo y mide: $15$ compras de $60$ personas que pasaron.

1. a) Explica qué midió realmente cada equipo y por qué el «sí» del equipo A vale menos que las $15$ compras del B (diferencia entre opinión declarada y comportamiento real).
2. b) Diseña vuestra validación definitiva para la feria: qué experimento con dinero real haríais antes, con qué umbral de éxito escrito de antemano («si menos de $X$ de cada $Y$ compran, cambiamos de producto»).

Vuestra cooperativa lanza la v3 del puesto tras dos validaciones. La feria real, sin embargo, sale peor que los tests: colas largas, agotáis el género a media mañana y varios clientes se van sin comprar.

1. a) Explica por qué los tests no predijeron esto (escala, hora punta, estrés del equipo: el laboratorio no es el mundo real) y qué aprende un equipo ágil de esta «falla» del test.
2. b) Diseña el informe post-feria: qué cinco datos recogeréis durante el evento (ventas por hora, cola máxima, momento de agotamiento, quejas, qué se agotó primero) y qué tres decisiones tomaréis para el próximo evento con esos datos.