La calidad de las respuestas de un panel se mide por persona, combinando pruebas de atención (preguntas trampa y controles), de consistencia (preguntas espejo invertidas y cruces con el perfil) y de estabilidad (repetir preguntas semanas después). En Paruma cada participante recibe un puntaje de 0 a 100; es apto con 70 o más y siempre que haya contestado bien la atención y la trampa.
El problema: respuestas apresuradas, bots y participantes profesionales
Un estudio puede tener la muestra correcta en papel y datos malos en la práctica. Los tres riesgos más comunes:
- Respuestas apresuradas. La persona quiere terminar y marca sin leer.
- Bots y automatizaciones. Programas que llenan cuestionarios con patrones simples: al azar, siempre la primera opción o siempre "de acuerdo".
- Participantes profesionales. Personas que contestan muchos estudios por el incentivo, aprenden qué perfil se busca y adaptan sus respuestas para calificar.
Un filtro de entrada no basta, porque quien sabe pasar filtros los pasa. La fiabilidad se mide durante y después de cada participación.
El tema pesa más a medida que los estudios se mueven al celular. En México hay 100.2 millones de personas usuarias de internet, 83.1 % de la población de 6 años y más, según la ENDUTIH 2024. Esa escala hace que levantar una encuesta en línea sea rápido y barato. También la vuelve atractiva para quien busca incentivos con el menor esfuerzo posible, y para quien programa bots que llenan cuestionarios. Cuanto más grande y abierto es el panel, más importante es medir a cada persona.
Tres pruebas: consistencia (espejo), atención (trampa) y estabilidad (re-test a 3 semanas)
Atención. Dos controles de atención dentro del cuestionario, con instrucciones explícitas ("en esta pregunta marca 'Casi nunca'"), y una pregunta trampa: se pregunta por el uso de una app que no existe. Quien dice usarla no está leyendo o está diciendo que sí a todo.
Consistencia. Seis preguntas espejo invertidas: la misma idea formulada en sentido contrario en distintos puntos del cuestionario. Por ejemplo, "Prefiero pagar con tarjeta" y, más adelante, "Prefiero pagar en efectivo". Quien está de acuerdo con las dos tiene un problema de consistencia. Otro ejemplo frecuente en México: "Me gusta hacer mis pagos en la app del banco" frente a "Prefiero ir a la sucursal o a un comercio para pagar". Una persona puede usar los dos canales, pero no puede preferir los dos con la misma fuerza. Además, las respuestas se cruzan con el perfil de la persona: si declara no tener cuenta bancaria y luego describe su app de banco favorita, la discrepancia cuenta.
Estabilidad. Una revisión a tres semanas: se repiten algunas preguntas de opinión y hábito. Las opiniones cambian algo con el tiempo, pero una persona honesta tiende a responder parecido. Quien inventó sus respuestas la primera vez no las recuerda.
A estas tres pruebas se suman dos señales de comportamiento: el ritmo (terminar demasiado rápido para haber leído) y la variedad (marcar siempre la misma columna en las baterías de preguntas).
Cómo se combinan en un puntaje
Todo se resume en un puntaje de 0 a 100 por participante. La regla de aptitud tiene dos partes que deben cumplirse a la vez:
| Condición | Requisito |
|---|---|
| Puntaje total | 70 o más |
| Controles de atención | Contestados correctamente |
| Pregunta trampa | Contestada correctamente |
La segunda y la tercera condición son eliminatorias: un puntaje alto no compensa haber fallado la atención o la trampa.
Para comprobar que el puntaje separa bien, Paruma hizo una simulación interna con 2,000 bots por cada tipo de patrón. Estos fueron los resultados:
| Tipo de respondente simulado | Porcentaje que pasa como apto |
|---|---|
| Clic al azar | 1.4 % |
| Siempre la primera opción o siempre la del medio | 0 % |
| "De acuerdo" en todo | 0 % |
| Personas honestas simuladas | 100 % |
| Pasa los controles pero inventa opiniones | 70 % en la primera participación |
La última fila es el límite más importante y lo publicamos tal cual: quien lee con atención, contesta bien los controles y aun así inventa sus opiniones pasa la primera evaluación en 70 % de los casos. La herramienta para detectarlo es la revisión a tres semanas, porque las opiniones inventadas no se repiten igual. Por eso la revisión a tres semanas es parte del puntaje y no un paso opcional.
Estos números salen de una simulación con respondentes artificiales. La distribución del puntaje en la comunidad NOMO está en medición y la publicaremos con su número de participantes y su fecha de corte.
Qué hacemos con el puntaje (filtrar, ponderar, alimentar gemelos)
- Filtrar. Quien no es apto no entra a la muestra final del estudio.
- Ponderar. Entre los aptos, el puntaje permite dar más peso en el análisis a los perfiles más consistentes.
- Alimentar gemelos. Los gemelos de Paruma generan resultados simulados a partir de personas reales verificadas. Un gemelo copia los errores de su origen, así que el puntaje es la base para elegir qué perfiles lo alimentan. Más detalle en datos sintéticos: cuándo sirven y cuándo no.
Qué no mide un puntaje de fiabilidad
Ser claros con los límites hace al puntaje más útil:
- No mide si la persona representa a tu mercado. Eso depende de la muestra y las cuotas, que se definen en la perfilación.
- No detecta todas las mentiras en la primera participación. Como muestra la simulación, una persona atenta que inventa opiniones puede pasar al principio.
- No mide la calidad de tus preguntas. Un cuestionario confuso genera inconsistencias en personas honestas.
- No juzga opiniones. Una respuesta impopular no baja el puntaje si es consistente.
- No es un dato público de la persona. Es una herramienta de control de calidad del estudio.
Preguntas para hacerle a tu proveedor de muestra
- ¿Miden la fiabilidad por persona o solo eliminan casos obvios?
- ¿Qué controles usan: atención, trampa, espejo, re-test, ritmo, variedad?
- ¿Cuál es la regla exacta para descartar a alguien?
- ¿Pueden mostrar cómo se comporta su método frente a bots o patrones simples?
- ¿Qué porcentaje de participantes descartan y con qué muestra lo calculan?
- ¿Cómo detectan a quien inventa opiniones pero pasa los controles?
- ¿El mismo participante entra a mi estudio por varias fuentes?
En México, si el proveedor trata datos de participantes, también debe cumplir la LFPDPPP, vigente desde el 21 de marzo de 2025. Pide su aviso de privacidad.
Paruma CustomerLab aplica este puntaje a su comunidad NOMO, con más de 5,800 Nomers registrados en Colombia (corte al 11 de noviembre de 2026), y a la comunidad que se está abriendo en México. Conoce el servicio de investigación de usuarios en México.
Pide tu muestra con puntaje de fiabilidad
Dinos qué perfil necesitas y te explicamos cómo se aplicarían los controles en tu estudio. Escríbenos en /mx/contacto/ o por WhatsApp al +57 310 590 4586.
Preguntas frecuentes
¿Qué es una pregunta trampa (attention check)?
Es una pregunta diseñada para saber si la persona está leyendo. Puede ser una instrucción explícita ("marca la opción 3") o una opción que no existe, como una app inventada. Quien la contesta mal no está prestando atención o está diciendo que sí a todo.
¿Qué es un test-retest?
Es repetir algunas preguntas a la misma persona después de un tiempo para medir si responde igual. En Paruma se hace a las tres semanas. Una persona honesta tiende a responder parecido; quien inventó sus respuestas suele cambiarlas.
¿Cuántos participantes se descartan por baja fiabilidad?
Con participantes reales, la distribución está en medición y se publicará con su número de participantes y fecha de corte. En la simulación interna con 2,000 bots por tipo, pasó 1.4 % de los que hacen clic al azar y 0 % de los que siguen patrones fijos.
¿El participante sabe su puntaje?
El puntaje se usa como control de calidad de los estudios. Si se mostrará a cada Nomer dentro de NOMO, y de qué forma, se anunciará en la comunidad.
