¿Crecemos realmente durante la noche? Paso 1: Estudio R&R del sistema de medición


 Los estudios R&R son utilizados para comprobar si la forma de medir una variable de un proceso es adecuada para evaluar los cambios en el rendimiento de ese proceso, o para ver las variaciones que nos interesa detectar de esa variable del proceso. Un estudio R&R es un estudio de la variabilidad del proceso de medida, y compara esa variabilidad con la del proceso a controlar y con la capacidad de ver los cambios que queremos detectar.

Representado gráficamente, vemos la campana de Gauss de un proceso que se comporta según una distribución normal (part variation), y el comportamiento del sistema de medida (measurement variation).

A la hora de evaluar un sistema de medida, se pueden analizar tres parámetros: sesgo, repetibilidad y reproducibilidad. Sesgo es lo que tiene una abuela cuando valora la inteligencia de su nieto, la repetibilidad tiene que ver con que no lo ve igual de listo si 'le ha dado la noche', y la reproducibilidad es que nadie lo va a ver como lo ve ella.

Voy a apoyarme en un caso práctico concreto y real, en el que me he encontrado con muchas más dificultades que las que esperaba. El caso que voy a utilizar es el siguiente:

Según he leído en este blog, La Ciencia de la Mula Francis, la estatura de las personas disminuye entre 1 y 2,5 cm en el tiempo que pasa desde que nos levantamos al momento en el que nos acostamos. Quiero saber si en mis hijos esto se cumple, y para ello los voy a medir según se levantan de la cama y justo antes de acostarse. Pero antes quiero saber si el sistema de medición que voy a utilizar me va a servir para detectar esas variaciones. Y si otra persona midiendo de la misma forma también detectará esas variaciones. Me saltaré en este caso la fase de calibración del sistema de medición, innecesario para el objetivo divulgativo de este post.

Volviendo a los resultados del proceso de medida: al medir a un niño varias veces a la misma hora, obtendremos varias medidas diferentes, aunque el niño mida lo mismo. Si con los datos que tengo llego a la conclusión de que esas medidas a la misma hora del mismo niño pueden diferir hasta 10 mm, obviamente el sistema no me servirá para detectar variaciones de 10 mm de la mañana a la noche.

1. Método 1 de medición y estudio R&R

Procedimiento de medida:
Para medir la estatura he colocado sobre la pared una regla graduada (en realidad una cinta de papel de medir de IKEA, buscando no sobrepasar el presupuesto asignado a la prueba). El niño se coloca descalzo con los talones pegados a la pared y coloco sobre su cabeza y pegado a la paredun CD, de forma que haga las funciones de una escuadra. El borde del CD en la cinta me da el resultado de la medida.

Estudio R&R: el estudio va a tener un diseño cruzado: los mismos 4 niños van a ser medidos por 2 personas diferentes. La medición para cada niño se va a repetir tres veces. Las mediciones las hacemos mi mujer, Gabriela, y yo. 

Mido 4 niños de estaturas diferentes. Si el estudio lo hiciera sólo con el más alto, no tendré conclusiones de si el sistema de medición es válido para los más bajos, con los que también quiero hacer el estudio de si crecemos de noche. Mido tres veces cada niño para analizar si el método de medición es repetitivo. Y le pido a mi mujer que haga ella la medición por si le pido que por la noche sea ella la que mida a los niños, y así asegurarme de que sus medidas y las mías serán comparables.

Una vez registrados los resultados, y antes de hacer el estudio R&R, la primera conclusión es: medir no es fácil. La variabilidad es mayor de la esperada, por ejemplo, la medición de mi hijo Pablo se ha movido entre 1453 y 1462 mm. Los datos los he introducido en la siguiente hoja de cálculo (y los he repetido en Minitab) y las conclusiones del estudio R&R son:
1. Tenemos un problema de repetibilidad: la variabilidad de método de medida es alta, incluso cuando siempre mide la misma persona. Queremos detectar cambios de 10 milímetros o más en la estatura, y el resultado del estudio es que la variabiliad del método de medida para un mismo operario puede ser de hasta 12 mm. Si queremos detectar cambios en la estatura de entre 10 y 25 mm, se ve que esto es excesivo.
2. Tenemos un problema de reproducibilidad: Las dos personas que han medido dan resultados significativamente diferentes. Descontado el efecto de la repetibilidad, los dos operarios pueden dar diferencias en el resultado de la medida de un mismo niño a la misma hora del día de hasta 9 mm.
3. El efecto combinado de Repetibilidad y Reproducibilidad puede ser de hasta 15 mm. Esto quiere decir que, con los datos que tenemos, no sería estadísticamente raro que midiendo por la mañana a un niño yo, y midiéndolo por la noche mi cuñada, pudiéramos ver diferencias de hasta 15 mm aunque el niño midiera exactamente lo mismo. 
Los resultados presentados en forma de tabla son los siguientes:
FuenteSigma6 Sigmas% sobre 10 mm
Repetibilidad212120%
Reproducibilidad1,5990%
Total del estudio2,515150%

Por tanto, antes de seguir con el estudio de variación de estatura de la mañana a la noche tenemos que tener un sistema de medida más robusto. Me planteo dos alternativas:
a. Trabajar con medias: si en lugar de analizar el resultado del sistema con valores individuales lo hago con medias disminuyo la variabilidad debida a la falta de repetibilidad.
b. Cambiar el método de medición. Me inclino por esta segunda opción, que espero que también mejore la reproducibilidad.


2. Método 2 de medición y estudio R&R

Creo que la variabilidad me puede venir sobre todo de la postura del niño. Pero también puede influir que la cinta graduada es endeble, que la pared es rugosa, y que es difícil asegurar que el CD se apoya siempre en el punto más alto de la cabeza. Por ello en este caso cambio lo siguiente:


  • Utilizo una superficie más lisa.
  • Coloco papel milimetrado en lugar de la cinta de IKEA, que se estiraba y era estrecha.
  • En lugar de un CD, como tope utilizo una caja rígida y ancha, que me asegura un buen apoyo sobre el punto más alto de la cabeza.
  • Antes de comenzar con las mediciones me aseguro de que las dos personas que las vamos a hacer aplicaremos el mismo método.
De nuevo a primera vista se ve que las medidas tienen excesiva variabilidad. Así que antes de registrar datos les pido a los niños que se estiren lo más posible. El resultado parece que mejora algo, pero los resultados siguen siendo insuficientes para detectar cambios de 10 milímetros de la noche a la mañana. Destaca que mejora mucho la reproducibilidad, de lo que deduzco que la mayor variación del sistema de medida viene de que los niños cada vez se ponen de una forma diferente.


Tablas de recogidas de datos del estudio R&R Método 2
FuenteSigma6 Sigmas% sobre 10 mm
Repetibilidad1,8611,14111%
Reproducibilidad000
Total del estudio1,8611,14111%


A la luz de los resultados, si quiero medir con más repetibilidad la estatura de los niños, la solución podría venir no considerando la medida de una prueba, sino la media aritmética de varias pruebas. Para reducir la variabilidad a la mitad tendría que hacer 4 medidas de cada niño, pero ni así se llegaría a unos valores válidos de repetibilidad. (La sigma de las medias hechas con cuatro pruebas es la mitad de la sigma de las medidas hechas con una sola prueba). Y por otro lado no veo la forma de convencer a mis hijos para dejarse medir las doce veces que debería medir a cada uno para repetir el estudio.

3. Método 3 para mejorar la repetibilidad: probar con un adulto

Finalmente, me planteo un objetivo más modesto: analizar si el estudio del cambio de estatura se cumple con dos personas adultas. Y hacer el estudio midiendo con solamente un operador. El estudio del sistema de medición puede estar sesgado, al saber en cada repetición el resultado de la anterior medición, pero aún así lo doy por válido, dada la nula trascendencia del estudio.
En este caso los resultados de las mediciones son mucho más repetitivos, y los puedo considerar válidos:
Prueba1Prueba2Prueba3
Gabriela164516451644
Pepe182018201820
En este caso la repetibilidad es del 24% sobre la amplitud de 10 mm que he establecido en el estudio. Esto quiere decir que es razonable pensar que midiendo a la misma persona en el mismo momento pueda medir en un caso, digamos 1644, y en otro 1647 (1644+(24% de 10)). Pero esta variabilidad es lo suficientemente baja para detectar variaciones de 10 mm de la mañana a noche.

Al que haya tenido la paciencia de leer el post hasta aquí enhorabuena. Y aprovecho el paréntesis para agradecer a mis hijos y a Gabriela su paciencia, y a Lourdes Pozueta sus enseñanzas en el Curso de Lean Six Sigma, y si se animara, su "crítica" a este post. 

Voy a terminar con algunos aspectos que me ha costado entender al hacer este estudio, y con algunos puntos que no he considerado en el estudio pero que son importantes.

1. Los estudios R&R estudian la variabilidad del proceso de medición y lo comparan con la variabilidad del proceso real o con la amplitud que nos fija la aceptación o rechazo de una pieza.
2. La repetibilidad usa la desviación estándar de las repeticiones.
3. La reproducibilidad analiza las diferencias entre medidores, que pueden ser máquinas o personas.
3. Se puede comparar la desviación estándar de ambos efectos, Repetibilidad&Reproducibilidad, para compararlo con la desviación estándar del proceso, para saber si el método de medida nos vale para medir el rendimiento o la evolución del proceso.
4. Si queremos saber cómo de adecuado es el sistema para aceptar o rechazar piezas, se multiplica la desviación estándar de las repeticiones por seis. Por tanto, si 6 sigmas es 11,4 mm, como en el caso del método 2, esto quiere decir que podemos considerar que el 99,7% de las veces que midamos la misma pieza los resultados estarán dentro de ese rango de 11,4 mm. (En una distribución normal, un intervalo de 6 sigmas abarca el 99,7% de la población)
5. Si no tenemos datos de la sigma del proceso, y queremos usar el estudio R&R para evaluar la validez del sistema de medida para medir ese proceso, debemos hacer el estudio con al menos 10 piezas, que sean representativas del proceso.
6. El estudio R&R estudia la variabilidad del sistema de medición, pero no dice nada del sesgo. Para controlar el sesgo, antes de hacer un estudio R&R lo primero es tener la seguridad de que los aparatos de medida están calibrados, y los operarios formados y entrenados. En el caso que he utilizado, nada he dicho de si lo que marca la pared como un metro realmente lo es, o si la diferencia entre 1650 mm y 1640 mm en la pared se corresponde con 10 mm realmente.
7. Es importante que el operario que mide no sepa qué pieza está midiendo cada vez, para evitar el sesgo que se puede producir al saber qué resultado me ha dado la anterior medición de esa misma pieza.