CONTROL DE CALIDAD Y VALIDACIN DE MTODOS

Juan Pedro Bolvar Raya

Departamento de Fsica Aplicada
Grupo de Investigacin Fsica de Radiaciones y Medio Ambiente (FRYMA)
1

NDICE - Introduccin - Contenido de un Mtodo de Ensayo (ME) - Parmetros de inters; definiciones - Evaluacin de los parmetros - Qu es un Control de Calidad (QC)? - Mtodos de medicin o ensayo - Criterios para evaluacin de un ME - QC interno - Evaluacin de incertidumbres - Control de incertidumbres - QC externo - Ejercicios interlaboratorios - Pruebas de competencia (Proficiency Tests) - Validacin de ME - Referencias
2

INTRODUCCIN - Las actividades metrolgicas de ensayo son fundamentales para garantizar la calidad de muchas actividades industriales. - Necesidad de contar con trazabilidad. - El Reconocimiento de la competencia metrolgica en cada nivel de la cadena de trazabilidad puede establecerse mediante acuerdos de reconocimiento mutuo, as como mediante acreditacin y revisin por parejas de expertos (peer review). - Un patrn es una medida materializada: un instrumento de medida, un material de referencia certificado, o un sistema de medida (concebido para definir, conservar o reproducir una unidad de una magnitud, de modo que sirvan de referencia).

CONTENIDO DE UN PROCEDIMIENTO DE ENSAYO

9 Alcance 9 Elementos o propiedades a determinar. 9 Tipo de muestra. 9 Rangos de determinacin. 9 Interferencias conocidas y rangos. 9 Cualquier otro lmite de aplicacin. 9 Fuentes de informacin

9 Fundamento
9 Desarrollo 9 Medios necesarios: a) Equipos; b) Material fungible; c) Personal 9 Muestreo y pre-tratamiento de las muestras 9 Prescripciones previas 9 Mtodo operativo: secuencia ordenada y al detalle de operaciones 9 Clculos y expresin de resultados 9 Criterios de aceptacin de resultados
4

PARMETROS DE INTERS - DEFINICIONES

9 Calibracin 9 Exactitud 9 Incertidumbre 9 Intervalo de trabajo 9 Lmite de cuantificacin (LQ) 9 Lmite de deteccin (LD) 9 Lmite de decisin o nivel crtico (LC) 9 Linealidad 9 Funcin respuesta 9 Material de Referencia (MR) 9 Material de Referencia Certificado (MRC) 9 Patrn 9 Precisin 9 Repetibilidad 9 Reproducibilidad 9 Robustez 9 Especificidad 9 Selectividad 9 Sesgo 9 Trazabilidad 9 Validacin de un mtodo de ensayo 9 Valor de referencia aceptado

DEFINICIONES
9 Calibracin: Conjunto de operaciones que permite establecer la relacin entre la respuesta de un instrumento, y el valor de la cantidad que se mide. 9 Exactitud: Grado de concordancia entre el resultado de un ensayo y el valor de referencia aceptado. 9 Incertidumbre: Parmetro que caracteriza la dispersin de los valores que podran ser razonablemente atribuidos al mensurando en el proceso de medida, y que para medidas gausianas se asocia con la desviacin estndar (S). 9 Intervalo de trabajo: intervalo de valores del mesurando en el que puede obtenerse una exactitud y precisin adecuadas al objetivo del mtodo. 9 Lmite de cuantificacin (LQ): valor mnimo del parmetro en ensayo que puede determinarse con un nivel aceptable de exactitud y precisin (< 10 %). 9 Se establece examinando una muestra o material de referencia apropiado. 9 Lmite de deteccin (LD): menor cantidad que puede detectarse con un cierto grado de confianza ( = 95 %) 9 Lmite de decisin o nivel crtico (LC): mnima respuesta del instrumento distinguible del fondo, o sea, se puede asegurar que la respuesta neta procede del mesurando. 9 Linealidad / funcin respuesta: relacin entre el mesurando y la respuesta del mtodo curva de calibracin no tiene por qu ser lineal.
6

9 Material de Referencia (MR): material o sustancia en la cual uno o ms valores de sus propiedades son suficientemente homogneos y estn bien definidos para permitir utilizarlos para la calibracin de un instrumento, la evaluacin de un mtodo de medicin, o la asignacin de valores a los materiales 9 Material de Referencia Certificado (MRC): material de referencia donde una o ms de sus propiedades estn certificadas por un procedimiento que establece su trazabilidad a una realizacin de la unidad en la que se expresan los valores de la propiedad. Cada valor certificado viene acompaado de su incertidumbre a un nivel declarado de confianza. 9 Patrn: Medida materializada, instrumento de medida, material de referencia o sistema de medida destinado a definir, conservar y reproducir una unidad, o varios valores de una magnitud para que sirvan de referencia. 9 Precisin: Grado de concordancia entre resultados de mediciones obtenidas bajo condiciones establecidas; depende slo de la distribucin de errores aleatorios y no tiene ninguna relacin con el valor verdadero. 9 Repetibilidad: Precisin bajo condiciones en las que los resultados de una medicin se obtienen con el mismo mtodo, con el mismo operador, utilizando el mismo instrumento de medida y durante un corto intervalo de tiempo. 9 Reproducibilidad: Precisin bajo condiciones en las que los resultados de una medicin se obtienen con el mismo mtodo, sobre el mismo mensurando, con 7 diferentes operadores, diferentes equipos de medida, en diferentes laboratorios, etc.

9 9 9 9

Robustez: Resistencia de un mtodo al cambio de respuesta cuando se introducen pequeas variaciones en el procedimiento. Especificidad: slo se lleva a cabo para un determinado parmetro. Sesgo: Diferencia entre la esperanza matemtica de los resultados de una medicin y el valor de referencia aceptado. Trazabilidad: cadena ininterrumpida de comparaciones, teniendo establecidas todas las incertidumbres. Esto asegura que un resultado de medida o el valor de un patrn est relacionado con referencias a niveles ms altos, hasta llegar a un patrn primario.

9 Validacin de un mtodo de ensayo: Confirmar, mediante el examen y el suministro de evidencia objetiva, que se estn cumpliendo los requerimientos particulares para un uso deseado especificado del mtodo. 9 Valor de referencia aceptado: acordado por comparacin y corresponde a: 1. Un valor terico establecido, basado en principios cientficos. 2. Un valor asignado, basado en trabajos experimentales de una organizacin nacional o internacional. 3. Un valor de consenso, basado en trabajos experimentales realizados en colaboracin, bajo los auspicios de un grupo cientfico o tcnico. 4. En el caso en los que 1), 2) y 3) no sean aplicables, la esperanza del 8 mensurando significa la media de la poblacin especifica de las medidas.

PARMETROS A DETERMINAR PARA UN MTODO DE ENSAYO

9 Exactitud (Sesgo) 9 Linealidad / funcin respuesta 9 Precisin (repetibilidad y reproducibilidad) 9 Lmite de deteccin 9 Selectividad / especificidad 9 Lmite de cuantificacin 9 Intervalo de trabajo / rango 9 Incertidumbre

EVALUACIN DE LOS PARMETROS

Linealidad / Funcin respuesta
Analizando muestras de mensurando conocido: patrones secundarios Los resultados se utilizan para calcular una funcin que relaciona el mesurando con la respuesta del instrumento, as como la bondad del ajuste de la funcin (Chi-cuadrado reducida). Generalmente este parmetro se determina para mtodos instrumentales

EVALUACIN DE LOS PARMETROS

Precisin
9 Comparacin de dispersiones en series de datos obtenidos en el mismo laboratorio con el mtodo a validar. 9 Ensayos duplicados, mltiples o adiciones conocidas. 9 Debe evaluarse en todo el rango de trabajo definido en el mtodo de ensayo.

Exactitud
9 Es necesario disponer de un valor de referencia (VR). 9 Verificar que no hay diferencias estadsticas significativas entre el valor medio obtenido y el valor de referencia (VR) 9 Si existen diferencias Redefinir el procedimiento, p.e., mediante un Factor de Correccin 9 Vas para obtener el VR: Referencia Externa o Material de Referencia Certificado (M.R.C.) o Material de Referencia (M.R.) / Patrn. o Muestra obtenida a partir de un programa interlaboratorio. Comparacin de Mtodos o Comparacin interna: comportamiento ante variaciones conocidas del mesurando, determinadas por diferentes mtodos en el propio laboratorio. o Comparacin externa: mediante la participacin en un programa interlaboratorio. o Mtodo de Adiciones Estndars.
10

Selectividad 9 Mtodo de adiciones, comparando los resultados (o la respuesta) de la muestra que contiene las posibles interferencias con el resultado de otra muestra sin dichas interferencias. 9 Comparacin de los resultados obtenidos por un mtodo, con los resultados obtenidos por otro mtodo previamente validado (mtodo de confirmacin). 9 Etc. Incertidumbre 9 Se debe establecer la incertidumbre del ensayo 9 Estudio de sus causas: toma de muestras, curva de calibracin, pesada, recuentos, etc. 9 Calcular la incertidumbre expandida mediante la combinacin de todas las contribuciones. Robustez Resistencia de un mtodo al cambio de respuesta cuando se introducen pequeas variaciones en el procedimiento (Procedimiento de Youden y Steiner).

11

Control de calidad: aplicacin de procedimientos estadsticos que permiten evaluar la precisin de los resultados, a fin de identificar y controlar las fuentes de error. Elementos bsicos del QC: - Competencia tcnica del personal - Facilidades y equipos adecuados - Buenas prcticas de laboratorio - Buenas prcticas de medicin - Procedimientos Normalizados de Operacin - Evaluacin estadstica de los resultados

QU ES UN CONTROL DE CALIDAD (QC)?

12

PERSONAL
- Disponibilidad de suficiente personal - Personal tcnicamente calificado y competente - Capacitacin para asegurar la calidad de las mediciones - Contrataciones en base a responsabilidades

EQUIPAMIENTO
- Ajuste y calibracin de equipos - Mantenimiento de equipos

BUENAS PRCTICAS
- Trabajar con orden y limpieza - Seguir los Procedimientos Normalizados de acuerdo a su descripcin - Seguir las Disposiciones de Seguridad
13

MTODOS DE MEDICIN ENSAYO

- Capaz

de suministrar resultados con la exactitud requerida: - libre de errores sistemticos - incertidumbres aleatorias pequeas - Capaz de alcanzar el lmite de deteccin requerido por el cliente - Descripcin completa y clara del mtodo - Mtodo validado

14

CRITERIOS PARA EVALUACIN DE UN MTODO DE ENSAYO

- Parmetro a ser determinado por el mtodo

- Matriz, o elemento, de aplicacin - Fundamento terico del mtodo - El rango de concentracin cubierto por el mtodo - La curva de calibracin - Precisin de los resultados analticos - Sesgo debido a interferencias - Lmite de deteccin - Sensibilidad - Tiempo requerido para el anlisis
15

ORDEN DE ACTIVIDADES
1. Establecer un grupo de trabajo

2. Definir los objetivos 3. Seleccionar los mtodos de ensayo 4. Asegurar que los procedimientos no sean ambiguos 5. Estimar la precisin dentro de lotes y algunas fuentes de sesgo 6. Preparar las cartas de control 7. Comparar con los Materiales de Referencia Certificados (MCRs) 8. Participar en los ejercicios de Control de Calidad interlaboratorios

16

CONTROL DE CALIDAD INTERNO

Etapas
1. La estimacin experimental de las incertidumbres 2. La comprobacin peridica que las incertidumbres se mantienen pequeos y dentro de los mrgenes establecidos.

INCERTIDUMBRE EXPERIMENTAL
Inherente al proceso de medicin Slo es posible estimarla y determinar los lmites de confianza entre los que se encuentra el valor verdadero. Objetivo: procurar que el error experimental sea lo suficientemente pequeo para no afectar las conclusiones que se puedan inferir de los resultados.
17

FUENTES DE INCERTIDUMBRE
Estado fsico y qumico de la muestra sometida a ensayo Muestreo Transporte, almacenamiento y manipulacin de muestras Preparacin de muestras Mtodo de ensayo: calibracin y operaciones. Condiciones ambientales Personal que realiza los ensayos Variacin en el procedimiento Instrumentos de medicin Estndares de calibracin y/o materiales de referencia Mtodo de clculo de la incertidumbre
18

Incertidumbres aleatorias: variaciones al azar, que no pueden ser controlados por los mltiples factores que pueden afectar a la medida. Errores sistemticos: alteran la medida por no tomar en cuenta alguna circunstancia que afecta al resultado siempre igual valores que son ms 19 altos o ms bajos que el valor verdadero

FUENTES DE ERRORES SISTEMTICOS:

Muestreo: coleccin, preservacin y transporte de la muestra Servicios del laboratorio: agua destilada, energa elctrica y limpieza Seleccin del mtodo analtico: adecuada sensibilidad y selectividad, LD, precisin y exactitud, interferencias y calibracin del testigo Instrumentos: control de balanzas analticas, control de medidor de pH y control de instrumentos en general Vidriera: seleccin, calibracin y limpieza Reactivos: calidad y almacenamiento Manejo de datos: clculos, uso de cifras significativas, etc. Personal del laboratorio: habilidad, experiencia, capacitacin, etc.
20

PRECISIN:
Se estima con la desviacin estndar a partir de resultados de anlisis repetidos: error aleatorio. La estimacin de la precisin (y algunas causas del sesgo) se obtiene a travs de un diseo experimental (se analizan 5-10 lotes de muestras en duplicado incluyendo el testigo, soluciones estndares, etc.)

EXACTITUD: El error sistemtico de un resultado LMITE DE DETECCIN:

ISO: mnimo valor del mesurando detectable con un cierto grado de confianza (normalmente el 95 %). IUPAC: usa con cautela el trmino lmite de deteccin y prefiere mnimo valor detectable. EURACHEM: mnima concentracin aceptable es la mnima concentracin para la que se puede lograr un grado de incertidumbre aceptable: LMITE DE CUANTIFICACIN
21

LD y Lmite de Cuantificacin (LQ)

22

23

Situaciones fuera de control: Un valor fuera de los lmites 7 valores consecutivos de un lado de la lnea central 7 valores consecutivos con tendencia creciente 7 valores consecutivos con tendencia decreciente 2 3 valores consecutivos fuera de los lmites de advertencia

24

Lectura de la carta: Cambios cclicos (causa: rotacin de tcnico, efecto del lunes, etc.) Cambios en el valor medio (causa: intervencin en los equipos, nuevos reactivos, equipos, etc.) Tendencia (causa: influencia del equipo, reactivos antiguos, etc.) Muchas entradas cerca del lmite de control (aumento de la variabilidad)

25

26

INCERTIDUMBRE
Estimacin, junto con su grado de confianza, del intervalo en que se encuentra el valor verdadero del parmetro en ensayo. 9 A) Puede evaluarse por mtodos estadsticos 9 B) Aquella que se evala mediante otros mtodos. A Desviacin estndar (ui), donde i es la fuente asociada. B Aproximacin a la desviacin estndar (fuentes sistemticas) (ei) Basada en juicios cientficos sobre toda la informacin disponible. Intervalo de confianza: u = (a+-a-)/2 Incertidumbre Combinada (uc) Desviacin Estndar del Resultado (s) se obtiene combinando las ui mediante la ley de propagacin cuadrtica. Intervalo de confianza Factor de Cobertura Expansin k (= 2 3 si gaussiana 95 99 %) Incertidumbre Expandida

U = kuc y U < Y < y + U Y = y U

27

EPA
ISO 5725
Intervalo de 95% del sesgo del laboratorio puede ser calculado como:
28

CONTROL DE CALIDAD EXTERNO

1. Comparacin de muestras de referencia certificadas (MRC) 2. Anlisis de carcter colaborativo de muestras distribuidas a todos los laboratorios: ejercicios interlaboratorio

EJERCICIOS INTERLABORATORIOS
El objetivo es: Dar la medida de la precisin y exactitud del mtodo de ensayo Estimar la exactitud y precisin de los resultados entre laboratorios Evaluar las diferentes metodologas de ensayo utilizadas Detectar las necesidades de capacitacin y mejora Mejorar la calidad del laboratorio
29

PRUEBAS DE COMPETENCIA
Proficiency Tests (PTs)
Parte de la estrategia del Programa de Calidad es la evaluacin regular de la capacidad tcnica de un laboratorio para asegurar la validez de los ensayos. Una PT es un sistema para evaluar objetivamente los resultados de los laboratorios por vas externas, e incluye una comparacin regular de los resultados de un laboratorio con los de otros a travs de la distribucin de muestras homogneas a los participantes. Principal objetivo de una PT Evaluar las incertidumbres de sus ensayos Exactitud y precisin

Tipos:
- Abiertas a cualquier laboratorio - Cerradas o slo por invitacin
30

Categoras de Proficiency Tests (PTs)

1. La muestra a ensayo circula sucesivamente por todos los laboratorios de uno al siguiente vuelve al laboratorio organizador para ver si ha sufrido cambios significativos. 2. Sub-muestras seleccionadas aleatoriamente de una matriz homognea se distribuyen simultneamente a todos los laboratorios participantes; es la prueba ms comn 3. Muestras de un producto, o material, se dividen en varias alcuotas (partes) para que cada laboratorio participante analice una de las partes 'split sample' testing. 4. Tipos de ensayos interlaboratorios: 1. Proficiency Testing: evaluar la competencia tcnica 2. Estudios colaborativos: validar un mtodo especfico 3. Estudios de certificacin: establecer la mejor estimacin del valor verdadero de un parmetro en un material de referencia. 4. Estudios cooperativos o round robin exercise: Circulacin de una o varias muestras para establecer en ellas determinados parmetros 31 relevantes.

Toma de muestras
Seguir procedimientos estndares Tener cuidado en la manipulacin y limpieza de los contenedores Evitar la contaminacin cruzada de muestras Identificar las muestras Verificar la cadena de custodia: fundamental para establecer la trazabilidad del anlisis, partiendo del punto de muestreo.

Blancos de control y duplicados

Blanco viajero Blanco de equipo Blanco de campo Muestra duplicada
32

Cundo se valida un mtodo de ensayo?

Cuando recin se desarrolla Cuando se revisa luego de establecido Cuando se usa otro equipo Cuando lo usan otros analistas Cuando se requiere demostrar la equivalencia con otro mtodo

Quin la lleva a cabo?

El laboratorio que usa el mtodo Un grupo de laboratorios en colaboracin Una organizacin de normalizacin

Etapas del proceso de validacin

Demostrar la trazabilidad Calcular la incertidumbre: precisin y exactitud Rango de trabajo Sensibilidad: lmites de deteccin Selectividad Robustez
33

VALIDACIN
Proceso de evaluacin de las caractersticas de un procedimiento de medida y comprobacin de que dichas caractersticas cumplen una serie de requisitos preestablecidos. La validacin establece y suministra evidencias documentales de que el proceso de medida es til para el uso previsto. Definicin ISO 1994: Confirmar mediante el examen y el suministro de evidencia objetiva, que se estn cumpliendo los requerimientos particulares para un uso deseado especificado. Validacin de un mtodo: Es el proceso que se sigue para definir un requisito analtico y confirmar que el mtodo evaluado tiene la capacidad de rendimiento. La validacin de metodologas de ensayo es necesaria para: Demostrar que un mtodo es idneo Para demostrar que un mtodo es correcto Para conocer la incertidumbre
34

VALIDACIN
Un mtodo se valida cuando: Recin se desarrolla Se revisa luego de establecido Se usa con otro equipo Lo utilizan otros analistas Se requiere demostrar la equivalencia con otro mtodo La validacin la lleva a cabo El laboratorio que usa el mtodo Un grupo de laboratorios en colaboracin Una organizacin de normalizacin Validacin interna cuando: un mtodo validado se adopta por primera vez en el laboratorio se desea ampliar el campo de aplicacin de un mtodo ya validado se desarrolla un mtodo por primera vez porque no existe un mtodo apropiado para una determinada aplicacin
35

PROCESO DE VALIDACIN
Adecuacin al problema analtico Demostrar la trazabilidad Calcular la incertidumbre Rango de trabajo Sensibilidad Selectividad Robustez

ASPECTOS A COMPROBAR

36

No Aceptable es El producto Aceptable al nivel Aceptable al nivel posible al nivel cumple con la de confianza del de confianza del de confianza del 95 % 95 % 95 % especificacin

El producto NO cumple con la especificacin

Lmite superior especificado

Lmite inferior especificado

= Resultado de la medida de acuerdo con el mtodo establecido = Intervalo de la incertidumbre segn el mtodo de ensayo establecido
37

MUCHAS GRACIAS

Many thanks

38

39