¿Cómo asegurarse de que sus pruebas basadas en Secuenciación de Nueva Generación (NGS) para la medicina personalizada sean seguras y efectivas?
Segunda Parte

Como resultado de la forma en que utilizan sus datos de control de calidad, la mayoría de los laboratorios experimentan uno (o ambos) de dos problemas:

Problema 1: No está previniendo fallas antes de que ocurran
Con tiempo y recursos limitados para recopilar, organizar, acceder y analizar métricas de control de calidad, su laboratorio puede confiar con frecuencia en materiales de referencia como indicadores binarios de aprobación / falla. Siempre que obtenga los resultados esperados del punto final, considere que un ensayo está funcionando bien.

Pero este enfoque es reactivo, no proactivo. Debe producirse un número suficiente de errores dentro de un período de tiempo determinado antes de realizar una investigación de solución de problemas. En el momento en que reconoce un problema, ha desperdiciado recursos y retrasado los tiempos de respuesta. En algunos casos, es posible que incluso haya puesto en riesgo la precisión de los resultados del paciente. Ahora se enfrenta a tiempo y costos adicionales a medida que avanza la investigación.

Problema 2: No se puede realizar un seguimiento de las métricas puntuales

Además de las llamadas variantes de punto final, el análisis de muestras por NGS produce una gran cantidad de información que es igual de indicativa del rendimiento del ensayo. Cada vez que prueba un material de referencia, genera datos como la cantidad y la calidad del ácido nucleico en diferentes pasos a lo largo del flujo de trabajo y las características de la biblioteca de secuenciación.

Sin embargo, para que sea útil para el control de calidad, debe realizar un seguimiento cuidadoso y revisar la tendencia de estos datos. Cuando el enfoque de su laboratorio está en las pruebas y los informes de los pacientes, es posible que no esté capturando y revisando métricas puntuales de control de la calidad como parte del monitoreo de pruebas de rutina.

Entonces, ¿Cómo puede realizar un seguimiento de las métricas de control de la calidad de forma proactiva y puntual, evitando los dos problemas descritos anteriormente? Como con cualquier cosa, algunos métodos son mejores que otros. En la siguiente sección, echaremos un vistazo a estos.

Por qué las 3 estrategias de gestión de datos de control de calidad más utilizadas son insuficientes

Cuando Steve Jobs presentó el iPhone en un discurso de apertura en el 2007, se centró en dos cualidades principales que dijo que eran las más importantes para la mayoría de los usuarios de teléfonos inteligentes: Facilidad de uso y Funcionalidad.

Lo mismo se aplica a la gestión de datos de control de calidad NGS.

• Facilidad de uso: su estrategia debe ser intuitiva para que los usuarios tengan fácil acceso a sus datos.
• Funcionalidad: Debe ser lo suficientemente completo como para garantizar que capture y analice adecuadamente todas las métricas necesarias.

Desafortunadamente, los tres métodos que utilizan la mayoría de los laboratorios son altamente manuales, propensos a errores y resultan en una pérdida de tiempo y dinero.

Método 1: Copia impresa de “carpetas de control de la calidad”

Las “carpetas de control de la calidad” impresas solo son adecuadas para la producción de bajo rendimiento. De lo contrario, a medida que aumente el volumen de pruebas, sus necesidades de control

de documentos lo abrumarán rápidamente. Este método:

• Crea una carga de papeleo físico.
• Desalienta el análisis efectivo. Para ver los resultados en el contexto histórico adecuado, debe realizar una cantidad significativa de esfuerzo manual.
• Es poco probable que ofrezca una trazabilidad exhaustiva. La grabación manual de instrumentos y lotes de reactivos requiere mucho tiempo y distrae al personal del laboratorio.

Método 2: Hojas de cálculo de Excel

Las hojas de cálculo de Excel pueden capturar más información y permitir un análisis más fácil que el método impreso, especialmente para los usuarios que escriben macros con Visual Basic para Aplicaciones. Sin embargo, este método:

• Sigue siendo relativamente propenso a errores.
• Se enfrenta a importantes problemas de control de versiones cuando varios usuarios editan un único archivo almacenado en una red.

Además, si bien las herramientas de hoja de cálculo son útiles para el análisis automatizado de datos cuantitativos, como las frecuencias de alelos variantes o las métricas de secuenciación, otros tipos de datos, como la trazabilidad de muestras en todo el flujo de trabajo de NGS, deben ensamblarse y administrarse manualmente.

Método 3: Un sistema de gestión de la información de laboratorio

Los laboratorios clínicos más grandes a menudo confían en su Sistema de Gestión de Información de Laboratorio (LIMS) para almacenar datos de control de la calidad. Esta es una estrategia muy completa, capaz de capturar datos a alta resolución, desde llamadas de punto final hasta transacciones de laboratorio individuales. Desafortunadamente, además de una gran cantidad de datos de control de calidad, LIMS generalmente también almacena muchos otros tipos de datos de laboratorio y de pacientes (Imagen 1).

Los datos deben ser capturados por personal que sea competente en la redacción de consultas SQL (o el mismo personal debe desarrollar y validar una herramienta de consulta).

Una vez que las métricas de control de la calidad se han extraído de la base de datos, deben formatearse y analizarse.

Cuando Apple reinventó el teléfono, creó un dispositivo que ahora se encuentra en el primer cuadrante del gráfico de “facilidad de uso frente a funcionalidad”. El mundo de la gestión de datos de control de calidad NGS exige una solución similar. ¿Cómo sería esa herramienta de gestión de datos de control de calidad fácil de usar pero funcional? Las siguientes características clave son esenciales para cualquier sistema de gestión de calidad para las pruebas NGS:

7 Imprescindibles en la gestión de datos de control de calidad

1. Debe mantener las métricas bien organizadas y de fácil acceso. El personal de su laboratorio no debería tener que clasificar cantidades masivas de papel, múltiples versiones de archivos electrónicos o tipos de datos no relacionados para acceder a sus métricas de control de calidad. Todo debe almacenarse en una sola ubicación, como un servidor dedicado. Los usuarios deben tener acceso a través de un navegador web sin tener que instalar software adicional o administrar licencias.

2. Debe evaluar el rendimiento de las pruebas en tiempo real utilizando métodos estándar de la industria, como los gráficos de Levey-Jennings. Esto le permitirá identificar tendencias rápida y fácilmente, lo cual es mucho más difícil cuando solo puede ver los datos en formato tabular. Detectará las desviaciones del proceso antes, evitando retrasos en el tiempo de respuesta y reduciendo los costos de solución de problemas.

3. Para discernir el ruido aleatorio de la variación significativa, debe proporcionar un contexto histórico y una comparación con una línea base. Debido a que los flujos de trabajo de NGS implican una gran cantidad de pasos que pueden verse afectados por la variación, las métricas de control de la calidad exhiben una cierta cantidad de ruido aleatorio, incluso para los materiales de referencia de la más alta calidad. Para diferenciar esta variación diaria normal del sesgo sistemático dañino, su sistema de gestión de datos de control de calidad debe permitirle comparar los resultados con un conjunto sólido de datos históricos. Idealmente, debería poder realizar análisis estadísticos como parte de esta comparación.

4. Debe permitir la trazabilidad para una solución de problemas efectiva. Comenzando con los resultados de los puntos finales, su laboratorio debe identificar rápidamente los instrumentos y consumibles que producen datos aberrantes. También necesita un acceso rápido y fácil a las métricas de control de calidad en proceso, como el tamaño del fragmento de ADN o los rendimientos de PCR.

5. Debe ser adaptable y escalable para satisfacer las necesidades de las pruebas clínicas en constante evolución. A medida que se agregan nuevos objetivos a las pruebas, los materiales de referencia deben coevolucionar para evaluar el rendimiento en toda la biblioteca expandida. Además, a medida que los ensayos recién introducidos maduran, su volumen de pruebas puede aumentar con el tiempo, lo que puede significar una mayor cantidad de datos de control de la calidad generados para cada lote de control. Su método de administración de datos debe ser efectivo en todas las etapas del ciclo de vida de la prueba, no solo en la versión inicial con sus necesidades limitadas.

6. Para la comparación por grupo par y el intercambio de datos, debe proporcionar transparencia. A medida que las tecnologías evolucionan y NGS gana una adopción más amplia en la clínica, la comparación por grupo par y el intercambio de datos son cada vez más importantes. La transparencia es esencial no solo para los datos clínicos, sino también para los datos derivados de estándares ampliamente adoptados. De hecho, la forma más efectiva de comparar el rendimiento del ensayo en diferentes sitios es probar los mismos materiales de referencia. Datos de control de calidad que son generados por muchos de los diferentes laboratorios deben estar centralizados y analizados exhaustivamente para que cada participante obtenga información sobre el rendimiento de su prueba. Eventualmente, grupos suficientemente robustos de datos de la comunidad podrían permitir servicios de control de la calidad basados en la nube para laboratorios que desean comparar métricas que son más completas que sus propios datos históricos internos.

7. Debe cumplir con los requisitos únicos para administrar conjuntos de datos de validación para pruebas NGS. Además de las métricas típicas utilizadas para el monitoreo de pruebas, diferentes estudios analíticos pueden tener necesidades únicas de administración de datos. Por ejemplo, los estudios de precisión que evalúan la repetibilidad intra-run e inter-run necesitan un método fácil para verificar la concordancia entre las réplicas de muestra. Para los estudios en los que se aplican ciertos tratamientos, se debe mantener una clave que contenga la identificación de la muestra / asociaciones de tratamiento. Además, las diferentes agencias reguladoras tienen diferentes métodos para revisar los datos de validación, así como diferentes requisitos para la retención de datos.

Conclusión

Cuando integra estas siete características en su estrategia de gestión de datos, su laboratorio NGS puede comenzar a poner materiales de referencia a trabajar para monitorear sus pruebas de manera proactiva. Después de todo, no son solo los materiales los que le otorgarán tranquilidad, sino también el uso efectivo de los datos que generan.

Entendemos que la gama cada vez mayor de aplicaciones NGS siempre exigirá formas de garantizar la calidad de las pruebas.

Ya sea que esté desarrollando un ensayo para mutaciones somáticas, validando una prueba para predecir la respuesta a la terapia antiviral o esté en producción para proporcionar a los padres información sobre la salud fetal, necesita un sistema de gestión de calidad altamente efectivo para garantizar que los pacientes y los médicos reciban los mejores resultados posibles para informar las decisiones.

Los pesimistas dicen: “Una mala prueba es tan peligrosa como una mala droga”. Pero, ¿Por qué no tomar la perspectiva del vaso medio lleno? Preferimos decir que una prueba bien caracterizada y completamente controlada es tan vital para la práctica de la medicina como una terapia de gran éxito.