María Francisca Rodríguez, Ignacio Pinedaa, María Fernanda Rozasb
Facultad de Medicina, Universidad San Sebastián. Santiago, Chile.
aCandidato a Magíster Salud Pública, University of Nottingham, Inglaterra.
bMagíster en Epidemiología, Candidato a Doctor en Ciencias Biomédicas, Universidad del Desarrollo. Santiago, Chile.

Revista médica de Chile revmedchile@smschile.cl
Bernarda Morín 488, Providencia, Casilla 168, Correo 55, Santiago – Chile

Tel.: (56-2) 2753 5520
versión impresa ISSN 0034-9887
Rev. méd. Chile vol.144 no.7 Santiago jul. 2016
http://dx.doi.org/10.4067/S0034-98872016000700006

Correspondencia: Dra. María Francisca Rodríguez Camus
Universidad San Sebastián – Lota 2465, Pr ovidencia, Santiago Chile.
fcarodríguezc@hotmail.com

Background

Background: High quality practice guidelines are of utmost importance in clinical medicine. Aim: To evaluate the methodological quality of Clinical  Practice Guidelines (CPG) for 80 high burden health conditions included in the “Explicit Guarantees in Healthcare” (EGH) program available on July  2014, elaborated and published by the Ministry of Health of Chile. Material and Methods: A cross-sectional observational study using the Appraisal of  guidelines Research and Evaluation (AGREE II) instrument to evaluate the methodological quality of the current CPGs for EGH. Two reviewers assessed each CPG independently, obtaining standardized scores according for each dimension included in the AGREE II instrument. Results: Eighty one CPGs were evaluated. They were generally considered of reasonable quality, obtaining high scores in the following domains:  Scope and Purpose (81.3%), Clarity of Presentation (78.6%) and Editorial Independence (76.5%). The following domains had a score under 60%: Stakeholder Involvement (51.3%), Rigor of Development (41.4%) and Applicability (33.6%). Conclusions: The CPGs elaborated for the EGH program have high scores in domains such as the Scope and Purpose, Clarity of Presentation and Editorial Independence. Their scores in other dimensions such as Stakeholder Involvement, Rigor of Development and Applicability can be still improved. 

Key words: Health Care Reform; Practice Guidelines; Quality Control; Quality of Health Care. 

Las guías de práctica clínica (GPC) han sido clásicamente definidas como una declaración que incluye recomendaciones destinadas a optimizar el cuidado del paciente, basadas en revisiones sistemáticas de la evidencia y la evaluación de los riesgos y beneficios de las diferentes alternativas de cuidado1. 

Múltiples estudios han demostrado que las guías de práctica clínica poseen el potencial de transferir el conocimiento, reducir la  variabilidad en la práctica clínica y mejorar la calidad del cuidado de la salud1. 

Debido a estas razones, se han convertido hoy en día en una  herramienta fundamental para el cuidado de la salud en diferentes países, siendo desarrolladas en un gran número de entidades como ministerios sociales o de salud de los diferentes gobiernos, sociedades científicas, universidades, asociaciones de pacientes, entre otras2-4. 

Con la promulgación de la Ley 19.966 de Garantías Explícitas en Salud (AUGE) en el año 2004, se inició un proceso de elaboración de GPC para  cada problema de salud garantizado en el AUGE como forma de responder a la Ley 19.937 de Autoridad Sanitaria, la cual establece que el Ministerio de Salud (MINSAL) tiene la función de elaborar protocolos de atención en salud5,6. Esta obligación por parte del Ministerio de Salud  derivó finalmente en la elaboración de GPC para cada problema de salud garantizado en el AUGE, documentos que se utilizan para definir las intervenciones que son efectivas para el diagnóstico, tratamiento y seguimiento de un problema de salud y así establecer las prestaciones que serán garantizadas por ley en base a la mejor evidencia disponible. 

Lo anterior releva la importancia de que las GPC sean elaboradas bajo estrictos estándares de calidad, los cuales se encuentran definidos internacionalmente. Una revisión sistemática, publicada el año 2013, identificó 40 herramientas para evaluar la calidad de las GPC7. En esta revisión se identificaron cuáles herramientas habían sido validadas y los ítems utilizados para evaluar la calidad de estas. Los ítems de calidad cubiertos por las distintas herramientas eran muy variables, sin embargo, se concluye que el instrumento AGREE II considera 100% de los criterios de calidad  definidos, se encuentra validado de forma rigurosa8-10 y ha sido utilizada mundialmente para evaluar la calidad de las guías11-18.

El instrumento AGREE II evalúa el proceso de elaboración de una guía a través de 23 ítems claves, organizados en 6 dominios que abarcan una  dimensión única de calidad, estos dominios son19: 

1) Alcance y objetivos: Alude al propósito general de la guía, a los aspectos de salud específicos y a la población diana (ítems 1-3).

2) Participación de los implicados: Se refiere al grado en el que la guía ha sido elaborada por los interesados y representa el punto de vista de los usuarios a los que está destinada (ítems 4-6). 

3) Rigor en la elaboración: Hace referencia al proceso utilizado para reunir y sintetizar la evidencia, los métodos para formular las recomendaciones y para actualizarlas (ítems 7-14). 

4) Claridad de la presentación: Apunta al lenguaje utilizado, la estructura y el formato de la guía (ítems 5-17). 

5) Aplicabilidad: Hace referencia a las posibles barreras y factores facilitadores para su implantación, las estrategias para mejorar su adopción y las implicancias de la aplicación de la guía en los recursos (ítems 18-21). 

6) Independencia editorial: Se refiere al sesgo que pudiesen tener las recomendaciones dado a conflictos de interés presentes entre los participantes (ítems 22-23). 

Cada uno de los ítems están graduados mediante una escala de Likert que contempla 7 puntos: desde 1 “muy en desacuerdo” hasta 7 «muy de acuerdo”. 

En la actualidad se desconoce cuál es el nivel de calidad de las GPC oficiales vigentes. Si bien existe un estudio que determinó a través del instrumento AGREE que la calidad de las 56 GPC AUGE vigentes al año 2010 era moderada20, este se encuentra desactualizado, debido a que se incorporaron 21 nuevos problemas de salud y 41 de las GPC evaluadas fueron actualizadas posterior a la fecha de realización del estudio. Por lo tanto, el objetivo del presente estudio es evaluar la calidad de las guías de práctica clínica disponibles a julio 2014 en la página web “AUGE  80” del MINSAL. 

Material y Método 

El presente estudio es un estudio descriptivo, observacional, corte transversal. El estudio incluyó la totalidad de las GPC vigentes hasta julio de 2014 en la página web “AUGE 80” del MINSAL, correspondientes a los 80 problemas de salud incluidos en el AUGE. El instrumento seleccionado para realizar la evaluación de las GPC es la versión en español del instrumento AGREE II. 

Siguiendo las recomendaciones del instrumento, la aplicación  del AGREE II se realizó a través de dos evaluadores distintos con criterios de selección definidos. 

Para la recolección de los datos se confeccionó una ficha en una plantilla Excel donde cada evaluador vertía los resultados de su análisis. 

Los datos fueron analizados utilizando el paquete estadístico STATA 11.0. Se realizaron cálculos descriptivos simples para todas las variables evaluadas. 

Las medidas de tendencia central de las variables continuas se expresan como promedio, con sus respectivas desviaciones estándar (DE), mientras que las variables categóricas son descritas mediante porcentajes. 

Para evaluar el grado de concordancia entre los distintos evaluadores se utilizó el coeficiente de correlación intraclase (CCI) para cada dimensión de cada GPC, ya que este es ampliamente utilizado en el caso de escalas cuantitativas. A pesar de que los valores que definen un alto porcentaje de acuerdo son arbitrarios, los valores bajo 0,4 fueron definidos como bajo acuerdo, entre 0,4 y 0,75 porcentaje regular a alto de acuerdo, y sobre 0,75 porcentaje de acuerdo excelente21. El puntaje promedio de los dos evaluadores se obtuvo para cada dimensión de cada guía. 

Resultados 

El número de GPC que fueron obtenidas del sitio web del MINSAL durante el mes de julio de 2014 fueron 81, el detalle del año de su última  publicación se observa en la Tabla 1. 

Tabla 1. Número de GPC según año de última publicación

El puntaje promedio de las GPC según dominio evaluado se encuentra en la Tabla 2. Destacan por su baja puntuación los dominios de aplicabilidad,  rigor en la elaboración y participación de los implicados. El acuerdo entre evaluadores fue adecuado, obteniéndose un coeficiente de correlación  intraclase entre 0,71 y 0,95 para las diferentes dimensiones de las 81 guías evaluadas.   

Tabla 2. Media de puntajes de GPC y coeficientes de correlación según dominios

Las medianas de los puntajes de cada dominio se observan en la Figura 1. El dominio con mayor puntaje fue el de alcances y objetivos, mientras  que el peor evaluado fue el de aplicabilidad, este último posee la mayor dispersión de los valores. 

Figura 1. Mediana de puntajes de GPC, según dominios.

Resultados de puntajes según dimensión 

Alcances y objetivos 

Esta dimensión consta de tres ítems (objetivo general, descripción específica de los  aspectos de salud y descripción de la población a la cual se pretende aplicar la guía), los cuales tuvieron un puntaje sobre 79% (Tabla 3). 

Tabla 3. Puntajes obtenidos en dominio “alcance y objetivos”, desglosado por ítem.

Participación de los implicados 

Esta dimensión consta de tres ítems (multidisciplinariedad del grupo elaborador de la guía, consideración de los  puntos de vista de los pacientes y definición clara de los usuarios diana), para los cuales el mejor evaluado fue el de claridad en la definición de los usuarios de las GPC y el peor evaluado fue el de participación de pacientes (Tabla 4). 

Tabla 4. Puntajes del dominio “participación de los implicados”, desglosado por ítem

Rigor en la elaboración 

Esta dimensión consta de ocho ítems (métodos sistemáticos para la búsqueda de evidencia, descripción clara de los métodos para seleccionar la  evidencia, descripción clara de las fortalezas y limitaciones de la evidencia, descripción clara de los métodos para formular las recomendaciones,  consideración de beneficios y riesgos en la recomendación, relación explícita entre la recomendación y la evidencia en que está basada, y  finalmente guía revisada por expertos externos e inclusión de un procedimiento para actualizar la guía). Sus resultados se muestran en la Tabla 5. 

Tabla 5. Puntajes del dominio “rigor en la elaboración”, desglosado por ítem

Claridad en la presentación 

Esta dimensión consta de tres ítems (claridad de la recomendación, claridad en la presentación de las diferentes opciones e identificación de las  recomendaciones claves) los cuales poseen puntajes sobre 70% (Tabla 6). 

Tabla 6. Puntaje del dominio “claridad de la presentación”, desglosado por ítem

Aplicabilidad 

Esta dimensión consta de cuatro ítems (descripción de factores facilitadores y barreras, aplicabilidad de las recomendaciones en la práctica, recursos y criterios para monitorización). Sus puntajes se detallan en Tabla 7. 

Tabla 7. Puntaje del dominio “aplicabilidad” desglosado por ítem

Independencia editorial 

Esta dimensión consta de dos ítems (entidad financiadora y conflictos de interés). El puntaje promedio para el primer ítem fue de 69% y para el  segundo ítem fue de 84% (Tabla 8). 

Tabla 8. Puntaje del dominio “independencia editorial”, desglosado por ítem

Tendencia temporal de la calidad de las GPC 

Se evaluó la tendencia de la calidad de las GPC a través de los años, según su puntaje en los dominios rigor en la elaboración y aplicabilidad. A medida que pasan los años, se observa una tendencia a la mejoría  tanto en el dominio rigor en la elaboración como para la aplicabilidad (Figura 2). Sin embargo, para ambos dominios no se alcanza significancia estadística. 

Figura 2. Scatter Plot de puntaje GPC y año de publicación para los dominios de rigor en la elaboración y aplicabilidad.

Discusión 

Los resultados de la evaluación de calidad realizada con el instrumento AGREE II a las 81 GPC del AUGE muestra resultados favorables en algunos dominios, como la definición de alcance y objetivos, claridad de la presentación e independencia editorial; pero para aquellos dominios que requieren mayor trabajo metodológico, como la participación de los implicados, rigor en la elaboración y aplicabilidad, los resultados son deficientes. 

Sin embargo, los resultados no distan mayormente de lo encontrado en la literatura16,20,22, lo que se puede observar en la Tabla 9. 

Tabla 9. Comparación de evaluación de calidad de guías elaboradas por diferentes entidades

Cabe destacar que los resultados de la evaluación de calidad realizada en este estudio no son absolutamente comparables a los ejemplos mencionados anteriormente, ya que en esos estudios la evaluación de calidad fue realizada con la versión anterior del instrumento AGREE20,22. 

Al comparar los resultados de este estudio con el de Pantoja20 se puede observar una mejoría en la calidad de las guías, lo que podría estar explicado por una preocupación por homogeneizar las guías elaboradas por el MINSAL y entregar de forma más clara las recomendaciones de estas. Sin embargo, la calidad de los procesos de búsqueda, selección y evaluación de la calidad de la evidencia, la incorporación de la perspectiva de los pacientes, la descripción de factores facilitadores y barreras para la implementación de las guías y la consideración de criterios de costo efectividad aún siguen siendo deficientes.

Este es el estudio más reciente sobre evaluación de calidad de GPC20,23 y el único que ha evaluado guías con el instrumento AGREE II en  Latinoamérica. A pesar de que la calidad de GPC AUGE ya fue evaluada en el estudio de Pantoja et al20, los resultados obtenidos representan una actualización del anterior, ya que se utilizó la versión actualizada del instrumento AGREE, evaluándose 20 GPC nuevas, que corresponden a GPC de nuevos problemas de salud y 41 GPC que fueron actualizadas luego del año 2010. Por lo tanto, de las 56 GPC evaluadas en el estudio publicado de Pantoja, sólo 15 de ellas continúan vigentes.

Entre las limitaciones de esta evaluación de calidad de GPC realizada se encuentra que, al ser la herramienta AGREE II una lista de chequeo que permite ver la inclusión de ciertos ítems específicos en las GPC, esta no logra corrobar que las preguntas planteadas en la guía con su búsqueda de  evidencia, evaluación de calidad de estudios y recomendación consecuente hayan sido realizados según la especificidad del tema para el cual se está elaborando la GPC. Otras limitaciones de este estudio son que los evaluadores de este estudio pertenecían al departamento encargado de  elaborar GPC en el MINSAL, lo que pudiese generar un sesgo en las evaluaciones. Para minimizar este sesgo, los evaluadores no fueron responsables de evaluar ninguna GPC que hubiera sido elaborada por ellos mismos.

Por otra parte, debido a que sólo fueron evaluadas las GPC vigentes, es difícil realizar análisis que permitan ver la verdadera tendencia de las GPC en el tiempo, ya que para esto sería necesario evaluar todas las GPC realizadas cada año independiente de su vigencia, por lo que la lectura de los resultados en relación a este punto debe realizarse de manera cautelosa. Esta tendencia a la mejora se podría explicar por un perfeccionamiento de la metodología de elaboración de guías a nivel internacional y mayor capacitación de los técnicos que realizan GPC a través de cursos y asesorías realizadas el último tiempo en el MINSAL.

Como parte de los resultados encontrados a partir de este estudio, se pueden realizar una serie de recomendaciones que permitan al MINSAL mejorar la calidad de las GPC AUGE y de esta forma tomar decisiones informadas por evidencia de calidad, para lo cual se requiere buscar  metodologías que permitan captar de la mejor manera cuales son las preferencias de los pacientes al momento de elaborar las recomendaciones de  las GPC, realizar invitaciones amplias a profesionales de salud, capacitar de manera continua a los profesionales elaboradores de GPC, destinar presupuesto para contratar una mayor cantidad de recursos humanos y/o para licitar los procesos de búsqueda, selección y evaluación de calidad de evidencia, establecer una redacción similar para todas las guías desarrolladas en el MINSAL con formatos amigables para presentar los resultados de los estudios incorporados en ellas, solicitar información sobre la factibilidad de implementación de recomendaciones para así de esta forma ofrecer alternativas de acción y crear planes de implementación para las GPC en conjunto con la Subsecretaría de Redes Asistenciales.

Por otra parte, se debe priorizar establecer un trabajo coordinado con el Departamento de Economía de la Salud del MINSAL, para así priorizar la  elaboración de estudios de costo efectividad para aquellas intervenciones que sea necesario y obtener evidencia de los costos que se requieren para  llevar a cabo una recomendación y por último mostrar de forma más detallada las declaraciones de conflictos de interés encontrados en los  participantes del grupo elaborador de la guía. 

Referencias Bibliográficas.

1. Institute of Medicine. Clinical Practice Guidelines We Can Trust. Washington D.C.; 2011.

2. Weisz G, Cambrosio A, Keating P, Knaapen L, Schlich T, Tournay VJ. The emergence of clinical practice guidelines. Milbank Q. 2007; 85 (4): 691- 727.

3. Eddy DM. Evidence-based medicine: a unified approach. Health Aff Proj Hope 2005; 24 (1): 9-17.

4. Burgers JS, Grol R, Klazinga NS, Mäkelä M, Zaat J, AGREE Collaboration. Towards evidence-based clinical practice: an international survey of 18 clinical guideline programs. Int J Qual Health Care J Int Soc Qual Health Care ISQua 2003; 15 (1): 31-45.

5. Diario Oficial. Ley 19.937. Modifica el D.L. Nº 2.763 de 1979, con la finalidad de establecer una nueva concepción de la autoridad sanitaria, distintas modalidades de gestión y fortalecer la participación ciudadana. II, 2004.

6. Diario Oficial. Ley 19.669. Establece un régimen de garantías en salud. IX, 2004.

7. Siering U, Eikermann M, Hausner E, Hoffmann-Eßer W, Neugebauer EA. Appraisal Tools for Clinical Practice Guidelines: A Systematic R eview. LoS ONE 2013; 8 (12): e82915.

8. The original AGREE Instrument | AGREE Enterprise website [Internet]. [cited 2014 Jul 5]. Available from: http://www.agreetrust.org/resource-centre/the-original-agree-instrument/

9. AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care 2003; 12 (1): 18-23.

10. Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. AGREE II: advancing guideline development, reporting and  evaluation in health care. Can Med Assoc J 2010; 182 (18): E839-42.

11. Bancos I, Cheng T, Prokop LJ, Montori VM, Murad MH. Endocrine clinical practice guidelines in North America. A systematic assessment of quality. J Clin Epidemiol 2012; 65 (5): 520-5.

12. Holmer HK, Ogden LA, Burda BU, Norris SL. Quality of clinical practice guidelines for glycemic control in type 2 diabetes mellitus. PloS One 2013;  8 (4): e58625.

13. Henig O, Yahav D, Leibovici L, Paul M. Guidelines for the treatment of pneumonia and urinary tract infections: evaluation of methodological quality using the Appraisal of Guidelines, Research and Evaluation II instrument. Clin Microbiol Infect Off Publ Eur Soc Clin Microbiol Infect Dis 2013; 19 (12): 1106-14.

14. Acuña-Izcaray A, Sánchez-Angarita E, Plaza V, Rodrigo G, Montes de Oca M, Gich I, et al. Quality assessment of asthma clinical practice guidelines: a systematic appraisal. Chest 2013; 144 (2): 390-7.

15. Sabharwal S, Patel V, Nijjer SS, Kirresh A, Darzi A, Chambers JC, et al. Guidelines in cardiac clinical practice: evaluation of their methodological  quality using the AGREE II instrument. J R Soc Med 2013; 106 (8): 315-22.

16. Burda BU, Chambers AR, Johnson JC. Appraisal of guidelines developed by the World Health Organization. Public Health 2014; 128 (5): 444-74.

17. Gutarra-Vilchez RB, Barajas-Nava L, Aleman A, Solà I, Gich I, Bonfill X, et al. Systematic evaluation of the quality of clinical practice guidelines on the use of assisted reproductive techniques. Hum Fertil Camb Engl 2014; 17 (1): 28-36.

18. Ríos E, Serón P, Lanas F, Bonfill X, Quigley EMM, Alonso- Coello P. Evaluation of the quality of clinical practice guidelines for the management of esophageal or gastric variceal bleeding. Eur J Gastroenterol Hepatol 2014; 26 (4): 422-31.

19. El instrumento AGREE II Versión electrónica [Internet]. AGREE Next Steps Consortium (2009); [citado el 14 de julio de 2014]. Available from: http://www.agreetrust.org; version hen español: http://www.guiasalud.es

20. Pantoja T, Valenzuela L, Léniz J, Castañón C. [Clinical practice guidelines in the Chilean health sector reform: a critical assessment of their quality]. Rev Med Chile 2012; 140 (11): 1391-400.

21. Prieto L, Lamarca R, Casado A. La evaluación de la fiabilidad en las observaciones clínicas: el coeficiente de correlación intraclase. Med Clin(Barc) 1998 7; 110 (4): 142-5.

22. Alonso-Coello P, Irfan A, Solà I, Gich I, Delgado-Noguera M, Rigau D, et al. The quality of clinical practice guidelines over the last two decades: a systematic review of guideline appraisal studies. Qual Saf Health Care 2010; 19 (6): e58.

23. Esandi ME, Ortiz Z, Chapman E, Dieguez MG, Mejía R, Bernztein R. Production and quality of clinical practice guidelines in Argentina (1994- 2004): a cross-sectional study. Implement Sci IS. 2008; 3: 43.