Rendimiento de las Preguntas del Examen Médico Nacional en Ortopedia y Traumatología

Resumen

Introducción

El Examen Médico Nacional de Ortopedia y Traumatología (EMNOT) permite evaluar el conocimiento teórico de los egresados de programas nacionales de la especialidad. Aunque estudios previos han analizado aspectos como la taxonomía, dificultad y discriminación de sus preguntas, no se ha explorado el rendimiento por área temática. Este estudio evaluó el porcentaje de respuestas correctas (PRC) por área y subárea entre 2009 y 2023.

Métodos

Estudio de cohorte retrospectiva. Se analizaron todas las preguntas del EMNOT (2009–2023). Se calculó el PRC por pregunta, clasificándolas por área (ciencias básicas, adulto e infantil) y sub áreas temáticas (trauma, columna, ciencias básicas, rodilla, cadera, tobillo y pie, mano, hombro y codo y oncología). Se aplicó regresión fraccional logística y se estimaron los efectos marginales promedios (EMP).

Resultados

Se evaluaron 1.742 preguntas. La mediana del PRC fue de 68% (RIC: 49–83%), sin diferencias significativas a lo largo del tiempo (p = 0,08). Las preguntas del área de adultos obtuvieron mayor PRC que las de pediatría (69% vs. 65%, p = 0,003). En subáreas, trauma musculoesquelético presentó mejores resultados que columna, hombro y codo, mano y rodilla (p < 0,05).

Conclusiones

El EMNOT muestra un rendimiento teórico estable, con una mediana superior al umbral de aprobación. Sin embargo, se identificaron diferencias significativas por área y subárea temática, lo que puede orientar mejoras curriculares en la formación de residentes.

Nivel de Evidencia

III.

Palabras claves

certificación - competencias clínicas - especialidades médicas - ortopedia y traumatología

Introducción

En las últimas décadas, se han implementado, a nivel mundial, evaluaciones de conocimiento en los residentes al egresar de sus programas de formación de Ortopedia y Traumatología.[1] [2] [3] [4] Estos exámenes tienen el propósito de realizar un diagnóstico de las competencias cognitivas de los egresados de los distintos programas de formación, comparar objetivamente el rendimiento de sus estudiantes y tomar decisiones respecto de sí los egresados son aptos para su práctica profesional.[5] [6]

En Chile, el Comité de Docencia de la Sociedad Chilena de Ortopedia y Traumatología (SCHOT) comenzó a elaborar el año 2007 un examen teórico de opción múltiple para todos los residentes egresados de programas universitarios de esta especialidad en nuestro país,[7] [8] con el fin de conocer y colaborar en la formación teórica de los estudiantes de postgrado. Su primera aplicación fue el año 2009 y desde entonces sus resultados son utilizados por las universidades, confidencialmente, para conocer el rendimiento teórico de sus estudiantes en distintas áreas de la especialidad.[8] Dado el rol informativo que cumple el examen, éste es de carácter voluntario y carece de un rol certificador de la especialidad para los egresados de programas universitarios chilenos.[7] [8] Desde el año 2014, este examen asumió un rol acreditador de médicos especialistas formados en el extranjero, siendo su aprobación un requisito para la convalidación del título.

Considerando el importante impacto educacional que ha adquirido este examen, es necesario evaluar los resultados de su aplicación para analizar su validez. Si bien estudios previos han analizado la distribución y taxonomía de las preguntas del EMNOT,[8] y evaluados índices de discriminación y dificultad,[7] no se ha descrito el rendimiento según el porcentaje de respuestas correctas en las distintas áreas temáticas examinadas. Detectar posibles brechas de desempeño en subáreas específicas como columna, ortopedia pediátrica o extremidad superior podría orientar ajustes curriculares, mejorar la formación teórica de los residentes y fortalecer el uso formativo del examen. En este contexto, el objetivo de este estudio fue evaluar el rendimiento de las preguntas del EMNOT según áreas y subáreas temáticas durante el período 2009-2023.

Métodos

Diseño

Estudio observacional de cohorte retrospectiva, aprobado por el Comité de Docencia de la SCHOT y el Comité Ético Científico de la Facultad de Medicina de la Pontificia Universidad Católica de Chile (número resolución 190925008).

Examen Médico Nacional de Ortopedia y Traumatología (EMNOT)

El EMNOT es diseñado y administrado por el Comité de Docencia de la SCHOT, órgano compuesto por profesionales de reconocida trayectoria, preferentemente académicos universitarios con experiencia en educación médica, seleccionados mediante invitación por el propio comité o por el directorio de la sociedad científica. Este examen consta de 120 preguntas de opción múltiple, elaboradas conforme a un perfil de conocimientos consensuado por dicho comité y alineado con las competencias definidas en la Norma Técnica N.° 145 de certificación de especialidades y subespecialidades médicas.[9] Este perfil, de carácter público, fue generado a partir del análisis de los programas universitarios nacionales acreditados por la Agencia Acreditadora de Programas de Postgrado de Especialidades en Medicina y Centros Formadores de Médicos Especialistas (APICE).[10] Las preguntas del EMNOT presentan distintos niveles de complejidad, abarcando desde el recuerdo de información hasta el juicio clínico, en concordancia con la taxonomía descrita por Buckwalter et al.[8] [11]

Muestra

Para este estudio se incluyeron todos los exámenes del período 2009-2023 y se excluyeron las respuestas de alumnos egresados de programas extranjeros, con el objetivo de asegurar una mayor homogeneidad del grupo de estudio y evitar posibles sesgos asociados a diferencias curriculares y contextuales. Asimismo, es importante destacar que no se incluyeron datos identificadores de las universidades y/o examinados en el análisis.

Variables Estudiadas

La unidad de análisis fueron todas las preguntas incluidas en el EMNOT en el período 2009-2023, siendo la variable dependiente el porcentaje de respuestas correctas (PRC), definido como el porcentaje de residentes que contestó correctamente cada pregunta.

Para el análisis de las preguntas, un evaluador (AA) clasificó las preguntas en las áreas temáticas ciencias básicas y aplicadas en salud, adulto e infantil y subáreas trauma, columna, misceláneo, rodilla, cadera, tobillo y pie, mano hombro y codo y oncología. Para esta clasificación se usó como referencia la clasificación del examen americano “Orthopaedic In-Training Examination”(OITE),[3] similar a la descrita por Urrutia et al[8] y actualmente utilizada por el banco de preguntas del Comité de Docencia de la Sociedad Chilena de Ortopedia y Traumatología. En caso de dudas, un segundo especialista con más de 20 años de experiencia (MO) revisó y clasificó las preguntas. Los temas abordados en cada área de conocimiento están descritos en la [Tabla 1].

Tabla 1

Áreas conocimiento	Temas
Ciencias básicas y aplicadas en salud	Biomecánica, Salud pública, Investigación, Infecciones osteoarticulares, Biología celular y Anatomía Clínica
Adultos	Pacientes mayores de 14 años
	Patología exclusiva para adultos (ej. Artrosis cadera)
Infantil	Paciente menor de 14 años

Análisis Estadístico

Se evaluó la distribución de las variables numéricas con la prueba Shapiro Wilk, posteriormente se resumieron mediante sus medianas y rango Inter cuartil (RIC: 25-75%). Las variables categóricas se describieron utilizando frecuencia absoluta y relativa.

Dado que la variable dependiente correspondía a una proporción entre 0 y 1 (porcentaje de respuestas correctas), y que su distribución no era normal, se utilizó una regresión fraccional logística para evaluar el rendimiento según las distintas áreas y subáreas temáticas.[12] Considerando que los coeficientes de este modelo se expresan en log-odds y no son directamente interpretables en la escala del resultado (porcentajes), se estimaron y reportaron los efectos marginales promedio (EMP). Estos estadísticos permiten interpretar el cambio esperado en la proporción de respuestas correctas asociado a cada categoría de la variable independiente (áreas y subáreas temáticas), en comparación con una categoría de referencia. Con el fin de facilitar la interpretación de los resultados, los efectos marginales promedio (EMP) obtenidos a partir del modelo de regresión fraccional logística fueron transformados a escala porcentual, multiplicándolos por 100. Esta conversión permite expresar el efecto estimado como el cambio porcentual esperado en la proporción de respuestas correctas asociado a cada categoría independiente, en relación con la categoría de referencia. Por ejemplo, un EMP de 0,05 se interpretaría como un aumento promedio del 5% en dicha proporción. En este contexto, valores negativos indican una menor proporción de respuestas correctas en comparación con la referencia, mientras que valores positivos representan un mayor rendimiento.

Se consideraron significativos aquellos valores p menores de 0,05. Los análisis estadísticos se realizaron con el software STATA 16 (StataCorp. 2019. Stata Statistical Software: Release 16. College Station, TX: StataCorp LLC.).

Resultados

Se evaluaron un total de 1742 preguntas realizadas en el EMNOT entre los años 2009 y 2023, con una mediana de 120 preguntas anuales (rango 90-120).

Durante el período analizado, la distribución de las preguntas se concentró en un 47,36% en el área de adultos (n = 825), un 28,01% en el área infantil (n = 488) y un 24,63% en ciencias básicas y aplicadas en salud (n = 230). Las subáreas que concentraron la mayor proporción de preguntas fueron trauma musculoesquelético (28,47%), columna (13,32%) y misceláneos (13,20%) ([Tabla 2]).

Tabla 2

Categoría	Frecuencia absoluta	Porcentaje
Trauma musculoesquelético	496	28,47
Columna	232	13,32
Misceláneos	230	13,20
Rodilla	156	8,96
Cadera	153	8,78
Tobillo y pie	152	8,73
Mano	132	7,58
Hombro y codo	114	6,54
Oncología ortopédica	77	4,42

La mediana de porcentaje de respuestas correctas por pregunta para el período fue el 68% (RIC [p25-p75] 49-83%). En la [Tabla 3] se describen los porcentajes de respuestas correctas por pregunta según año, área y subáreas. No se observaron diferencias en los porcentajes de respuestas correctas entre los años observados (EMP porcentual 0,24 IC95% −0,03 a 0,51; valor p = 0,08).

Tabla 3

Variable		Porcentaje de respuestas correctas por pregunta
Año	Número preguntas	mínimo	p25	p50	p75	máximo
2009	90	0	48	63	85	100
2010	110	0	58	77	88	100
2011	120	6	50	68	82	100
2012	120	0	42,5	62	78	100
2013	120	8	46	65	79,5	100
2014	118	3	46	64	79	95
2015	120	0	47	64	78	98
2016	120	8	50	71	89	99
2017	120	25	54,5	67	78,5	93
2018	120	6	49	63,5	80	99
2019	120	6	51,5	73	88	100
2020	120	0	58	76	88	100
2021	120	5	40,5	67	83	100
2022	120	5	50	71	86	98
2023	104	6	55	72	86	100
Categoría	Número preguntas	mínimo	p25	p50	p75	máximo
Adulto	825	0	51	69	85	100
Ciencias Básicas y aplicadas en salud	488	0	50	68	81	100
Infantil	429	0	46	65	81	100
Subcategoría	Número preguntas	mínimo	p25	p50	p75	máximo
Trauma musculoesquelético	496	0	51	73	87	100
Columna	232	0	46,5	64	77,5	100
Misceláneos	230	0	48	70	82	100
Rodilla	156	6	44	67	82	100
Cadera	153	12	52	69	88	100
Tobillo y pie	152	3	56	68	81	100
Mano	132	9	44	63	83,5	100
Hombro y codo	114	4	47	64	79	97
Oncología ortopédica	77	22	56	67	79	100

Al comparar el porcentaje de respuestas correctas según área, se observa una diferencia estadísticamente significativa entre adulto (69% de respuestas correctas) e infantil (65% de respuestas correctas) (valor p = 0,003). Al analizar las subáreas, se observaron diferencias significativas en el porcentaje de respuestas correctas de trauma musculo esquelético (73%) versus mano, columna, hombro y codo, rodilla (63% - 67%) ([Tabla 3]).

En el análisis mediante regresión fraccional ([Tabla 4]), se observó que la categoría infantil presentó un rendimiento significativamente inferior en comparación con la categoría adulto, con un 3,98% menos de respuestas correctas en promedio (efecto marginal) (valor p = 0,003). No se encontraron diferencias significativas entre las áreas de ciencias básicas y adultos (valor p = 0,215).

Tabla 4

Área	Escala porcentual EMP[a]	Error estándar	IC95%		valor p
Adulto	referencia
Ciencias básicas y aplicadas en salud	−1,68	1,36	−4,34	0,98	0,216
Infantil	−3,98	1,33	−6,59	−1,36	0,003
Subárea	Escala porcentual EMP[a]	Error estándar	IC95%		valor p
Trauma musculoesquelético	referencia
Misceláneos	−3,55	1,85	−7,17	0,06	0,055
Oncología	−1,97	2,37	−6,63	2,68	0,407
Columna	−7,08	1,87	−10,75	−3,40	<0,001
Hombro y codo	−5,40	2,34	−9,99	−0,82	0,021
Mano	−4,97	2,32	−9,52	−0,42	0,032
Cadera	0,62	2,09	−3,49	4,72	0,768
Rodilla	−4,57	2,17	−8,82	−0,32	0,035
Tobillo y pie	−1,96	2,08	−6,04	2,12	0,347

Al analizar según las subáreas, se identificó que las preguntas de columna (EMP porcentual −7,08%, valor p< 0,001), hombro y codo (EMP porcentual −5,40%, valor p = 0,019), mano (EMP porcentual −4,97%, valor p = 0,03) y rodilla (EMP porcentual −4,57%, valor p = 0,033) presentaron una probabilidad significativamente menor de ser respondidas correctamente en comparación con las preguntas de trauma musculoesquelético (categoría de referencia) ([Figura 1]). Mientras que la cadera, tobillo y pie, oncología y ciencias básicas no mostraron diferencias estadísticamente significativas respecto del trauma musculoesquelético.

Fig. 1 Efecto marginal promedio porcentual por subárea en comparación con trauma musculoesquelético. Las barras representan los intervalos de confianza al 95%. Se indican con asterisco (*) las diferencias estadísticamente significativas (p < 0,05). Un efecto marginal promedio ponderado negativo indica una menor proporción de respuestas correctas en comparación con la categoría de referencia, mientras que un valor positivo sugiere una mayor proporción.

Discusión

En la actualidad, el EMNOT tiene un importante rol para evaluar el rendimiento de los especialistas recién egresados de programas chilenos y para revalidar el título a especialistas formados en el extranjero. Estudios anteriores han descrito la distribución de las preguntas y sus características psicométricas.[7] [8] Este es el primer estudio que evalúa el rendimiento de los evaluados según áreas temáticas y subáreas, durante el período 2009-2023.

El principal hallazgo del estudio fue que el EMNOT mostró un rendimiento teórico estable en el tiempo, con una mediana de respuestas correctas de 68%, siendo similar al porcentaje de aprobación del examen OITE (66%).[13] Es importante destacar que todas las preguntas, independientemente de la categoría y/o subcategoría, superaron el 60% respuestas correctas (porcentaje mínimo recomendado para aprobar un examen teórico).[14]

Al no observarse diferencias según los años de rendimiento del examen, se puede inferir que el EMNOT mantiene una dificultad constante en el tiempo. Este hallazgo resulta particularmente relevante, ya que, si bien existen estudios que han documentado variaciones en los puntajes del examen OITE según el año de residencia,[15] así como sobre la estabilidad de la distribución de las preguntas en términos de áreas y taxonomía,[13] [16] [17] no se encontraron estudios que evalúen directamente la estabilidad del rendimiento de los evaluados a través del tiempo.

Si bien en nuestro estudio el EMNOT mostró un rendimiento estable en el tiempo, se evidenciaron diferencias en el rendimiento según área temática. Al evaluar el PRC según categorías, se observó que las preguntas de Infantil tuvieron un 3,98% menos de respuestas correctas en promedio, en comparación con las preguntas del área adulta. Es importante destacar que, si bien el PRC fue significativamente menor en Infantil, la mediana de PRC fue 65%, siendo superior al puntaje recomendado para aprobar (60%). En cuanto al número de preguntas de Infantil, es interesante mencionar que en el examen americano OITE las preguntas de esta área temática corresponden entre un 11 a un 14% del total,[13] [18] [19] [20] mientras que en el EMNOT el porcentaje de preguntas es mayor, siendo un 24,5% del total (n = 429 preguntas). Al analizar el rendimiento según subáreas, se observó un mejor rendimiento en las preguntas de trauma musculoesquelético, en comparación con las preguntas de las áreas de columna, hombro y codo, mano y rodilla.

El menor rendimiento en infantil (versus adulto) y en las subáreas columna, hombro y codo, mano y rodilla (versus traumatología musculoesquelética) podrían explicarse por una menor exposición clínica o académica de los residentes en estas áreas durante la formación, a una mayor complejidad del conocimiento y/o a diferencias en la formulación de las preguntas (complejidad, claridad de enunciado y calidad de alternativas). Sin embargo, es importante destacar que la existencia de diferencias estadísticas no implica necesariamente una brecha formativa de relevancia clínica. Por ejemplo, en el caso de las áreas de Infantil y Adulto, la diferencia en el PRC fue de solo 4 puntos porcentuales, lo que, si bien resulta significativo desde el punto de vista estadístico, podría no tener relevancia práctica en la adquisición de conocimientos.

El presente estudio presenta algunas limitaciones, partiendo por su característica observacional retrospectiva. En el análisis no se consideraron variables individuales como centro formador o rendimiento del residente durante su formación. Tampoco se analizaron variables como la taxonomia, el índice de discriminación y evaluación de la calidad de las preguntas, pudiendo estas variables estar asociadas al porcentaje correcto de respuestas. Como fortaleza destaca que se estudió el universo total de preguntas del EMNOT en un periodo de 15 años.

Futuros estudios deberían explorar la relación entre rendimiento en el EMNOT y características específicas de los programas de formación, el impacto de reformas curriculares en el rendimiento por subespecialidad y evaluar la calidad de las preguntas del examen.

Conclusión

El Examen Médico Nacional de Ortopedia y Traumatología es una herramienta formativa con dificultad adecuada y rendimiento estable a lo largo del tiempo. Se observó que la mediana de preguntas con respuesta correcta fue superior al umbral de aprobación recomendada; sin embargo, se observaron diferencias significativas según área temática y subcategoría. Específicamente, los contenidos de Adulto y Trauma musculoesquelético mostraron mejores rendimientos, en comparación con Infantil y otras subáreas como columna, mano, hombro y codo.

No conflict of interest has been declared by the author(s).

Agradecimientos

Agradecemos al Comité de Docencia de la Sociedad Chilena de Ortopedia y Traumatología por su apoyo a esta línea de investigación.

• Referencias Bibliográficas

• 1 Dougherty PJ, Walter N, Schilling P, Najibi S, Herkowitz H. Do scores of the USMLE Step 1 and OITE correlate with the ABOS Part I certifying examination?: a multicenter study. Clin Orthop Relat Res 2010; 468 (10) 2797-2802
• 2 Cho Y, Kim JY, Park JH. Analysis of the Korean Orthopedic In-Training Examination: The Hip and Pelvis Section. Hip Pelvis 2016; 28 (03) 157-163
• 3 Fones L, Osbahr DC, Davis DE, Star AM, Ahmed AK, Saxena A. Analysis of Orthopaedic In-Training Examination Trauma Questions: 2017 to 2021. J Am Acad Orthop Surg Glob Res Rev 2023; 7 (03) e22.00180
• 4 American Academy of Orthopaedic Surgeons. About ABOS [Internet]. 2020 [citado 7 jul 2025]. Disponible en: https://www.aaos.org/about/
• 5 Le HV, Wick JB, Haus BM, Dyer GSM. Orthopaedic In-Training Examination: History, Perspective, and Tips for Residents. J Am Acad Orthop Surg 2021; 29 (09) e427-e437
• 6 Swanepoel S, Dunn R, Klopper J, Held M. The FC Orth(SA) final examination: how effective is the written component?. SA Orthop J 2018 ;17(3)
• 7 Lira MJ, Besa P, Irarrázaval S. et al. Evaluation of the Chilean National Orthopaedic Examination over 11 years: progress and outcomes of national and international examinees. J Am Acad Orthop Surg Glob Res Rev 2024; 8 (01) e23.00168
• 8 Urrutia J, Orrego M, Wright AC, Amenabar D. An assessment of the Chilean National Examination of Orthopaedic Surgery. BMC Med Educ 2016; 16 (01) 78
• 9 Ministerio de Salud. Norma Técnica N° 145. Certificación de especialidades médicas [Internet]. Santiago: Biblioteca del Congreso Nacional; 2017. [citado 7 jul 2025]. Disponible en: https://www.bcn.cl/leychile/navegar?idNorma=1048964
• 10 APICE. Requisitos específicos de un programa de formación de especialistas en Traumatología y Ortopedia [Internet]. Santiago: APICE; 2014. [citado 7 jul 2025]. Disponible en: http://www.apicechile.cl/images/stories/doc/imagenes/traumatologia_ortopedia.pdf
• 11 Buckwalter JA, Schumacher R, Albright JP, Cooper RR. Use of an educational taxonomy for evaluation of cognitive performance. J Med Educ 1981; 56 (02) 115-121
• 12 Meaney C, Moineddin R. A Monte Carlo simulation study comparing linear regression, beta regression, variable-dispersion beta regression and fractional logit regression at recovering average difference measures in a two sample design. BMC Med Res Methodol 2014; 14 (01) 14
• 13 American Academy of Orthopaedic Surgeons. Orthopaedic In-Training Examination (OITE): Technical Report 2022.
• 14 Cusimano MD. Standard setting in medical education. Acad Med 1996; 71 (10, Suppl) S112-S120
• 15 DePasse JM, Haglin J, Eltorai AEM, Mulcahey MK, Eberson CP, Daniels AH. Orthopedic in-training examination question metrics and resident test performance. Orthop Rev (Pavia) 2017; 9 (02) 7006
• 16 Lee E, O'Sullivan L, Spiker AM. Analysis of Hip Preservation Questions on the Orthopaedic In-Training Examination Over the Past 20 Years. Orthop J Sports Med 2024;12(5):23259671241237503
• 17 Klein B, LaGreca M, White PB, Trasolini R, Cohn RM. Comparison of Sports Medicine Questions on the Orthopaedic In-Training Examination Between 2009 and 2012 and 2017 and 2020 Reveals an Increasing Number of References. Arthrosc Sports Med Rehabil 2023; 5 (02) e479-e488
• 18 Papp DF, Ting BL, Sargent MC, Frassica FJ. Analysis of the Pediatric Orthopedic Surgery Questions on the Orthopaedic In-Training Examination, 2002 through 2006 [Internet]. 2010 [citado 7 jul 2025]. Disponible en: http://www.pedorthopaedics.com
• 19 Murphy RF, Nunez L, Barfield WR, Mooney JF. Evaluation of Pediatric Questions on the Orthopaedic In-Training Examination: An Update [Internet]. 2016 [citado 7 jul 2025]. Disponible en: http://www.pedorthopaedics.com
• 20 Ellsworth BK, Premkumar A, Shen T, Lebrun DG, Cross MB, Widmann RF. An updated analysis of the pediatric section of the Orthopaedic In-Training Examination. J Pediatr Orthop 2020; 40 (10) e1017-e1021

Publication History

Received: 07 July 2025

Accepted: 07 August 2025

Article published online:
22 December 2025