Avaliação do desempenho dos residentes em ortopedia na prática clínica^[*]

Resumo

Objetivo Avaliar o desempenho de residentes de ortopedia na realização de exames clínicos.

Métodos O Mini-CEX foi aplicado por três docentes em quatro momentos distintos. O instrumento foi adaptado pelos autores para uso em ortopedia, com desenvolvimento de descritores para cada habilidade avaliada. Os supervisores foram treinados pelo pesquisador principal para utilização do Mini-CEX por meio de materiais didáticos e discussões e os descritores do instrumento foram padronizados.

Resultados As pontuações médias obtidas nas quatro avaliações de cada um dos 21 residentes revelaram melhora no desempenho de todas as habilidades entre o primeiro e o quarto encontro.

Conclusões O desempenho dos residentes em ortopedia apresentou evolução satisfatória, com melhora progressiva de todas as habilidades.

Palavras-chave

aprendizagem - ensino - exame físico - ortopedia

Introdução

Especialistas em ensino de todo o mundo enfrentam dificuldades em encontrar métodos confiáveis para a avaliação do desempenho clínico de residentes.[1] A observação direta é uma boa ferramenta para analisar os residentes no local de trabalho, permitindo a observação do que sabem e podem fazer. No entanto, embora docentes e residentes trabalhem no mesmo local, a observação é tradicionalmente informal e realizada de forma inconsistente em quase todas as especialidades médicas.[2]

Para incentivar as observações pelos docentes, o American Board of Internal Medicine propôs o Mini-Clinical Evaluation Exercise (Miniexercício de Avaliação Clínica, ou Mini-CEX, na sigla em inglês), uma avaliação de observação direta de 10 a 20 minutos das habilidades clínicas dos residentes. A avaliação ocorre durante as consultas médicas, e a interação entre o residente e o paciente é observada; a seguir, o avaliador dá ao residente um feedback na forma de um texto de uma página que classifica habilidades como “competência clínica geral” e “qualidades humanísticas/profissionalismo” e é assinado por ambos.[3]

Este método tem sido utilizado em especialidades como cardiologia,[4] anestesiologia,[5] pediatria,[6] medicina interna[7] e quiropraxia.[8] No entanto, não encontramos estudos sobre seu uso em ortopedia. Assim, nosso objetivo foi avaliar o desempenho de residentes em ortopedia na realização de exames clínicos.

Métodos

Delineamento Experimental e Localização

Este é um estudo longitudinal prospectivo, realizado de janeiro a julho de 2016, em dois programas de residência em ortopedia credenciados pelo Ministério da Educação e reconhecidos pela Sociedade Brasileira de Ortopedia e Traumatologia em uma capital da região Centro-Oeste do Brasil.

Participantes

A amostragem foi não probabilística. Residentes pós-graduandos em ortopedia do primeiro (R1), segundo (R2) e terceiro anos (R3) dos dois programas de residência que concordaram em participar do estudo foram incluídos e assinaram o termo de consentimento livre e esclarecido. Os residentes de (i) serviços não credenciados pela Sociedade Brasileira de Ortopedia ou (ii) estagiários de subespecialidades ortopédicas (R4), como cirurgia de coluna, joelho, ombro, e pé e tornozelo, foram excluídos do estudo.

Coleta de Dados

O Mini-CEX foi aplicado por três docentes de ortopedia dos respectivos hospitais. Estes profissionais foram treinados para o uso do Mini-CEX pelo pesquisador principal por meio de materiais didáticos e discussões, com padronização dos descritores do instrumento. O Mini-CEX foi utilizado durante as interações individuais entre residentes e pacientes nos setores de pronto-atendimento, enfermaria e ambulatório. Sua aplicação ocorreu em datas formalmente agendadas pelos avaliadores para assegurar que todos os residentes fossem analisados no mesmo dia em seus respectivos locais de trabalho. Cada residente foi avaliado em quatro momentos diferentes, com intervalo de pelo menos 30 dias entre as avaliações.

Instrumento Utilizado

O Mini-CEX, criado pelo American Board of Internal Medicine, apresenta seis habilidades clínicas: (i) anamnese (histórico clínico); (ii) exame físico, (iii) qualidade humanística/profissionalismo; (iv) julgamento clínico; (v) habilidades de aconselhamento (comunicação e orientação); e (vi) organização/eficiência. O instrumento foi adaptado pelos autores para uso em ortopedia, com o desenvolvimento de descritores para cada habilidade avaliada. O processo de adaptação do instrumento ocorreu em encontros específicos de quatro docentes com mais de 10 anos de participação no programa de residência em ortopedia e dois chefes de residência desta especialidade. Após cinco encontros com duração média de 120 minutos, o instrumento foi adaptado e definido de forma que cada habilidade tivesse 9 descritores. Se o objetivo do respectivo descritor fosse alcançado, o residente recebia um ponto, respeitando o máximo de nove pontos do original. A escala de pontuação foi dividida em 1 a 3 (insatisfatória), 4 a 6 (satisfatória) e 7 a 9 (excelente). Os descritores foram desenvolvidos de acordo com a metodologia utilizada por Abadie et al.[6]

Desfecho

A variável dependente foi o desempenho dos residentes de ortopedia no exame físico segundo a avaliação com o instrumento Mini-CEX.

Variáveis Independentes

As seguintes variáveis foram utilizadas: idade (em anos vividos), sexo (masculino/feminino), e ano de residência (R1/R2/R3).

Disponibilidade de Dados e Materiais

Os conjuntos de dados usados e analisados nesse estudo podem ser disponibilizados pelo autor correspondente mediante solicitação razoável.

Análise de Dados

Os dados foram registrados em planilhas Microsoft Excel (Microsoft Corp., Redmond, WA, EUA) e as análises estatísticas foram realizadas usando o programa IBM SPSS Statistics for Windows, versão 23.0 (IBM Corp., Armonk, NY, EUA). As variáveis quantitativas foram apresentadas como média e desvio-padrão. O coeficiente α de Cronbach total foi calculado em cada escala para avaliação da validade interna do instrumento Mini-CEX. A normalidade foi determinada pelo teste de Shapiro-Wilk. Estatísticas não paramétricas foram aplicadas em dados sem distribuição normal. A evolução dos residentes (R1, R2 e R3) ao longo do estudo foi apurada por meio do teste de Friedman seguido de análise de múltiplas comparações posthoc. A probabilidade de rejeição da hipótese de nulidade foi de 5%.

Resultados

O número total de residentes foi de 33, dos quais 12 foram excluídos, 3 por serem R4 e 9 por não serem credenciados. Assim, a amostra final foi composta por 21 residentes, 7 em cada ano de residência, e todos do sexo masculino. A média de idade de R1 foi de 25,86 anos ( ± 2,27), R2, 27,50 anos ( ± 1,74), e R3, 27,14 (±1,97) anos.

O coeficiente α de Cronbach total foi de 0,88 quando consideradas todas as habilidades do instrumento Mini-CEX, com intervalo de confiança (IC) de 95% entre 0,79 e 0,94. As habilidades “julgamento clínico” e “anamnese” foram as que apresentaram os maiores valores, de 0,83 (IC, 0,67–0,92) e 0,76 (IC, 0,52–0,89), respectivamente.

A [Tabela 1] mostra as avaliações gerais pelo Mini-CEX do desempenho dos residentes durante os exames clínicos nos quatro encontros. A comparação das pontuações das primeiras avaliações com as das últimas mostrou a melhora significativa de todas as habilidades clínicas.

Tabela 1

Competência	Encontros (média ± desvio-padrão)				p [*]
	Primeiro	Segundo	Terceiro	Quarto
Exame físico	2,67 ± 1,02d	3,71 ± 0,96c	5,86 ± 0,96b	6,57 ± 1,25a	< 0,001
Habilidade à anamnese	2,86 ± 1,39d	3,95 ± 1,02c	6,00 ± 0,95b	7,00 ± 0,89a	< 0,001
Julgamento clínico	4,19 ± 1,33c	4,90 ± 0,83c	6,57 ± 1,16b	7,38 ± 0,86a	< 0,001
Qualidade humanística	4,14 ± 1,24c	5,19 ± 1,03b	6,14 ± 1,11a	6,76 ± 1,04a	< 0,001

A [Tabela 2] mostra as pontuações médias obtidas nas 4 avaliações dos 21 residentes conforme o ano de residência (R1, R2, R3) e as habilidades. Os resultados revelam melhora no desempenho dos residentes R1, R2 e R3 em todas as habilidades avaliadas do primeiro ao quarto encontro.

Tabela 2

Competência	[A*]	Primeiro encontro	Segundo encontro	Terceiro encontro	Quarto encontro	p [**]
Exame físico	R1	1,86 ± 1,07d	3,00 ± 0,58c	4,86 ± 0,90b	6,29 ± 0,49a	< 0,001
	R2	3,17 ± 0,75b	3,67 ± 1,21b	6,33 ± 0,52a	6,83 ± 0,75a	0,001
	R3	3,00 ± 0,76b	4,38 ± 0,52b	6,38 ± 0,52a	6,63 ± 1,92a	0,001
Habilidade à anamnese	R1	1,43 ± 1,13c	3,00 ± 0,58c	5,14 ± 1,07b	6,29 ± 0,49a	0,001
	R2	3,50 ± 0,84c,b	4,50 ± 1,22b	6,17 ± 0,41a	7,00 ± 0,89a	< 0,001
	R3	3,63 ± 0,92c	4,38 ± 0,52c	6,63 ± 0,52b	7,63 ± 0,74a	0,001
Julgamento clínico	R1	2,86 ± 1,07c	4,29 ± 0,49c	5,57 ± 1,13a	6,57 ± 0,53a	0,001
	R2	4,67 ± 1,03c	5,33 ± 0,82c	6,67 ± 0,82b	7,83 ± 0,75a	0,001
	R3	5,00 ± 0,76b	5,13 ± 0,83b	7,38 ± 0,74a	7,75 ± 0,71a	< 0,001
Qualidade humanística	R1	3,71 ± 1,11b	4,86 ± 1,21b	5,71 ± 1,11a	6,71 ± 1,11a	0,001
	R2	4,17 ± 1,47b	5,00 ± 1,26b	6,00 ± 1,10a	6,33 ± 0,52a	0,002
	R3	4,50 ± 1,20d	5,63 ± 0,52c	6,63 ± 1,06b	7,13 ± 1,25a	< 0,001

Discussão

A comparação das pontuações médias do Mini-CEX dos quatro encontros mostrou a melhora significativa no desempenho dos residentes durante as avaliações. É interessante notar que esses dados contrastam com a literatura. Uma revisão sistemática de 119 artigos sobre as ferramentas de avaliação e observação direta de habilidades clínicas, utilizando o mesmo instrumento, mostrou que não houve melhora nas habilidades clínicas e no atendimento de pacientes.[9]

Um outro estudo publicado em Pediatrics, utilizou o Mini-CEX em 4 a 6 avaliações de 23 residentes ao longo de um ano. Nesse estudo, a habilidade clínica com maior melhora foi o item “qualidades humanísticas/profissionalismo”, enquanto a habilidade com menor melhora foi o exame físico.[10] Isso corrobora parcialmente nossos achados, pois indica uma progressão geral ao longo da avaliação; por ouro lado, difere de nossos em relação à habilidade de exame físico dos residentes, uma vez que observamos melhora significativa nesse quesito: as pontuações aumentaram de 2,67 no primeiro encontro para 6,57 (p < 0,001) no último encontro. O exame físico e a anamnese foram as habilidades que observamos melhorar ao longo das avaliações. Isso pode ser explicado por diferenças nos estilos de feedback e foco (em nosso estudo, houve mais feedback em relação ao exame físico) entre os diferentes trabalhos com Mini-CEX.

Outras especialidades médicas também apresentaram resultados satisfatórios em relação às habilidades do exame físico. Em outro estudo com residentes de pediatria, a média dessa habilidade foi 6,1.[6] Resultados semelhantes foram encontrados em 108 residentes de cardiologia, com média de 7,1, 7,5, 7,5 e 8,0 para residentes R1, R2, R3 e R4, respectivamente.[4]

Nosso estudo mostra que a pontuação média das habilidades do exame físico de R1s no primeiro encontro foi a menor encontrada. Isso pode ser atribuído à relativa inexperiência dos R1s na especialidade, menor tempo nas aulas teórico-práticas e menor observação dos supervisores em suas consultas. Além disso, a primeira avaliação aconteceu logo após o ingresso dos R1s na especialidade de ortopedia, quando estavam munidos apenas dos conhecimentos adquiridos na graduação; isso sugere a falta de ensino da especialidade durante o curso de medicina e a necessidade de corrigir essa lacuna durante a residência médica

Os residentes apresentaram melhora em suas habilidades clínicas durante as avaliações seriadas; entretanto, os R2s e R3s não evoluíram da terceira para a quarta avaliação na área de habilidades do exame físico, provavelmente por estarem há mais tempo na especialidade e já terem alcançado maiores habilidades e pontuações satisfatórias nesse período.

É importante que os residentes ortopédicos tenham bom desempenho, principalmente no exame físico. Para isso, os docentes precisam utilizar os melhores recursos didáticos possíveis. O ensino é mais eficaz quando os residentes participam física e mentalmente—ou seja, de forma direta—no atendimento ao paciente e são incentivados a fazer anotações enquanto estudam, em especial sobre perguntas relevantes a serem feitas aos supervisores e/ou pacientes.[11] Outra maneira de melhorar o desempenho dos residentes é focar em sua “zona de desenvolvimento”—ou seja, começar do ponto exato de suas lacunas ou equívocos, em vez de ensinar o que já se sabe. Assim, é fundamental identificar os limites do conhecimento dos residentes.[11]

O ensino do exame físico ortopédico é um desafio. Há diversas variáveis nesse processo, como a habilidade clínica do supervisor, a disposição do paciente em ser avaliado em grupo como exemplo ilustrativo dos sinais ao exame físico e os interesses dos residentes. A melhor estratégia para ensinar essa habilidade é ter um supervisor com excelentes habilidades e forte aptidão didática. Atribuir essa função a alguém sem uma dessas habilidades apenas perpetuaria os maus hábitos dos residentes.

Outra estratégia eficaz para alcançar um aumento quantitativo da habilidade é ensinar o exame físico ortopédico à beira do leito. Esta talvez seja uma das melhores estratégias para melhorar a qualidade do exame físico. Esse cenário de aprendizagem era rotina na década de 1960, mas tornou-se pouco frequente nos anos 1990.[12] As habilidades do exame físico não podem ser bem ensinadas em aulas teóricas sem a presença de um paciente, real ou não.[9]

Este estudo torna-se relevante no contexto de carência de pesquisas nesta área. Mostramos a evolução positiva do desempenho da residência com o Mini-CEX, já que não encontramos estudos semelhantes relacionados à ortopedia. Nossos achados contribuem para o conhecimento neste assunto, com especial significado para nossa população-alvo. Realizamos um estudo longitudinal e prospectivo, sem viés de memória, o que deu maior credibilidade aos dados obtidos. Outro ponto forte do estudo é o instrumento de avaliação escolhido. O Mini-CEX foi concebido com base em situações reais (e assim é utilizado) para ser uma ferramenta abrangente, porém simplificada, de avaliação de habilidades clínicas; logo, é um instrumento diferenciador. O Mini-CEX também possibilita avaliações em diferentes cenários e com vários níveis de complexidade.[3]

Como não houve cálculo amostral prévio dos sujeitos a serem avaliados, a amostra final não probabilística foi considerada pequena, proveniente de apenas dois hospitais. Estatisticamente, os procedimentos não aleatórios de seleção podem não assegurar a representatividade; por isso, nossos achados não devem ser generalizados para uma população mais ampla. Apesar da necessidade de novos estudos sobre a validade e viabilidade do Mini-CEX em língua portuguesa, demonstramos que o instrumento testado possui alta confiabilidade e consistência interna.

Conclusão

Este estudo constatou que o desempenho dos residentes em ortopedia e traumatologia durante os exames clínicos melhorou de forma progressiva em todas as habilidades, independente do ano de residência. A pesquisa favorece o desenvolvimento de outros estudos para ampliar a compreensão do fenômeno estudado ou confirmar empiricamente os resultados obtidos.

Conflito de Interesses

Os autores declaram que não há conflitos de interesses.

Agradecimentos

Agradecemos a todos os residentes e docentes que participaram deste estudo e aceitaram ser observados durante as sessões de avaliação e preenchimento do questionário. Este estudo foi possível graças à sua generosidade em compartilhar suas crenças e opiniões sobre esta abordagem de avaliação.

Considerações Éticas

O trabalho foi aprovado pelo Comitê de Ética e Pesquisa, sob o número 1.326.398, em 09 de novembro de 2015, e registrado na Plataforma Brasil, protocolo CAAE número: 49761515.1.0000.5078. Todos os participantes incluídos no estudo concordaram em participar e assinaram o termo de consentimento livre e esclarecido.

Suporte Financeiro

Este trabalho não recebeu nenhuma bolsa específica de agências de financiamento dos setores público, comercial ou sem fins lucrativos. Este estudo não recebeu nenhum financiamento.

^* Trabalho desenvolvido no Hospital das Clínicas Universidade Federal de Goiás, GO, Brasil

^** O manuscrito foi usado para pré-impressão. Nenhum ajuste foi realizado. DOI: https://doi.org/10.21203/rs.2.9682/v1

• Referências

• 1 Pitts D, Rowley DI, Sher JL. Assessment of performance in orthopaedic training. J Bone Joint Surg Br 2005; 87 (09) 1187-1191
• 2 Fromme HB, Karani R, Downing SM. Direct observation in medical education: a review of the literature and evidence for validity. Mt Sinai J Med 2009; 76 (04) 365-371
• 3 Norcini JJ, Blank LL, Duffy FD, Fortna GS. The mini-CEX: a method for assessing clinical skills. Ann Intern Med 2003; 138 (06) 476-481
• 4 Alves de Lima A, Barrero C, Baratta S. et al. Validity, reliability, feasibility and satisfaction of the Mini-Clinical Evaluation Exercise (Mini-CEX) for cardiology residency training. Med Teach 2007; 29 (08) 785-790
• 5 Weller JM, Jolly B, Misur MP. et al. Mini-clinical evaluation exercise in anaesthesia training. Br J Anaesth 2009; 102 (05) 633-641
• 6 Abadie Y, Battolla J, Zubieta A. et al. Uso de descriptores durante la implementación de Mini-CEX en la residencia de pediatría. Medicina (B Aires) 2015; 75 (05) 289-296
• 7 Malhotra S, Hatala R, Courneya CA. Internal medicine residents' perceptions of the Mini-Clinical Evaluation Exercise. Med Teach 2008; 30 (04) 414-419
• 8 Paravicini I, Peterson CK. Introduction, development, and evaluation of the miniclinical evaluation exercise in postgraduate education of chiropractors. J Chiropr Educ 2015; 29 (01) 22-28
• 9 Kogan JR, Holmboe ES, Hauer KE. Tools for direct observation and assessment of clinical skills of medical trainees: a systematic review. JAMA 2009; 302 (12) 1316-1326
• 10 Goel A, Singh T. The usefulness of Mini Clinical Evaluation Exercise as a learning tool in different pediatric clinical settings. Int J Appl Basic Med Res 2015; 5 (Suppl. 01) S32-S34
• 11 Pinney SJ, Mehta S, Pratt DD. et al. Orthopaedic surgeons as educators. Applying the principles of adult education to teaching orthopaedic residents. J Bone Joint Surg Am 2007; 89 (06) 1385-1392
• 12 Ende J. What if Osler were one of us? Inpatient teaching today. J Gen Intern Med 1997; 12 (02, Suppl 2): S41-S48

Publication History

Received: 08 September 2021

Accepted: 20 January 2022

Article published online:
20 April 2022