Acessibilidade / Reportar erro

Avaliação dos resultados dos últimos 5 anos (2018-2022) da prova do Título de Especialista do Colégio Brasileiro de Cirurgiões

RESUMO

O artigo aborda a evolução da prova de título de especialista do Colégio Brasileiro de Cirurgiões (CBC), destacando a importância de avaliar não apenas o conhecimento teórico, mas também as habilidades práticas e o comportamento ético dos candidatos. A prova foi instituída em 1971, inicialmente com apenas a fase escrita, e posteriormente foi incluída a prova prática oral, a partir da 13ª edição em 1988. Em 2022, foi aprimorado o processo de avaliação, incluindo na prova prática o uso de estações simuladas, visando avaliar habilidades práticas e de comunicação, além do raciocínio clínico, buscando garantir a excelência da avaliação da formação dos cirurgiões. O objetivo deste estudo é demonstrar o desempenho dos candidatos nos últimos cinco anos da Prova de Título de Especialista e comparar os resultados dos desempenhos entre os diferentes grupos de formação cirúrgica dos candidatos. Foram analisados os resultados obtidos pelos candidatos das diversas categorias inscritas na prova nas edições de 2018 a 2022. Ficou evidente e estatisticamente significativa a diferença entre os médicos que fizeram três anos de residência reconhecida pelo MEC em relação aos demais categorias de candidatos ao Título de Especialista.

Palavras-chave:
Avaliação de Desempenho Profissional; Cirurgia Geral; Treinamento por Simulação; Sociedades Médicas

ABSTRACT

The article discusses the evolution of the Brazilian College of Surgeons (CBC) specialist title exam, highlighting the importance of evaluating not only theoretical knowledge, but also the practical skills and ethical behavior of candidates. The test was instituted in 1971, initially with only the written phase, and later included the oral practical test, starting with the 13th edition in 1988. In 2022, the assessment process was improved by including the use of simulated stations in the practical test, with the aim of assessing practical and communication skills, as well as clinical reasoning, in order to guarantee excellence in the assessment of surgeons training. The aim of this study is to demonstrate the performance of candidates in the last five years of the Specialist Title Test and to compare the performance results between the different surgical training groups of the candidates. The results obtained by candidates from the various categories enrolled in the test in the 2018 to 2022 editions were analyzed. There was a clear and statistically significant difference between doctors who had completed three years of residency recognized by the Ministry of Education in relation to the other categories of candidates for the Specialist Title..

Keywords:
Employee Performance Appraisal; General Surgery; Simulation Training

INTRODUÇÃO

O Colégio Brasileiro de Cirurgiões (CBC), fundado em 1929, passou a ter o concurso da prova de seu Título de Especialista a partir de 1971, tendo apenas a fase escrita com testes de múltipla escolha, validado a partir da RESOLUÇÃO Nº 804/1977 do CFM. A partir da sua 13ª edição, realizada em 1988, foi incluída a Prova Oral no processo de avaliação como uma segunda fase para os candidatos aprovados na prova escrita.

Os editais dos concursos têm sido regulamentados pela Associação Médica Brasileira (AMB) a partir de 1991, por meio de convênio entre CBC/AMB/CFM/CNRM. A Comissão do Título de Especialista (COTECIG) do CBC vem aprimorando seu processo de avaliação a cada ano. Na primeira fase (escrita) utiliza-se encomendas específicas de questões aos professores convidados, enquanto na segunda fase (oral), os casos clínicos utilizam-se de exames de imagens para interpretação de achados e situações intraoperatórias para a tomada de decisões diagnósticas e terapêuticas.

Mais um importante passo foi dado no processo de avaliação qualificada dos candidatos ao Título de Especialista do CBC na edição de 2022, com a inserção de prova prática com uso de estações simuladas na segunda fase, complementando a prova oral.

O objetivo da prova do Título de Especialista é utilizar métodos de avaliação que meçam, com precisão aceitável, as competências necessárias para uma prática segura e qualificada da Cirurgia Geral e identificar os candidatos aptos que deverão ser aprovados com desempenho satisfatório em competências bem delimitadas que, em conjunto, reúnem todas essas dimensões. Tais competências incluem conhecimento teórico, habilidades psicomotoras, comunicação interpessoal, ética profissional e raciocínio clínico aplicado a situações da prática médica (Epstein e Hundert, 20025 Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287(2):226-35. doi: 10.1001/jama.287.2.226.
https://doi.org/10.1001/jama.287.2.226...
), com foco na Cirurgia Geral.

A noção de educação baseada em competência foi associada à avaliação de objetivos comportamentais. Para os objetivos de aprendizagem que merecem ser avaliados, adotou-se o conceito de desempenho, ou seja, as ações efetivamente manifestas, nas quais o estudante deveria realizar dado desempenho, definindo o nível considerado aceitável (Gontijo et al., 20136 Gontijo ED, Alvim C, Megale L, Melo JRC. Essential competences for the training and evaluation of performance in undergraduate medical education. Rev. Bras. Educ. Med. 2013;37(4):526-39. doi: 10.1590/S0100-55022013000400008.
https://doi.org/10.1590/S0100-5502201300...
). A melhor forma de avaliar desempenho é definir a tarefa a ser realizada em dado contexto e verificar a capacidade do estudante de, naquela situação particular, mobilizar seus atributos de forma adequada para realizar a tarefa (Aguiar & Ribeiro, 20101 Aguiar AC, Ribeiro ECO. The concept and evaluation of skills and competence in medical education: current expert perspectives. Rev. Bras. Educ. Med. 2010;34(3):371-8. doi: 10.1590/S0100-55022010000300006.
https://doi.org/10.1590/S0100-5502201000...
). Dessa forma, a escolha dos métodos de avaliação exige clareza de objetivos, bem como o conhecimento de suas propriedades psicométricas para identificar quais devem ser usados em cada momento (Wass et al., 200712 Wass V, Bowden R, Jackson N. The principles of assessment design. In: Jackson N, Jamieson A, Khan A, editors. Assessment in medical education and training. Oxford: Radcliffe-Oxford; 2007. p. 11-26.).

A implementação do modelo baseado em competências (Epstein & Hundert, 20025 Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287(2):226-35. doi: 10.1001/jama.287.2.226.
https://doi.org/10.1001/jama.287.2.226...
) implica a realização de medidas por métodos de avaliação (Norcini et al., 20139 Norcini J, Lippner RJ, Grosso LI. Assessment in the context of licensure and certification. Teach Learn Med. 2013;25 Suppl 1:62-7. doi: 10.1080/10401334.2013.842909.
https://doi.org/10.1080/10401334.2013.84...
). Uma abordagem amplamente usada para facilitar tais medidas foi proposta por Miller, que agrupou competências semelhantes em domínios mais amplos. A Figura 1 mostra a versão atualizada da Pirâmide de Miller (Miller, 19908 Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 suppl):S63-S67. doi: 10.1097/00001888-199009000-00045.
https://doi.org/10.1097/00001888-1990090...
; Boursicot et al., 20113 Boursicot K, Etheridge L, Setna Z, Sturrock A, Ker J, Smee S, et al. Performance in assessment: consensus statement and recommendations from the Ottawa conference. Med Teach. 2011;33(5):370-83. doi: 10.3109/0142159X.2011.565831.
https://doi.org/10.3109/0142159X.2011.56...
e Cruess et al., 20164 Cruess RL, Cruess SR, Steinert Y. Amending Miller's Pyramid to Include Professional Identity Formation. Acad Med. 2016 Feb;91(2):180-5. doi: 10.1097/ACM.0000000000000913.
https://doi.org/10.1097/ACM.000000000000...
), com exemplos do que e quais as formas de avaliação devem ser utilizadas em cada nível.

Figura 1
Versão atualizada da Pirâmide de Miller (1990)8 Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 suppl):S63-S67. doi: 10.1097/00001888-199009000-00045.
https://doi.org/10.1097/00001888-1990090...
, com exemplos do que e quais as formas de avaliação devem ser utilizadas em cada nível. Adaptado de Cruess et al., 20164 Cruess RL, Cruess SR, Steinert Y. Amending Miller's Pyramid to Include Professional Identity Formation. Acad Med. 2016 Feb;91(2):180-5. doi: 10.1097/ACM.0000000000000913.
https://doi.org/10.1097/ACM.000000000000...
.

O “saber” e o “saber como” são domínios de competências cognitivas (Norcini et al., 20139 Norcini J, Lippner RJ, Grosso LI. Assessment in the context of licensure and certification. Teach Learn Med. 2013;25 Suppl 1:62-7. doi: 10.1080/10401334.2013.842909.
https://doi.org/10.1080/10401334.2013.84...
): o conhecimento teórico do profissional. Já os domínios seguintes reúnem as competências relacionadas à aplicação prática dos conhecimentos adquiridos. “Mostrar como” indica o que o profissional é capaz de fazer - suas habilidades clínicas (Boursicot et al., 20113 Boursicot K, Etheridge L, Setna Z, Sturrock A, Ker J, Smee S, et al. Performance in assessment: consensus statement and recommendations from the Ottawa conference. Med Teach. 2011;33(5):370-83. doi: 10.3109/0142159X.2011.565831.
https://doi.org/10.3109/0142159X.2011.56...
). Isso inclui competências psicomotoras (manobras do exame físico, procedimentos médicos etc.) e comportamentais (comunicar-se com pacientes e colegas, cumprir procedimentos de segurança do paciente etc.). Já o “fazer” descreve a performance real do médico: como ele realmente desempenha suas funções em meio às pressões de um ambiente dinâmico, com suas incertezas e subjetividades; seu comportamento ético diante de situações emocionalmente complexas e flexibilidade diante de demandas diversas (Bica & Kornis, 20202 Bica RBS, Kornis GEM. Medical licensing examinations - are they a good idea for medical education in Brazil? Interface (Botucatu). 2020;24:e180546 doi: 10.1590/Interface.180546.
https://doi.org/10.1590/Interface.180546...
).

Os domínios cognitivos são mais bem avaliados por testes escritos, enquanto as habilidades clínicas (competências psicomotoras e comportamentais) são idealmente avaliadas por métodos de simulação, como o Objective Structured Clinical Examination - OSCE (Bica & Kornis, 20202 Bica RBS, Kornis GEM. Medical licensing examinations - are they a good idea for medical education in Brazil? Interface (Botucatu). 2020;24:e180546 doi: 10.1590/Interface.180546.
https://doi.org/10.1590/Interface.180546...
). Como as competências são específicas, a proficiência em uma não prevê o desempenho nas demais (Van Der Vleuten et al., 201011 Van Der Vleuten C, Schuwirth L, Scheele F, Driessen E, Hodges B. The assessment of professional competence: building blocks for theory development. Best Pract Res Clin Obstet Gynaecol. 2010;24(6):703-19. doi: 10.1016/j.bpobgyn.2010.04.001.
https://doi.org/10.1016/j.bpobgyn.2010.0...
). Assim, somente uma combinação de métodos avalia a aptidão geral de um estudante, visto que nenhum método isolado é eficaz para os três domínios: competências cognitivas, psicomotoras e comportamentais.

Se a prova do Título de Especialista contar apenas com questões escritas, sua validade será ainda mais comprometida, por excluir todas as competências práticas da avaliação. Assim, é desprovida de sentido a definição de uma prova cognitiva (teórica) como uma avaliação de “conhecimentos, habilidades e atitudes”. Para se aproximarem desses objetivos, as avaliações deveriam, no mínimo, incluir cenários de simulação (como OSCEs) para avaliar as habilidades clínicas. É claro que esse desenho é mais caro e trabalhoso, exigindo insumos e recursos humanos abundantes, o que força a um estudo logístico sobre a exequibilidade das avaliações. No entanto, considerando a relevância dos objetivos colocados, esse maior investimento é essencial, pois não se pode avaliar amplamente a aptidão dos candidatos com recursos de qualidade técnica inferior.

Dessa forma, a COTECIG tem aprimorado a matriz de conteúdo da prova do Título de Especialista do CBC e pretende ampliar a formação de colaboradores para serem revisores e elaboradores de questões para as diversas provas. Assim, têm sido consideradas as propriedades psicométricas de cada tipo de prova descritas na Tabela 1.

Tabela 1
Propriedades psicométricas e suas definições utilizadas pela COTECIG.

Com a simulação clínica podem ser testadas múltiplas competências de forma simultânea: assistência aos pacientes, conhecimento médico, habilidades psicomotoras para procedimentos, profissionalismo e habilidades interpessoais, entre outras, permitindo, tanto o desenvolvimento e avaliação de competências individuais em situações semelhantes que ocorrem no dia a dia quanto a colaboração efetiva em equipe e construção de uma cultura orientada para a segurança (Pereira Jr, 20217 Pereira Júnior GA. Avaliação na educação em saúde com uso da simulação. Capítulo 12, in Pereira Junior GA, Guedes HTV. Simulação em saúde para ensino e avaliação: conceitos e práticas. Editora Cubo, São Carlos/SP, 2021. doi: 10.4322/978-65-86819-11-3.
https://doi.org/10.4322/978-65-86819-11-...
).

O objetivo deste estudo é demonstrar o desempenho dos candidatos nos últimos cinco anos da Prova de Título de Especialista e comparar os resultados dos desempenhos entre os diferentes grupos de formação cirúrgica dos candidatos.

MÉTODOS

Nas edições de 2018 a 2022 da prova do Título de Especialista do CBC, foram realizadas duas fases: a 1ª fase com 100 questões de múltipla escolha e a 2ª fase com prova oral (2018 a 2021) e prova oral e simulada na edição de 2022. Todas as questões e casos clínicos utilizados foram elaborados com base na prática clínica, visando problemas que exigem a aplicação de princípios ou soluções que requeiram processo mental complexo em Cirurgia Geral.

De acordo com os editais do CBC, os candidatos poderiam se inscrever em cinco categorias:

  • A - Ter completado os 3 anos de Residência Médica em Cirurgia Geral reconhecida pela CNRM/MEC.

  • B - Ter completado a Residência Médica em Área Cirúrgica Básica (2 anos) reconhecida pela CNRM/MEC, acrescido de comprovação de exercício na especialidade de Cirurgia Geral, através de declaração assinada pelo Diretor do Hospital e/ou Chefe do Serviço de Cirurgia, no período compreendido entre 2018 e 2022.

  • C - Ter o certificado de conclusão do Treinamento de 2 (dois) anos em Cirurgia Geral emitido pelo CBC (Programa de Treinamento em Cirurgia Geral do CBC) acrescido de comprovação de 2 (dois) anos de exercício na especialidade de Cirurgia Geral, através de declaração assinada pelo Diretor do Hospital e/ou Chefe do Serviço de Cirurgia.

  • D - Ter o certificado de conclusão do Treinamento de 3 (três) anos em Cirurgia Geral emitido pelo CBC (Programa de Treinamento em Cirurgia Geral do CBC).

  • E - Estar registrado no Conselho Regional de Medicina há pelo menos 6 anos e comprovação de 6 (seis) anos de atuação como cirurgião geral no Brasil, através de declaração assinada pelo Diretor do Hospital e/ou Chefe do Serviço de Cirurgia. A comprovação pode ser feita através de documentos emitidos por vários Serviços e Hospitais que, somados, alcancem o mínimo de 6 (seis) anos necessários.

Na prova da 1ª fase, o foco da avaliação foi o conhecimento cognitivo por meio de perguntas que abrangem todas as áreas de amplo domínio do conhecimento das diversas áreas que compõem a matriz de conteúdos da Cirurgia Geral. As questões foram elaboradas e selecionadas pelos membros da COTECIG e colaboradores convidados.

A prova foi aplicada por meio de empresa especializada a todos os candidatos ao mesmo tempo, na mesma hora e com as mesmas regras. Nas edições de 2018 e 2019, a prova escrita da 1ª fase foi presencial, aplicada nas cidades de Belém, Belo Horizonte, Brasília, Cuiabá, Curitiba, Fortaleza, João Pessoa, Maceió, Manaus, Palmas, Porto Alegre, Recife, Rio de Janeiro, Salvador, São Luís, São Paulo, Teresina e Vitória, constando de 100 questões de múltipla escolha, compostas de 4 alternativas, sendo 1 única correta, sobre os tópicos constantes do conteúdo programático deste Edital. A duração foi de 3 horas, sem prorrogação. Nas edições de 2020 a 2022, a prova foi realizada de forma remota pela mesma empresa aplicadora. As correções das provas e as análises dos dados foram realizadas por uma empresa especializada, a fim de garantir o sigilo do processo. Foi considerado aprovado na Prova Escrita o candidato que obtivesse um índice de pelo menos 70% de acertos em relação à maior nota aferida e que sua nota absoluta na prova tivesse pelo menos 50% de acertos, habilitando-se, portanto, à Prova Prática Oral.

Na prova oral da 2ª fase, cada candidato foi submetido, individualmente, perante a três bancas com dois ou mais avaliadores presenciais discutindo diferentes casos clínicos padronizados com duração total de 90 minutos (30 minutos em cada banca), que preencheram um instrumento padronizado de avaliação, cuja média de aprovação deveria ser igual ou superior a 70%.

Sobre a aplicação da prova com estações simuladas, que complementou a prova prática oral na edição de 2022, os candidatos foram informados por e-mail que essa prova teria 4 estações, sendo avisados que cada estação teria diferentes tarefas para averiguação das competências que necessitam ser demonstradas para obterem o Título de Especialista do CBC, com duração de tempo variável (10 a 20 minutos), de acordo com os objetivos de avaliação.

A primeira estação simulada foi sobre técnica cirúrgica, a segunda sobre o atendimento a um caso clínico cirúrgico com paciente simulado e a terceira sobre videocirurgia. A quarta estação simulada seria online e foi disponibilizada a plataforma digital para que todos conhecessem previamente o modelo das duas estações simuladas online para saberem como funciona e como se comportar durante este tipo de avaliação.

Durante o cadastro na plataforma digital, tanto os candidatos quanto os avaliadores assinaram o Termo de Consentimento Livre e Esclarecido (TCLE) acerca do uso dos dados dos checklists informatizados da prova prática (oral e simulada) para pesquisa aprovada pelo Comitê de Ética com o CAAE: 60907122.0.0000.5515 e parecer no 5.638.400.

Logo antes da realização da prova simulada, já com os candidatos identificados e sem acesso ao telefone celular, foi feita uma apresentação (pré-briefing) sobre o comportamento necessário durante as estações simuladas (Figura 2), explicando que todas as informações necessárias estavam disponíveis: instruções do cenário simulado, definição da(s) tarefa(s), tempo de execução de cada estação, avaliador interno com checklist informatizado e paciente simulado (na estação de atendimento ao caso clínico). Foi reforçado que numa prova prática simulada, somente é possível avaliar o que é verbalizado e/ou demonstrado pelo candidato.

Figura 2
Apresentação (pré-briefing) sobre o comportamento necessário e a explicação sobre as quatro estações simuladas.

Também foram mostrados quais seriam os temas das quatro estações simuladas:

  • ESTAÇÃO 1 - Técnica cirúrgica manual - realização de anastomose intestinal látero-lateral (duração de 10 minutos) - Figura 3A.

  • ESTAÇÃO 2 - Caso simulado presencial de obstrução intestinal devido a tumor da transição retossigmóide, com paciente simulado (duração de 10 minutos) - Figura 3B.

  • ESTAÇÃO 3 - Técnica de videocirurgia - realização de quatro exercícios em caixa preta (duração de 10 minutos) - Figura 3C.

  • ESTAÇÃO 4 - Caso simulado online de atendimento ao paciente traumatizado grave com vídeo previamente gravado com enfermeiro simulado que ajudou o(a) candidato(a) médico(a) (duração de 20 minutos) - Figura 3D.

Figura 3.

Nas três primeiras estações simuladas, os avaliadores estavam presenciais e na quarta estação foram convidados 60 avaliadores online (membros do CBC com título de especialista) de todo o país.

Todos os checklists utilizados na prova prática oral e simulada foram informatizados, o que permitiu um aprofundamento na análise e cruzamento das informações. Os dados foram analisados considerando-se o desempenho médio dos candidatos, agrupados de acordo com o tipo de prova da 1ª ou 2ª fase. Os resultados dos desempenhos dos candidatos nas provas escritas da 1ª fase de todas as edições do estudo (2018 a 2022) foram em conjunto. Os resultados dos desempenhos da prova prática (oral e simulada) da 2ª fase foram analisados somente na edição 2022.

Análises estatísticas

Para as análises, foram excluídos candidatos ausentes de pelo menos uma das fases do concurso. A distribuição dos dados foi analisada pelo teste de Shapiro-Wilk. A comparação de dados contínuos foi feita com utilizando-se o teste ANOVA de uma via seguida do teste de Bonferroni. Para dados de distribuição não paramétrica, foi utilizado o teste de Kruskal-Wallis seguido do teste de Dunn. Diferenças entre proporções foram analisadas com teste de qui-quadrado ou teste exato de Fisher. Foi utilizado alfa igual a 5% para considerar diferenças estatisticamente significativas. As análises foram realizadas com os softwares SPSS (Statistical Package for the Social Sciences) versão 21.0 (IBM Corp., Armonk, NY, EUA) e GraphPad Prism versão 9.5.0 (GraphPad Software, San Diego, CA, EUA).

RESULTADOS

O número de candidatos inscritos nos editais do concurso de Título de Especialista do CBC de 2018 a 2022 foram, respectivamente 147, 135, 155, 127 e 215, totalizando 779 candidatos. Cinquenta candidatos foram excluídos das análises por ausência em, pelo menos, uma das fases do concurso. Assim, foram considerados 729 candidatos.

Os resultados dos desempenhos dos candidatos, inscritos nas categorias A a E do edital, nas provas escritas da 1ª fase de todas as edições do estudo (2018 a 2022) foram em conjunto, de acordo com a categoria da inscrição estão mostradas na Tabela 2.

Tabela 2
Distribuição dos candidatos por categoria de inscrição*, média de notas, desvio-padrão e notas mínima e máxima na 1ª fase (prova escrita) dentro da nota de zero a dez, das edições 2018 a 2022 da Prova de Título de Especialista do CBC.

Na Tabela 3 estão mostrados os resultados de reprovação na 1ª e 2ª fase, bem como o resultado de aprovação na Prova do Título de Especialista do CBC, de acordo com a categoria de inscrição dos candidatos. Comparando os resultados dos candidatos por categoria de inscrição, principalmente a categoria A (3 anos de residência MEC) com a categoria D (3 anos de treinamento CBC), vemos que os residentes MEC (categoria A) são aprovados mais de 3 vezes mais (73,8% x 23,8%). Quanto à reprovação, 57,1% dos treinandos de 3 anos do CBC ocorre na 1ª fase (prova escrita) e 19% na 2ª fase (prova prática). No caso do R3 MEC, a reprovação na 1ª fase é de 12,3% e na 2ª fase é de 13,9%. Todas essas diferenças de dados foram estatisticamente significativas.

Tabela 3
Resultados de aprovação/reprovação dos candidatos, de acordo com a categoria de inscrição* no edital 2018 a 2022.

A Figura 4 demonstra os resultados apresentados na Tabela 3. Embora não tenhamos mais os Programas de Área Básica de 2 anos para residentes MEC e de 2 anos para treinandos CBC, podemos observar que o desempenho dos R2 MEC foi superior aos treinandos de 3 anos do CBC (aprovação de 43,8% x 23,8%), com menos da metade da reprovação na 1ª fase (27% x 57,1%) e maior reprovação na 2ª fase (29,2% x 19%).

Figura 4
Resultado de aprovação/reprovação dos candidatos, de acordo com a categoria de inscrição* no edital 2018 a 2022. *Categorias: A (3 anos de residência MEC), B (2 anos de residência MEC - Pré-requisito), C (2 anos de Treinamento CBC), D (3 anos de Treinamento CBC) e E (6 anos de prática cirúrgica documentada, sem residência médica ou treinamento CBC). Análise de qui-quadrado com todos os grupos é significativa para haver diferença estatística (p<0,001).

Outra observação é que o desempenho dos candidatos com 2 e 3 anos de treinamento CBC foi bastante semelhante (aprovação: 25,6% x 23,8%; reprovação na 1ª fase: 53,7% x 57,1% e reprovação na 2ª fase: 20,7% e 19%). Embora a diferença não seja estatisticamente significativa, os candidatos da categoria E tiveram melhor desempenho que os treinandos CBC de 2 e 3 anos, mesmo sem um treinamento formal, como deve ser para a Residência MEC e o Treinamento CBC.

Para finalizar a segunda fase da prova prática do Título de Especialista em Cirurgia Geral do Colégio Brasileiro de Cirurgiões (CBC) da edição de 2022, no dia 26/03/2023 (domingo), os 131 candidatos aprovados na primeira fase e presentes realizaram a prova oral num hotel e a prova simulada nas dependências do prédio do CBC, divididos em grupos que rodiziaram as provas nos dois locais, com atividades das 8:30 às 19 horas.

Na Figura 5 mostra os candidatos reprovados na 2ª fase do edital 2022, com a inserção das estações simuladas associadas à prova oral, divididos por categoria de inscrição. Nota-se que o mau desempenho nas estações simuladas foi responsável pela grande maioria das reprovações, tanto de forma isolada quanto associadas ao mau desempenho também na prova prática oral.

Figura 5
Resultado da reprovação dos candidatos na 2ª fase do edital 2022, de acordo com a categoria de inscrição* e o tipo de prova prática. *Categorias: A (3 anos de residência MEC), B (2 anos de residência MEC - Pré-requisito), C (2 anos de Treinamento CBC), D (3 anos de Treinamento CBC) e E (6 anos de prática cirúrgica documentada, sem residência médica ou treinamento CBC).

DISCUSSÃO

As primeiras observações acerca dos resultados dizem respeito ao número de candidatos que anualmente se inscrevem para a prova de obtenção do Título de Especialista do CBC, pois sabe-se que existem 454 programas de residência médica aprovados pela Comissão Nacional de Residência Médica (CNRM), que têm 1598 vagas totais (574 vagas de R1) de residência médica (Scheffer et al., 2023). Por decisão da CNRM, o Programa Pré-Requisito de Área Cirurgia Básica (PPRACB), criado em 2019, deixou de existir e de ser oferecido a partir de 2022, porém tivemos 1074 residentes de 1º ano neste programa em 2021 (Scheffer et al., 2023), que nos três anos de oferta deste programa teve 3 entradas de R1 e 3 saídas de R2, totalizando 3222 médicos. Além destes potenciais candidatos, também há os egressos dos 54 Centros de Treinamento credenciados pelo CBC (18 em São Paulo, 17 em Minas Gerais, 7 no Rio de Janeiro e no Paraná, 3 na Bahia, 1 no Espírito Santo e 1 em Santa Catarina). O total de médicos que se formam anualmente no Treinamento CBC é de 150.

Desta forma, há muitos potenciais candidatos a terem o Título de Especialista do CBC que não estão se inscrevendo nos editais anuais dos concursos. Há uma grande quantidade de cirurgiões aptos a prestar o Título de Especialista, além de egressos que terminam anualmente seus treinamentos e podem realizar a prova para titulação.

Outra observação acerca dos candidatos da prova do Título de Especialista do CBC é o grande número de inscritos na categoria E, que são médicos que estão registrados nos Conselhos Regionais de Medicina há, pelo menos 6 anos, e com comprovação de 6 (seis) anos de atuação como cirurgião geral no Brasil, por meio de declaração assinada pelo Diretor do Hospital e/ou Chefe do Serviço de Cirurgia. A comprovação pode ser feita através de documentos emitidos por vários Serviços e Hospitais que, somados, alcancem o mínimo de 6 (seis) anos necessários. Essa categoria, que representou 36,8% dos candidatos nos últimos 5 anos, embora sejam desprovidos de outros títulos e, portanto, necessitam mais do título concedido pelo CBC, precisa ser rediscutida no momento atual de formação profissional cada vez mais especializada que se faz necessária. Novas discussões com o CFM e a AMB deverão ser realizadas para alinharmos a certificação dos colegas sem capacitação formal e as necessidades da saúde pública e suplementar.

A introdução da prova prática com estações simuladas serviu para ampliar o foco da avaliação presencial para habilidades psicomotoras (anastomose manual e exercícios de videocirurgia) e habilidades de comunicação, raciocínio clínico, interpretação de exames complementares e tomada de decisões diagnósticas e terapêuticas, tanto na estação simulada presencial com paciente simulado (caso clínico de obstrução intestinal por tumor da transição retossigmóide) quanto na estação simulada online de atendimento a um paciente traumatizado grave que o enfermeiro simulado tirava dúvidas e perguntava a conduta a ser tomada em cada fase da avaliação primária e secundária.

Com a informatização de todos os checklists utilizados na prova prática oral e simulada houve um aprofundamento da análise e cruzamento das informações. Dessa forma, pela primeira vez foi possível que a COTECIG fizesse a comparação dos resultados entre as categorias de candidatos.

Nos resultados apresentados, destacam-se os desempenhos comparados:

  • 1) da categoria A (3 anos de residência MEC) com a categoria D (3 anos de treinamento CBC) com aprovação mais de 3 vezes maior (73,8% x 23,8%),

  • 2) dos extintos Programas de Área Básica de 2 anos para residentes MEC, cujo desempenho dos R2 MEC foi superior aos treinandos de 3 anos do CBC,

  • 3) o desempenho semelhante dos candidatos com 2 e 3 anos de treinamento CBC e

  • 4) o melhor desempenho dos candidatos da categoria E em relação os treinandos CBC de 2 e 3 anos.

Destas análises acima, podemos inferir que:

  • o aproveitamento dos treinandos CBC está muito aquém dos residentes MEC,

  • o terceiro ano de residência médica conferiu maior desempenho na aprovação dos residentes MEC com apenas 2 anos, tanto na 1ª quanto 2ª fase, sendo mais que o dobro em ambas as fases,

  • o terceiro ano de treinamento CBC praticamente não trouxe ganho algum em relação aos candidatos que tinham 2 anos, nas duas fases da prova e com desempenho menor do que os candidatos da categoria E.

Como vimos, a amostra de egressos de programas de residência MEC e treinandos CBC é muito pequena e, dessa forma, não podemos ter maiores inferências acerca dos resultados, porém os resultados descritos acima são claros e mantidos a cada ano no período de 5 anos de aplicação das 2 fases do Título de Especialista.

Mesmo com o desempenho bastante superior dos candidatos com 3 anos de residência MEC (73,8%), a COTECIG considera que tal percentual deveria ser muito maior, caso esses programas de residência médica tivessem grande volume de pacientes atendidos e operados, com muitas oportunidades assistenciais e de procedimentos cirúrgicos para os médicos residentes, com preceptores capacitados, tanto do ponto de vista técnico quanto pedagógico, tendo programas de atualização profissional com avaliações periódicas, como preconiza a Resolução nº 2, de 17 de maio de 2006 da CNRM, que regulamenta e esclarece os procedimentos de avaliação de médicos residentes em atividade nos programas de residência médica autorizados e ofertados por Instituições credenciadas ao MEC.

Com as análises acima, temos considerações acerca dos possíveis impactos educacionais que esses resultados da prova do Título de Especialista podem trazer para os Programas de Residência Médica e Treinamento CBC, ainda mais neste momento que a CNRM publicou a Resolução nº4, de 1º de novembro de 2023, que traz diversos aprimoramentos na avaliação dos médicos residentes em relação à Resolução anterior (2006), abrindo espaço para a colaboração das Sociedades de Especialidades.

Assim, diante desses resultados, o CBC deveria elaborar um plano de ação, em conjunto com os Programas de Residência Médica/MEC e Centros de Treinamento CBC em Cirurgia Geral. Seria importante que essas parcerias pudessem traçar objetivos educacionais para atingir os marcos de competências necessários a cada momento da formação e, mais especificamente, a cada ano da residência médica em Cirurgia Geral por meio de programas anuais de atualização voltados a cada um dos três anos de residência médica e avaliados seguindo os preceitos da nova resolução da CNRM (2023).

Outra atuação importante que poderia ser realizada pelo CBC é a capacitação dos preceptores de residência médica em Cirurgia Geral. Há diversos desses cursos de capacitação de preceptores em iniciativas diversas, porém nenhum específico ao preceptor de Cirurgia..

CONCLUSÃO

Garantir à população das diversas regiões do país uma prática médico-cirúrgica segura e qualificada é uma demanda que não pode mais ser ignorada pelo Colégio Brasileiro de Cirurgiões ou qualquer outra Sociedade de Especialidade Médica.

A COTECIG tem procurado aprimorar suas técnicas de elaboração e revisão de itens, a seleção de casos clínicos para a prova oral, bem como as estações simuladas, progressivamente melhorando a capacitação dos avaliadores presenciais e online. Dessa forma, o compromisso com a excelência e a constante busca por aprimoramento são fundamentais para garantir que a obtenção do Título de Especialista pelo Colégio Brasileiro de Cirurgiões seja reconhecida como um indicativo de proficiência e competência na área cirúrgica.

Ficou evidente e estatisticamente significativa a diferença entre os médicos que fizeram três anos de residência reconhecida pelo MEC em relação aos demais categorias de candidatos ao Título de Especialista.

Há muitas possibilidades de ações a serem desempenhadas pelo CBC em parceria com os Programas de residência médica e, principalmente com os Centros de Treinamento chancelados para que a haja uma melhor qualidade da formação dos cirurgiões brasileiros.

REFERENCES

  • 1
    Aguiar AC, Ribeiro ECO. The concept and evaluation of skills and competence in medical education: current expert perspectives. Rev. Bras. Educ. Med. 2010;34(3):371-8. doi: 10.1590/S0100-55022010000300006.
    » https://doi.org/10.1590/S0100-55022010000300006
  • 2
    Bica RBS, Kornis GEM. Medical licensing examinations - are they a good idea for medical education in Brazil? Interface (Botucatu). 2020;24:e180546 doi: 10.1590/Interface.180546.
    » https://doi.org/10.1590/Interface.180546
  • 3
    Boursicot K, Etheridge L, Setna Z, Sturrock A, Ker J, Smee S, et al. Performance in assessment: consensus statement and recommendations from the Ottawa conference. Med Teach. 2011;33(5):370-83. doi: 10.3109/0142159X.2011.565831.
    » https://doi.org/10.3109/0142159X.2011.565831
  • 4
    Cruess RL, Cruess SR, Steinert Y. Amending Miller's Pyramid to Include Professional Identity Formation. Acad Med. 2016 Feb;91(2):180-5. doi: 10.1097/ACM.0000000000000913.
    » https://doi.org/10.1097/ACM.0000000000000913
  • 5
    Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287(2):226-35. doi: 10.1001/jama.287.2.226.
    » https://doi.org/10.1001/jama.287.2.226
  • 6
    Gontijo ED, Alvim C, Megale L, Melo JRC. Essential competences for the training and evaluation of performance in undergraduate medical education. Rev. Bras. Educ. Med. 2013;37(4):526-39. doi: 10.1590/S0100-55022013000400008.
    » https://doi.org/10.1590/S0100-55022013000400008
  • 7
    Pereira Júnior GA. Avaliação na educação em saúde com uso da simulação. Capítulo 12, in Pereira Junior GA, Guedes HTV. Simulação em saúde para ensino e avaliação: conceitos e práticas. Editora Cubo, São Carlos/SP, 2021. doi: 10.4322/978-65-86819-11-3.
    » https://doi.org/10.4322/978-65-86819-11-3
  • 8
    Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 suppl):S63-S67. doi: 10.1097/00001888-199009000-00045.
    » https://doi.org/10.1097/00001888-199009000-00045
  • 9
    Norcini J, Lippner RJ, Grosso LI. Assessment in the context of licensure and certification. Teach Learn Med. 2013;25 Suppl 1:62-7. doi: 10.1080/10401334.2013.842909.
    » https://doi.org/10.1080/10401334.2013.842909
  • 10
    Shumway JM, Harden RM. AMME Guide No. 25: the assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003;25(6):569-84. doi: 10.1080/0142159032000151907.
    » https://doi.org/10.1080/0142159032000151907
  • 11
    Van Der Vleuten C, Schuwirth L, Scheele F, Driessen E, Hodges B. The assessment of professional competence: building blocks for theory development. Best Pract Res Clin Obstet Gynaecol. 2010;24(6):703-19. doi: 10.1016/j.bpobgyn.2010.04.001.
    » https://doi.org/10.1016/j.bpobgyn.2010.04.001
  • 12
    Wass V, Bowden R, Jackson N. The principles of assessment design. In: Jackson N, Jamieson A, Khan A, editors. Assessment in medical education and training. Oxford: Radcliffe-Oxford; 2007. p. 11-26.
  • Fonte de financiamento:

    nenhuma.

Datas de Publicação

  • Publicação nesta coleção
    13 Maio 2024
  • Data do Fascículo
    2024

Histórico

  • Recebido
    18 Mar 2024
  • Aceito
    01 Abr 2024
Colégio Brasileiro de Cirurgiões Rua Visconde de Silva, 52 - 3º andar, 22271- 090 Rio de Janeiro - RJ, Tel.: +55 21 2138-0659, Fax: (55 21) 2286-2595 - Rio de Janeiro - RJ - Brazil
E-mail: revista@cbc.org.br