Análise de dados da Comissão Nacional de Residência Médica
Aplicação de analytics em saúde pública para organizar, validar e explorar registros nacionais de certificados de residência médica no Brasil.
Contexto
A residência médica é uma das principais bases da formação de especialistas no Brasil. Entretanto, os dados públicos sobre certificados, programas, instituições, especialidades e distribuição territorial precisam ser tratados e organizados antes de apoiar análises úteis para planejamento educacional, regulação e força de trabalho em saúde.
Problema enfrentado
A base original exigia padronização de nomes, datas, programas, instituições, UF, especialidades, pré-requisitos e regras de validação. Também havia limitações relacionadas a registros inválidos, homônimos de médicos e mudanças na nomenclatura institucional e dos programas.
Objetivo do projeto
Construir uma aplicação interativa para explorar registros de certificados de residência médica da CNRM, permitindo análises por tempo, território, programa, instituição, tipo de formação, sexo inferido, especialidade e ciclo de formação.
Situação
Os dados públicos de certificados de residência médica estavam disponíveis, mas exigiam padronização, validação e organização para apoiar análises sobre formação médica, distribuição territorial e força de trabalho especializada.
Tarefa
Construir uma aplicação analítica para explorar registros da CNRM, permitindo filtrar, validar e visualizar certificados, programas, instituições, UFs, regiões, especialidades e ciclos de formação.
Ação
Estruturei um pipeline de extração, padronização de colunas, normalização de datas, tratamento de campos textuais, criação de identificadores hash, enriquecimento por região e validação de registros segundo regras de consistência.
Resultado
A aplicação consolidou mais de 333 mil certificados válidos, identificou mais de 135 mil médicos e disponibilizou painéis interativos para análise nacional da residência médica no Brasil.
Métricas principais
Escopo da base
O escopo incluiu registros de certificados de residência médica da Comissão Nacional de Residência Médica, com foco em certificados válidos e inválidos, programas, instituições, médicos, UFs, regiões, duração da formação, ano de início, ano de término e ano de emissão do certificado.
Pipeline metodológico
O pipeline seguiu as seguintes etapas: - Aquisição de dados públicos por UF. - Empilhamento dos arquivos estaduais. - Renomeação e padronização de colunas. - Normalização das datas de início da residência, término da residência e emissão do certificado. - Padronização dos campos textuais, como programa, instituição e UF. - Criação de identificadores únicos hash para nome do médico, CRM e certificado. - Geração de colunas derivadas, como ano de início e ano de término. - Enriquecimento com campo de região a partir da UF. - Padronização de especialidades segundo resolução do CFM. - Padronização da duração da formação, pré-requisitos e área de atuação. - Criação de campo de validação para separar registros válidos e inválidos.
Regras de validação
Foram criadas regras para identificar registros inválidos, incluindo: - Linhas sem data de início ou data de término. - Linhas sem programa, instituição ou nome do médico. - Especialidades ou áreas de atuação não identificadas segundo a resolução do CFM. - Datas de término incompatíveis com o tempo padrão de duração da formação. - Registros sem critérios de pré-requisito quando aplicável. - Linhas inválidas descartadas das análises principais.
Funcionalidades da aplicação
A aplicação permite filtrar e explorar os dados por: - Programa - Instituição - Região - UF - Sexo inferido do médico - Tipo de formação - Especialidade básica - Entrada direta - Duração da formação - Ano de emissão do certificado - Ano de início da formação - Ano de término da formação
Visualizações e análises
O painel inclui visualizações como: - Série temporal de certificados emitidos por ano. - Pareto de certificados por região. - Pareto de certificados por UF. - Ranking de programas com mais certificados. - Ranking de instituições com mais certificados. - Distribuição por sexo inferido. - Entradas e saídas por ano de residência. - Matriz por ciclo de formação e ano. - Indicadores de certificados válidos, inválidos, programas, regiões, UFs e médicos formados.
Tecnologias utilizadas
- Python - BigQuery - Streamlit - Pandas - Plotly - ETL - Dashboard interativo - Tratamento e validação de dados públicos
Limitações conhecidas
- Existência de registros com dados inválidos. - Homônimos de nomes de médicos. - Mudanças de nomenclatura institucional e de programas. - Necessidade de validação contínua quando houver atualização das bases públicas. - Inferência de sexo biológico feita por nome, sujeita a erro e usada apenas para análise agregada.
Links úteis
- Fonte oficial: Portal CNRM - Referência oficial: Resolução CFM - Tabela no BigQuery: escolap2p.base_siscnrm.residentes_applications - Aplicação interativa: abrir análise
Entregáveis
- Aplicação interativa de analytics. - Pipeline de tratamento e padronização de dados. - Tabela analítica no BigQuery. - Regras de validação de certificados. - Indicadores nacionais sobre residência médica. - Visualizações temporais, territoriais e institucionais. - Filtros por programa, instituição, UF, região, sexo, tipo de formação e período. - Documentação metodológica dentro do app.
Aprendizados
- Dados públicos de saúde podem exigir alto esforço de padronização antes de gerar análises confiáveis. - A qualidade da análise depende tanto da visualização quanto das regras de validação. - Hashes e padronização são úteis para proteger identificadores e permitir contagens consistentes. - Bases educacionais e regulatórias precisam de enriquecimento semântico para apoiar decisões. - Dashboards de saúde pública devem deixar explícitos escopo, limitações e critérios metodológicos.