A Comissão de Autoavaliação do período de 2021-2024 foi composta por 02 técnicos, 03 docentes, 02 discente e 01 profissional do setor (Policial Militar), sendo responsável pela apresentação dos principais dados e das recomendações tanto para o desempenho docente/discente como para a atualização do Planejamento Estratégico do Programa. Ademais, esteve à frente da organização dos seminários ampliados de autoavaliação que ocorreram.
A Comissão seguiu as orientações contidas no relatório “Grupo de Trabalho: Autoavaliação de Programas de Pós-Graduação”, que compreende autoavaliação como “um processo – preferencialmente negociado – de construção e uso de parâmetros para comparar um determinado objetivo/meta e seu atingimento” para figurar como pré-requisito de ações que venham a provocar mudanças. De acordo com tal documento, a autoavaliação deve ser gerida pela comunidade acadêmica, abandonando-se a ideia de uma mera “prestação de contas”, e servir para um acompanhamento sistemático e articulado ao planejamento estratégico.
Não obstante, leva-se em consideração que avaliamos um curso de natureza profissional, cujo desafio formativo e científico é não estar restrito nem aos domínios da carreira universitária e nem a um conceito de “qualificação profissional”. Ou seja, o que se quer é introduzir na academia e no mercado de trabalho um pesquisador prático, capaz de articular teoria e realidade para solucionar problemas complexos em sua área de atuação, desenvolvendo produtos, metodologias e inovações que impactem diretamente os contextos de sua carreira e instituição. A autoavaliação do PPGSP visa então a captar tais nuances, verificando junto aos discentes e egressos se este perfil está sendo alcançado, se o curso tem criado condições formativas e científicas de impactar positivamente as instituições e a sociedade, e saber dos docentes quais são os impasses, dificuldades, potencialidade e perspectivas relacionadas à formação e à produção científica no âmbito do Programa.
Desde as primeiras turmas, e antes mesmo de a CAPES demandá-la de forma sistemática, a autoavaliação sempre fez parte da cultura organizacional do PPGSP, inclusive com a sua incorporação em componentes curriculares regulares e em seminários próprios. Parte-se da convicção de que munidos de dados produzidos em série histórica é possível fornecer elementos objetivos para a “alimentação” de processos de planejamento, ajuste de práticas pedagógicas, melhoria do desenvolvimento institucional e controle de eventos que signifiquem riscos e ameaças ao cumprimento das metas e missão.
A efetividade dos mecanismos de autoavaliação pode ser evidenciada por: (i) publicação do artigo “Competências e Impactos do Mestrado Profissional: o caso do PPGSP/UFBA”, baseado em dados das autoavaliações de 2015 a 2020 e apresentado no Fórum Brasileiro de Segurança Pública -; (ii) incorporação de avaliadores externos em cada ciclo quadrienal; (iii) estímulo à participação de discentes, profissionais do setor e docentes no aprimoramento contínuo do Programa; (iv) institucionalização dos supervisores de turma como condutores nas autoavaliações pedagógicas; e (v) implementação, desde 2024, de um conjunto de mudanças estruturantes no âmbito do PPGSP.
Na autoavaliação mais recente, garantiram-se dados sobre os egressos em quase 50% dessa população. A metodologia de autoavaliação do PPGSP passou a adotar de forma mais sistemática uma abordagem de caráter complementar em quatro modalidades: i. avaliação externa (ad hoc); ii. autoavaliação estratégica com dados oriundos de docentes e discentes; iii. autoavaliação pedagógica semestral por turma; iv. avaliação de egressos.
Na avaliação externa ad hoc, busca-se refletir criticamente sobre os pareceres da CAPES e observar os critérios indicados na ficha de avaliação de área para uma atualização do Planejamento Estratégico e a definição de estratégias de superação de problemas e fraquezas identificados. Por sua vez, as autoavaliações estratégicas anuais fundamentam-se em indicadores de monitoramento de ações dos eixos de formação, gestão, pesquisa e extensão. Procedemos com a coleta de dados de docentes e discentes envolvidos com disciplinas e orientações nos últimos 04 anos. De tal modo, entre 2021 e 2024 questionários foram disponibilizados via google forms - sem a identificação individual dos respondentes para evitar constrangimentos e respostas socialmente desejáveis e garantir maior fidedignidade das informações geradas. Obteve-se uma amostra total de 68 discentes, dentre os 132 matriculados (considerando o maior número de matrículas no período – ano 2021), e de 26 docentes permanentes, dentre os 30 cadastrados. Para a análise de ambas as amostras, utiliza-se uma agregação de extremos, por um lado os valores positivos (“concordo totalmente” e “concordo”) e, por outro, os valores negativos (“discordo totalmente” e “discordo”).
Achados da amostra “discente”, derivados da aplicação de um instrumento composto por 14 quesitos redigidos em formato de assertiva com a possibilidade de alternativas de respostas conforme escala likert (05 pontos):
i. Quesito “o corpo técnico é suficientemente qualificado para suporte/apoio aos discentes”, favorável/adequado (64), indiferente (01), desfavorável/inadequado (03);
ii. Quesito “a infraestrutura disponível adequada aos objetivos e exigências do PG”, favorável/adequado (61), indiferentes (06), desfavorável/inadequado (01);
iii. Quesito “as atividades científicas desenvolvidas são transparentes e adequadamente divulgadas”, favorável/adequado (60), indiferentes (04), desfavorável/inadequado (03);
iv. Quesito “o currículo é integrado e adequado ao perfil discente e suas demandas”, favorável/adequado (61), indiferentes (03), desfavorável/inadequado (04);
v. Quesito “o Programa desenvolve ações que contribuem p/ a mobilização de redes de internacionalização”, favorável/adequado (40), indiferentes (19), desfavorável/inadequado (09);
vi. Quesito “o Programa está suficientemente adaptado para uso de tecnologias de informação/comunicação”, favorável/adequado (64), indiferentes (04);
vii. Quesito “o Programa incentiva e apoia a publicação de livros, artigos, participação em eventos acadêmicos”, favorável/adequado (58), indiferentes (04), desfavorável/inadequado (06);
viii. Quesito “o Programa promove eventos internos/externos de divulgação dos resultados científicos”, favorável/adequado (52), indiferentes (09), desfavorável/inadequado (06);
ix. Quesito “as Atividades de ensino/extensão são suficientemente qualificadas e atualizadas”, favorável/adequado (65), indiferentes (02), desfavorável/inadequado (01); x. “as disciplinas obrigatórias/optativas são equivalentes em qualidade de ensino”, favorável/adequado (63), indiferentes (04), desfavorável/inadequado (01);
xi. Quesito “o Corpo docente está suficientemente qualificado para as atribuições de ensino-pesquisa-extensão”, favorável/adequado (67), indiferentes (01);
xii. Quesito “as Aulas e orientação são cientificamente qualificadas”, favorável/adequado (64), indiferentes (02) e desfavorável/inadequado (02);
xiii. Quesito “sinto-me preparado para acompanhar aulas e realizar pesquisas científicas no Programa”, favorável/adequado (65) e indiferentes (03);
xiv. Quesito “estou satisfeito com a minha condição de discente no Programa”, favorável/adequado (64), indiferente (01) e desfavorável/inadequado (03).
Já entre os achados da amostra “docente”, aplicação de um instrumento composto por 15 quesitos redigidos em formato de assertiva com a possibilidade de alternativas de respostas conforme escala likert (05 pontos):
i. Quesito “há adequação entre a estrutura disponibilizada e os objetivos e exigências do PG”, favorável/adequado (23), indiferentes (02), desfavorável/inadequado (02);
ii. Quesito “corpo técnico suficientemente qualificado para suporte/apoio ao docente”, favorável/adequado (23), indiferente (01), desfavorável/inadequado (02);
iii. Quesito “o Programa está suficientemente adaptado para uso de tecnologias de informação/comunicação”, favorável/adequado (17), indiferentes (03) e desfavorável/inadequado (06);
iv. Quesito “as atividades científicas foram desenvolvidas e divulgadas de forma transparente e adequada pelo Programa”, favorável/adequado (16), indiferentes (06), desfavorável/inadequado (04);
v. Quesito “o Programa promove eventos internos/externos de divulgação dos trabalhos científicos”, favorável/adequado (12), indiferentes (06), desfavorável/inadequado (08);
vi. Quesito “o Programa incentiva e apoia a publicação de livros, artigos e participação em eventos acadêmicos”, favorável/adequado (15), indiferentes (06) e desfavorável/inadequado (05);
vii. Quesito “as ações de ensino, pesquisa e extensão são adequadamente planejadas”, favorável/adequado (15), indiferentes (06), desfavorável/inadequado (05);
viii. Quesito “atividades de ensino/extensão são suficientemente qualificadas e atualizadas”, favorável/adequado (15), indiferentes (06), desfavorável/inadequado (05);
ix. Quesito “disciplinas obrigatórias/optativas são equivalentes em qualidade de ensino”, favorável/adequado (19), indiferentes (06);
x. Quesito “currículo está integrado e é adequado ao perfil discente e suas demandas”, favorável/adequado (17), indiferentes (02), desfavorável/inadequado (07);
xi. Quesito “as aulas e orientação são cientificamente qualificadas”, favorável/adequado (21), indiferentes (04), desfavorável/inadequado (01);
xii. Quesito “o corpo discente apresenta formação suficientemente qualificada para acompanhamento das aulas/tarefas”, favorável/adequado (17), indiferentes (07), desfavorável/inadequado (02);
xiii. Quesito “meus pares são suficientemente qualificados para as atribuições de ensino-pesquisa-extensão”, favorável/adequado (24), indiferente (01), desfavorável/inadequado (01);
xiv. Quesito “satisfação com a condição de docente”, favorável/adequado (20), indiferentes (03), desfavorável/inadequado (03);
xv. Quesito “sinto-me estimulado(a) a criar redes científicas nacionais/internacionais, bem como preparado(a) para lecionar e realizar pesquisas científicas no Programa”, favorável/adequado (14), indiferentes (06), desfavorável/inadequado (06).
Confrontando os resultados aferidos, verifica-se que docentes e discentes confluem especialmente no sentido das críticas sobre: i. aos incentivos e ao desenvolvimento de ações vinculadas com a internacionalização; ii. incentivo e apoio às publicações e participações em eventos acadêmicos.
Sobre a autoavaliação pedagógica, essa consistiu na aplicação de um instrumento de produção de dados (google forms) com questões qualitativas e quantitativas, junto aos discentes que estiveram matriculados em disciplinas nos semestres. O formulário buscou observar as impressões individuais dos alunos de cada turma sobre os componentes ofertados/cursados semestre a semestre, a grade curricular, a infraestrutura e serviços de suporte/secretaria, os desempenhos didáticos dos docentes, a gestão do Programa e a relação com orientador. As dificuldades mapeadas juntos aos docentes e discentes sobre as relações e processos de orientação fizeram com que Comissão de Autoavaliação decidisse por incorporar nos instrumentos de coleta de dados da autoavaliação pedagógica questões relativas aos trabalhos dos orientadores para monitorar a relação entre orientando-orientador, no que diz respeito a: comunicação ágil, encontros realizados, interesse e solicitude, auxílio na definição de leituras e aspectos metodológicos da pesquisa, conforto e confiança. Como a inclusão deste elemento de análise auto avaliativa deu-se em 2024, dados apenas para as turmas do MPBA e do CBMBA estão disponíveis.
Cotejando os dados das autoavaliações pedagógicas nas diferentes turmas, percebemos que se alcançou uma melhora nas estatísticas referentes ao incentivo à produção e participação em grupos de pesquisa dos orientadores, o que significa que a comunicação e divulgação no âmbito do Programa tem se mostrado mais eficiente desde então.
Ao longo desses anos tem-se atualizado os mecanismos de avaliação e autoavaliação. Particularmente, o acompanhamento dos egressos seja talvez um dos maiores desafios auto avaliativos, em virtude do perfil do público atendido, cuja disponibilidade e acesso são mais limitados (burocratas de linha, médio e alto escalão). São profissionais com uma carga de trabalho, mobilidade territorial e intraorganizacional intensas, com mudanças frequentes de cidades, postos/funções, telefones, correios eletrônicos etc. Considerando tais aspectos, nessa quadrienal ocorreu uma busca ativa a partir da tentativa de contato telefônico individual com todos os egressos (amostra = 154), para além da execução de pesquisa com instrumento no google forms. Após esses esforços, conseguiu-se dois conjuntos de dados. O primeiro derivado das respostas autoaplicadas ao formulário virtual (amostra = 32) e o segundo de entrevistas por meio de contato telefônico (amostra = 43).
Para a análise da 1a amostra, coletada com questionário de 16 perguntas e alternativas de escala likert (5 pontos), utilizou-se uma agregação de extremos, por um lado os valores positivos (“concordo totalmente” e “concordo”) e, por outro, os valores negativos (“discordo totalmente” e “discordo”).
i. Quesito “Sinto-me satisfeito com a titulação obtida no PPGSP/UFBA”, favorável/adequado (30), indiferente (01), desfavorável/inadequado (01);
ii. Quesito “Reconheço que a formação impactou positivamente em minhas atividades profissionais”, favorável/adequado (32) e desfavorável/inadequado (01);
iii. Quesito “meu TCC foi relevante para a compreensão prática da minha atuação profissional”, favorável/adequado (33);
iv. Quesito “Infraestrutura disponível adequada aos objetivos e exigências do Programa”, favorável/adequado (32) e desfavorável/inadequado (01);
v. Quesito “o Programa tem Corpo técnico suficientemente qualificado para suporte/apoio”, favorável/adequado (30), indiferente (01) e desfavorável/inadequado (01);
vi. Quesito “o Programa esteve suficientemente adaptado para uso de tecnologias de informação/comunicação”, favorável/adequado (29) e indiferentes (03);
vii. Quesito “as atividades científicas foram desenvolvidas e divulgadas de forma transparente e adequada”, favorável/adequado (27), indiferentes (04) e desfavorável/inadequado (02);
viii. Quesito “a estrutura curricular do Programa esteve atualizada e atendeu às demandas socioprofissionais”, favorável/adequado (30), indiferentes (01) e desfavorável/inadequado (01);
ix. Quesito “o currículo esteve suficientemente integrado e atendeu às minhas demandas de discente”, favorável/adequado (28), indiferente (01) e desfavorável/inadequado (03);
x. Quesito “as Disciplinas obrigatórias/optativas foram equivalentes em qualidade de ensino”, favorável/adequado (29), indiferentes (02) e desfavorável/inadequado (01);
xi. Quesito “as aulas e orientação são cientificamente qualificadas”, favorável/adequado (29), indiferente (01) e desfavorável/inadequado (03);
xii. Quesito “as ações de ensino, pesquisa e extensão adequadamente planejadas”, favorável/adequado (27), indiferentes (04) e desfavorável/inadequado (02);
xiii. Quesito “docente suficientemente qualificado para as atribuições de ensino-pesquisa-extensão” favorável/adequado (30), indiferentes (02) e desfavorável/inadequado (01);
xiv. Quesito “o Programa apoiou a publicação de livros, artigos, participação em eventos acadêmicos”, favorável/adequado (25), indiferentes (05) e desfavorável/inadequado (03);
xv. Quesito “o Programa promoveu eventos internos/externos de divulgação dos resultados científicos” favorável/adequado (24), indiferentes (07) e desfavorável/inadequado (02);
xvi. Quesito “o Programa contribuiu com ações de fomento de redes de internacionalização”, favorável/adequado (19), indiferentes (08) e desfavorável/inadequado (06).
Já a segunda amostra de egressos coletada via contato telefônico (amostra = 43), foi composta por discentes com ingresso nos anos de 2014 (7%), 2015 (23,3%), 2018 (14%), 2019 (16,3%), 2020 (11,6%), 2021 (20,9%), 2016/2017 somaram 6,9%. As instituições de vínculo dos egressos respondentes estiveram assim distribuídas: MPBA (20,9%), PMBA (20,9%), TJBA (18,6%), CBMBA (14%), TRE (11,6%), Defensoria Pública (9,3%), SSP – Secretaria de Segurança Pública, PC - Polícia Civil e PT - Polícia Técnica e outros órgãos somaram juntos (4,7%). Em suma, a amostra incluiu discentes vinculados a todos os órgãos públicos/atendidos pelo PPGSP/UFBA, nas respectivas proporcionalidades das turmas concluídas e anos em análise. Na mesma direção, os cargos/funções foram bem diversificados, abrangendo: analistas do judiciário, assistentes técnicos, assessores, capitães, cabos, soldados, delegados, juízes, promotores dentre outros.
Sobre a trajetória acadêmica dos egressos, após a conclusão do mestrado, percebemos um movimento de continuidade de estudos entre 32,6% dos respondentes, com 7% obtendo título de doutoramento, 7% concluindo uma nova graduação, 11,6% obtendo uma especialização e 7% cursando outro tipo de formação. Na mesma linha, 23,3% afirmaram ter participado de algum projeto/grupo de pesquisa e 9,3% de algum projeto de extensão após a conclusão do mestrado. Além disso, 30,2% passaram a lecionar após a conclusão do mestrado em instituições universitárias (graduação e pós-graduação), em escolas de ensino médio/fundamental, em academias de corporações policiais, em empresas educacionais preparatória para concursos etc. Dentre os respondentes, 41,9% obtiveram alguma promoção/progressão de carreira após a conclusão do mestrado e 14% receberam algum prêmio ou distinção.
Por sua vez, do ponto de vista de mudanças e inovações institucionais decorrentes dos TCC do mestrado, 25,6% afirmaram que isso ocorreu em seus ambientes profissionais. Dentre as citadas:
i. alterações em normas e procedimentos internos;
ii. premiação em concurso de políticas públicas em nível estadual;
iii. mudanças na infraestrutura e sistema de trabalho de setor institucional; iv. implantação de práticas de justiça restaurativa; v. criação de curso de formação interna;
vi. projeto de intervenção;
vii. ampliação de mecanismos de articulação do Ministério Público com a sociedade civil;
viii. Implantação de projeto pedagógico de curso de “feitos investigatórios” da Corregedoria da PM;
ix. implantação de sistema padronizado de indicadores para avaliação do trabalho da Corregedoria;
x. incorporação de disciplina no curso de formação da Corregedoria da PM;
xi. inclusão de disciplina “aspectos do controle interno e externo da atividade correcional” em edital de curso de prática correcional;
xii. Incorporação de linha de pesquisa referente a accountability em edital de curso de aperfeiçoamento de oficiais.
Quando perguntado sobre se após a conclusão do TCC do mestrado foi autor(a) de algum outro produto ou publicação vinculada ao mesmo tema, obtivemos uma gama variada de produtos como respostas:
i. concessão de entrevistas;
ii. publicação de artigo de opinião;
iii. publicação de capítulo de livro;
iv. publicação de artigos;
v. elaboração de relatório de pesquisa;
vi. organização de livro;
vii. elaboração de nota técnica;
viii. Registro de patente;
ix. publicação em anais de evento;
x. elaboração de verbete de dicionário;
xi. ministração de curso de formação;
xii. ministração de disciplinas em pós-graduação;
xiii. Apresentação de palestra;
xiv. publicação de livro;
xv. Sugestão de projeto de Lei.
Destes materiais produzidos após a conclusão do TCC, 32,6% dos respondentes informaram terem sido publicados em parceria com algum docente do PPGSP ou com o ex-orientador. Considerando que 35% dos respondentes alcançaram a diplomatura muito recentemente, entre 2023 e 2024, e 23,3% entre 2021 e 2022, pode-se ponderar que ainda há uma grande margem temporal favorável para a ocorrência de impactos futuros do mestrado seja nas carreiras dos egressos, seja em suas organizações de vínculo ou na produção e publicação de novos conhecimentos e pesquisas. A saber, os dados das respectivas diplomaturas dos respondentes foram: 2016 (7%), 2017 (16,3%), 2020 (11,6%), 2021 (9,3%), 2022 (14%), 2023 (20,9%), 2024 (14%), 2016 e 2018 somaram 6,9%.
Por sua vez, de acordo com os dados da 2ª amostra de egressos, a formação ofertada pelo nosso PPGSP/UFBA é muito importante, promissora e, desde que, mediante incentivos adequados (financeiros e pedagógicos) e de estratégias de manutenção de vínculo entre o Programa, docentes e os egressos podem alcançar patamares de excelência qualitativa e alta produtividade científica.
O PPGSP vem atuando para superar suas fragilidades de maneiras diversas, seja aumentando a CH de conteúdos disciplinares sobre métodos, seja buscando garantir recursos para financiamento de discentes/docentes em eventos da área ou organizando e articulando oportunidades de publicações técnicas e científicas com egressos, instituições parceiras, redes nacionais/internacionais.