RELATÓRIO DE STATUS DE EXECUÇÃO DE COMPROMISSO RESUMO DO COMPROMISSO DATA DO RELATÓRIO COMPROMISSO PREPARADO POR 02 de abril de 2019 Compromisso 5. Definir mecanismo de coleta de dados para melhoria de serviços regulados pela Agência Nacional de Transporte Terrestres (ANTT) e estímulo da participação da sociedade nas pesquisas de satisfação Paulo Henrique da Silva Costa ÓRGÃO RESPONSÁVEL E ENTIDADES PARTICIPANTES Órgão coordenador Agência Nacional de Transportes Terrestres - ANTT Atores Envolvidos Governo Ministério da Transparência e Controladoria-Geral da União – CGU Sociedade Civil Instituto de Estudos Socioeconômicos – INESC Instituto Brasileiro de Defesa do Consumidor – IDEC VISÃO GERAL DO COMPROMISSO O presente compromisso faz parte do tema “Análise de satisfação dos usuários e impacto social da regulação da ANTT, por meio de pesquisa eletrônica”, proposto pela Agência Nacional de Transportes Terrestres – ANTT com o objetivo de desenvolver tecnologia e integrar dados dos sistemas online de usuários que utilizam as rodovias, ferrovias e os ônibus interestaduais para envolver o cidadão e gerar valor à atividade regulatória da ANTT, promovendo regulação por meio de incentivos e com melhor observação dos problemas dos mercados regulados. Além de procurar atender o objetivo do tema proposto, existe uma necessidade legal que é a busca de mecanismos para atender o disposto na Lei nº 13.460, de 26 de junho de 2017, mais especificamente o disposto no § 1º do art. 23, onde existe a previsão de que os órgãos e entidades públicos devem avaliar os serviços prestados por pesquisa de satisfação feita, no mínimo, a cada um ano, ou por qualquer outro meio que garanta significância estatística aos resultados. Desta forma, ao cumprir o compromisso assumido no 4º Plano de Ação, espera-se que o produto seja capaz de atingir o objetivo proposto, além de contribuir para implementação de pesquisas de satisfação que possam ser realizadas de acordo com a Lei nº 13.460/2017. VISÃO GERAL DO MARCO / PRAZOS MARCOS % CONCLUSÃO DATA PARA CONCLUSÃO RESPONSÁVEL OBSERVAÇÕES E EVIDÊNCIAS 1 – Levantamento interno dos dados necessários para avaliação do serviço 100% 31/12/2018 ANTT * IDEC Foram realizadas ações junto às áreas finalísticas da ANTT que resultaram no levantamento dos dados necessários para avaliação do serviço. 2 – Mapeamento das opções de ferramentas de coleta de dados 100% 31/03/2019 IDEC* INESC ANTT OGU/CGU O mapeamento foi realizado a partir de sítios eletrônicos especializados no tema e em pesquisas científicas sobre satisfação publicadas. 3 – Estudo de viabilidade para definição das ferramentas de pesquisa 0% 31/08/2019 ANTT* 4 – Definição da estratégia para a seleção da ferramenta 0% 31/01/2020 ANTT* IDEC INESC OGU/CGU 5 – Aplicação da estratégia para a seleção da ferramenta 0% 31/05/2020 ANTT* OGU/CGU IDEC 6 – Seleção da ferramenta 0% 31/07/2020 ANTT* OGU/CGU IDEC * Órgão/entidade responsável por coordenar a execução do marco RISCOS E PROBLEMAS / SOLUÇÕES A SEREM TOMADAS PROBLEMA CAUSA SOLUÇÃO NIL NIL NIL NIL NIL NIL CONCLUSÃO (RECOMENDAÇÕES/OBSERVAÇÕES/NECESSIDADE DE REPLANEJAMENTO) Marco 1: Levantamento interno dos dados necessários para avaliação do serviço Preliminarmente, cabe ressaltar que não foram identificados riscos e problemas na execução do 1º marco. Tal situação deve-se ao fato de que a ANTT as duas últimas pesquisas de satisfação realizadas permitiram a consolidação dos dados pesquisados. Somente uma área técnica – Superintendência de Transporte Rodoviário de Multimodal de Cargas – SUROC, não possuía mapeados estes dados, pois não participava das pesquisas. Assim não houve dificuldades em levantar os dados. O primeiro marco - Levantamento interno dos dados necessários para avaliação do serviço, teve início em 01/10/2018, e foi realizado utilizando as seguintes ações: 1º) realizou-se uma apresentação para os superintendentes e gerentes das áreas finalísticas da Agência Nacional de Transportes Terrestres – ANTT, que são responsáveis pela regulação e fiscalização dos serviços de transportes terrestres sob a competência da Agência (Transporte Rodoviário e Ferroviário de Passageiros; Transporte Rodoviário e Ferroviário de Cargas; Infraestrutura Rodoviária), para falar sobre a OGP, Planos de Ação e o compromisso que a Agência está coordenando; 2º) solicitou-se a cada superintendente a indicação de um servidor para representa-lo durante a execução dos trabalhos referentes ao 1º marco; 3º) foram realizadas seis reuniões: a) a primeira contou com representantes de todas as áreas finalísticas, e da Superintendência Executiva – Coordenadora do compromisso; b) as demais reuniões foram realizadas com o representante de cada área individualmente, da Ouvidoria e da Superintendência Executiva. Na primeira reunião, foram apresentados o compromisso e os respectivos marcos. Em seguida foi estabelecida uma agenda para reuniões individuais nas quais os representantes de cada área deveriam trazer os dados a serem levantados para avaliação do serviço. Foram realizadas posteriormente cinco reuniões: * A primeira reunião foi realizada com a Superintendência de Exploração da Infraestrutura Rodoviária – SUINF, responsável pelo acompanhamento dos contratos de concessão rodoviária. A SUINF apresentou algumas sugestões para a lista com atributos e itens a serem pesquisados junto aos usuários de rodovias federais concedidas, tomando como referência a pesquisa de satisfação finalizada em 2018; * A segunda reunião foi realizada com a Superintendência de Fiscalização – SUFIS, responsável pela fiscalização dos serviços de transporte rodoviário e ferroviário de passageiros e de cargas, que não apresentou especificamente nenhum dado diferente daqueles que foram levantados na pesquisa de satisfação dos usuários realizadas no último ano e que teve seu resultado apresentado em outubro de 2018; * A terceira reunião foi realizada com a Superintendência de Serviços de Transporte de Passageiros – SUPAS, que após analisar os atributos e itens utilizados na pesquisa de 2017/2018 para avaliar a satisfação dos usuários com os serviços prestados pelas empresas que operam o serviço de transporte rodoviário interestadual e internacional de passageiros, optou por mantê-los; * A quarta reunião foi realizada com a Superintendência de Serviços de Transporte Rodoviário de Multimodal de Cargas – SUROC, que ressaltou a necessidade de participação em pesquisas de satisfação e chamou a atenção para a diversidade de usuários do TRC e o fato de até recentemente o modal não ter uma regulação econômica podem ser fatores que venham a influenciar os atributos. Particularmente a diversidade de usuário pode ser um dificultador para a identificação do usuário. Por fim, apresentou os dados a serem pesquisados; e * Por fim, a quinta reunião foi realizada com a Superintendência de Infraestrutura e Serviços de Transporte Ferroviário de Cargas – SUFER, que informou que serão mantidos os atributos utilizados na última pesquisa. Abaixo, são apresentados os dados internos levantados durante a execução dos trabalhos junto às superintendências da Agência: Quadro 1: Dados Levantados na SUINF Atributos ITENS Pista Condições do pavimento (buracos, desníveis, etc.) Condições do pavimento em dias de chuva Desnível entre pista e acostamento Desnível na entrada de pontes Sinalização Clareza nas informações das placas Condição da pintura do pavimento Visibilidade da sinalização Facilidade de identificação do serviço de Atendimento ao Usuário - SAU Fluidez Velocidade dos veículos na rodovia Facilidade de ultrapassagem Fluidez nas travessias urbanas Fluidez nos acessos e cruzamentos Segurança Largura do acostamento Condições das encostas Condição das proteções laterais das pontes Condição das proteções laterais da pista Segurança nos acessos e cruzamentos Serviços Utilidade das mensagens nos painéis eletrônicos Qualidade da informação prestada ao usuário pelos canais de atendimento Atendimento nos SAUs – Serviço de atendimento ao Usuário (disponibilidade de água, limpeza nos banheiros, etc.) Satisfação com o atendimento médico de emergência (tempo e eficiência) Satisfação com o socorro mecânico (tempo e eficiência) Limpeza Limpeza da pista Limpeza das laterais da rodovia Condição da vegetação lateral Pedágio Valor do pedágio é justo em relação aos serviços oferecidos Facilidade e rapidez no pagamento do pedágio Atributos Itens Atendimento da Empresa Facilidade para compra (acesso, tempo na fila, opções de pagamento) Facilidade para a troca de bilhetes Capacidade da equipa da empresa em resolver problemas Conforto Conforto do veículo (poltrona, espaço interno, temperatura, nível de ruído, etc.) Cortesia Gentileza e educação dos funcionários (motorista e pessoal da empresa) Higiene Limpeza do banheiro do veículo Limpeza dos outros elementos do veículo (corredor, poltrona, cortina, espaço para bagagem de mão) Confiabilidade da viagem Experiências quanto a não ocorrência de quebra de veículos e interrupção da viagem Integridade e segurança da bagagem (cuidado com o manuseio / arrumação da bagagem) Pontualidade Pontualidade (horário em que o veículo parte e chega em relação ao programado Regularidade Disponibilidade dos serviços (quantidade de viagens / horários na linha) Segurança Informações do motorista sobre procedimentos de segurança antes do início da viagem Segurança na condução do veículo pelos motoristas (Manobras, velocidades, etc.) Preço Justo Preço pago pela viagem é justo em relação ao serviço oferecido Conservação do veículo Estado de conservação do veículo Parada para refeições e lanches Quantidade de paradas Tempo das paradas Segurança Limpeza e conforto das instalações, inclusive banheiro Qualidade dos produtos e serviços Preço dos produtos e serviços Informações e sinalização (facilidade para localizar o veículo e serviço) Terminal de embarque Segurança Limpeza, conservação e conforto das instalações, inclusive banheiros Serviço de informação e sinalização Qualidade dos produtos e serviços Preço dos produtos e serviços Facilidade de acesso (transporte público, taxi, estacionamento) Quadro 2: Dados levantados pela SUPAS Quadro 3: Dados levantados pela SUROC Atributos Itens Operacionais Integridade da carga após o transporte Comunicação sobre a entrega da carga Prazo de entrega Prazo de carregamento / descarregamento Comerciais Liberdade para negociação do valor do frete              Valor do frete Informação sobre RNTRC (status do transportador) Competitividade com relação a outros modos Administrativos Facilidade de contratação de serviço de transporte Facilidade de contratação do seguro de cargas Facilidade para realização do pagamento do Vale – Pedágio obrigatório Facilidade para realização do pagamento Eletrônico de Frete Quadro 4: Dados levantados pela SUFER Atributos Itens Operacionais Manutenção da integridade da carga Pontualidade na entrega da carga Programação e suprimento dos vagões de acordo com a necessidade do usuário Qualidade dos vagões Segurança – prevenção de acidentes Solução dos problemas operacionais Tempo de trânsito Comerciais Cumprimento dos volumes acordados Preço das operações acessórias Ressarcimento de prejuízos com quebra, avaria, roubo e extravio de carga Valor das tarifas de transporte Administrativos Comunicação para tratativas comerciais e operacionais Facilidade para contratação de serviço de transporte Informação sobre a localização da carga Qualidade dos serviços de atendimento de usuários Desta forma, o 1º marco do Compromisso nº do 4º Plano de Ação Nacional foi concluído com o levantamento interno dos dados necessários para avaliação do serviço. Marco 2: Mapeamento das opções de ferramentas de coleta de dados Na execução deste Marco, foram mapeadas as opções de ferramentas e metodologias de coleta de dados disponíveis, buscando identificar em sites especializados no assunto e em pesquisas anteriores realizadas por outras entidades, as metodologias mais frequentemente utilizadas para realizar pesquisa de levantamento de opinião de usuários ou clientes. Também foram encontrados alguns instrumentos específicos de aplicação de questionário, os quais se incluem dentro de uma única metodologia de aplicação in loco, com ou sem aplicador presencial. As opções levantadas foram encontradas em sites especializados, como o da Associação Brasileira de Empresas de Pesquisa e o Instituto Brasileiro de Pesquisa e Análise de Dados, em pesquisas científicas sobre pesquisa de satisfação, e em sites com exemplos de Pesquisas realizadas. Ao fim do levantamento, as observações começaram a se tornar repetitivas, visto a predominância desses modos listados acima no mercado atual. Também é importante ressaltar a proeminência recente de vários métodos de Pesquisas exclusivamente digitais, voltados a redes sociais ou aplicativos de rastreamento de opinião de diversas formas, que podem ser avaliados em maior detalhe no item 1.9, mas que não foram priorizados por apresentar, na avaliação dessa pesquisa, limitações de abrangência da amostra, considerado o tipo e segmentação de usuários do sistema de transportes. O mapeamento apontou que as formas de pesquisas têm limitações, vantagens, custos e técnicas envolvidas muito diferentes uns dos outros levando a especificações e níveis de trabalho muito diferentes. Isto pode fazer com que ocorram impactos diversos nos usuários de diferentes meios de transportes que a ANTT regula no país devido à alta diferença de tempo de uso, de tempo de embarque e de modo de utilização dos meios de transportes, que variam desde ônibus interestaduais, a rodovias, passando por ônibus suburbanos. Em outras palavras, ônibus suburbanos que possuem uma alta rotatividade e grande volume de passageiros, por linha e por hora, podem exigir uma metodologia mais ágil, já os ônibus interestaduais e sistemas ferroviários que possuem embarque mais vagaroso e os números de usuários mais controlado pode ter uma metodologia mais estática fisicamente. Por outro lado, as rodovias que possuem usuários guiando os próprios veículos pode ter uma metodologia que se adeque a isso. Estas variações podem ser estudadas em mais detalhe nas próximas fases do compromisso. Diante disso, este mapeamento apresenta este cenário inicial que deverá ser debatido em maiores detalhes entre as entidades do projeto nos próximos Marcos. Abaixo é apresentado o resultado do Mapeamento das Opções de Ferramentas de Coleta de Dados, composto de metodologias (Quadro 5) e ferramentas (Quadro 6): Quadro 5: Metodologias Detalhamento Prós Contras Links, obs., etc. 1.1 – Tablet + Aplicativo “Aberto” Comprar tablets para serem utilizados nos veículos, estações ou pontos de parada, e implantar software desenvolvido por parceiros, empresas, startups, hackatonas, etc... - Abrangência da amostra ao ser acessível a todos usuários; - Facilidade de licitar insumo e serviço em separado; - Facilidade de reprogramação do questionário. - Necessidade de manutenção frequente do equipamento; - Necessidade de programar localização e suporte da ferramenta nos locais de interação com usuário. 1.2 - Tablet + Aplicativo ANTT Comprar tablets para serem utilizados nos veículos, estações ou pontos de parada, e implantar software por equipe contratada internamente na ANTT - Abrangência da amostra ao ser acessível a todos usuários; - Pela facilidade de produzir o aplicativo, talvez valha a pena fazer internamente; - Facilidade de reprogramação do questionário. - Necessidade de manutenção frequente do equipamento; - Necessidade de programar localização e suporte da ferramenta nos locais de interação com usuário. 1.3 - Aplicativo ANTT para usuário Desenvolver um aplicativo para celulares de usuários - Simplicidade e relativamente fácil difusão - (Oportunidade) Necessidade de existir ferramenta de serviço ao usuário, como venda de passagens, reclamação, etc. para manter o uso do aplicativo. - Não terá total cobertura das categorias de usuário; - Amostra enviesada (posse de celular, com serviço 3G contratado). 1.4 - Grupo Focal Desenvolver procedimento para pesquisas de grupo focal constantes com usuários - Bastante customizável; - Fácil de medir a reação do usuário; - Abrangência da amostra ao ser acessível a todos usuários; - Trabalhoso para estruturar o processo; - Momento de fala e relação presencial pode afetar a espontaneidade dos usuários; - Custo pode ser elevado. Sobre grupos focais: (1) (2) 1.5 - Pesquisas tradicionais Desenvolver procedimento para efetivar a realização de pesquisas tradicionais, com aplicadores, constantes com usuários - Expertise da ANTT na metodologia; - Abrangência da amostra ao ser acessível a todos usuários; - Custo elevado; - Demora do processamento dos dados; 1.6 - Lean Survey Startup com metodologia em rede de aplicação de pesquisas tradicionais por aplicadores autônomos - Expertise da ANTT na metodologia; - Economia de até 70% na aplicação da pesquisa, segundo site; - Abrangência da amostra ao ser acessível a todos usuários; - Processo novo, pode haver falta de confiabilidade; - Talvez o custo ainda seja mais elevado que em outras opções; Sobre a ferramenta: (3) 1.7 - Disparo de e-mails aos usuários cadastrados - Abrangência da amostra ao ser acessível a todos usuários; - Simplicidade e fácil execução e compilação dos dados. - Necessidade de compilar o e-mail dos usuários; - Possível baixo número de respostas; 1.8 - Telefonema aos usuários cadastrados - Menos trabalho que pesquisa de campo; - Abrangência da amostra ao ser acessível a todos usuários; - Processo trabalhoso demanda trabalho ativo de funcionários ou equipe, embora menos trabalho de campo; - Necessidade de compilar o telefone dos usuários. 1.9 - Menções em Redes Sociais - Simplicidade e fácil execução. - Amostragem muito enviesada; - Questão não é orientada, então é necessário desenvolver uma metodologia a partir do número absoluto de menções; Introdutório: (4) Completo: (5) 1.10 - Metodologia CATI/CAPI - Menos trabalho que pesquisa de campo; - Abrangência da amostra ao ser acessível a todos usuários; - Processo novo; - Processo trabalhoso demanda trabalho ativo de funcionários ou equipe, embora menos trabalho de campo; - Precisa identificar telefone dos usuários. (6) (7) (8) Quadro 6: Ferramentas Detalhamento Prós Contras Links, obs., etc. 2.1 - Gertec (Aparelho portátil) Contratação de aparelho especializado em pesquisa de satisfação no formato portátil para aplicar as pesquisas. - Abrangência da amostra ao ser acessível a todos usuários; - Facilidade de reprogramação do questionário - Necessidade de manutenção frequente do equipamento; (10) 2.2 - Solvis (Toten) Contratação de aparelho especializado em pesquisa de satisfação no formato tótem para aplicar as pesquisas - Abrangência da amostra ao ser acessível a todos usuários; - Facilidade de reprogramação do questionário - Necessidade de presença de aplicador do questionário; (11) 2.3 - Like no Like Exemplo de contratação de aparelho especializado em pesquisa de satisfação no formato totem para aplicar as pesquisas - Abrangência da amostra ao ser acessível a todos usuários; - Facilidade de reprogramação do questionário - Necessidade de manutenção frequente do equipamento; Fonte para coletar ideias: Associação Brasileira de Empresas de Pesquisa http://www.abep.org/ Avaliação destes diversos tipos: http://www.inf.ufsc.br/~vera.carmo/Ensino_2013_2/Instrumento_Coleta_Dados_Pesquisas_Educacionais.pdf Discussão sobre formulário, questionário ou entrevista: http://www.editorarealize.com.br/revistas/conedu/trabalhos/TRABALHO_EV056_MD1_SA13_ID8319_03082016000937.pdf Links para metodologias e Ferramentas: 1) http://www.scielo.br/paiedeia/v12n24/04 2) https://revistas.ufpr.br/cogitare/article/view/14486 3) https://leansurvey.com.br/ 4) https://bibliotecas.sebrae.com.br/chronus/ARQUIVOS_CHRONUS/bds/bds.nsf/24131C962E2F9B6C0325714700683043/$File/NT00031FF6.pdf 5) https://www.ibpad.com.br/wp-content/uploads/2016/12/Monitoramento-e-pesquisa-em-midias-sociais.pdf 6) https://www.institutophd.com.br/como-funcionam-as-pesquisas-capi-e-cati/ 7) https://pt.wikipedia.org/wiki/CATI 8) http://www.brazilpanels.com.br/Cati.aspx 9) https://www.gertec.com.br/produtos/pesquisa-rapida/ 10) https://www.solvis.com.br/ Página9 Ministério da Transparência, Fiscalização e Controladoria-Geral da União Parceria para Governo Aberto – Open Government Partnership - OGP