Ficha de Qualificação de Indicadores (FQI)

O CMF adota o seguinte modelo para qualificar e identificar os seus indicadores de desempenho:

Nr	Campo	Dado a ser preenchido
1	Nome do indicador	Percentual de visitantes satisfeitos com o atendimento e encaminhamento feito pela Comunicação Social
2	Identificação	CS3d
3	Responsável pelo ID	Comunicação Social
4	Descrição do fenômeno medido	Mede a satisfação de clientes e usuários
5	Critério	Critério 3
6	Áreas de aplicação do indicador	Visitantes usuários e clientes
7	Fórmula	(Quantidade total de pesquisados satisfeitos / Somatório de pesquisados) x 100
8	Unidade de medida	%
9	Meta	80%
10	Fonte dos dados (Referencial comparativo)	SCMB
11	Regra para coleta dos dados	Verificação por ocasião da visita
12	Forma de divulgação	Pesquisa escrita
13	Observação	Objetivo estratégico 4

CMF realiza palestra sobre avaliação organizacional

Aconteceu em 21 de setembro uma palestra sobre o tema Avaliação Organizacional no âmbito do CMF. 

Na ocasião foi distribuída uma apostila sobre o assunto e da pauta da reunião constou, entre outras informações, a discussão sobre o porque de se avaliar, a importância do plano de gestão, a função dos indicadores de desempenho, a missão de gestores e colaboradores, noções sobre a Ficha de Qualificação de Indicadores (FQI) e algumas orientações sobre o Prêmio Ceará de Gestão Pública e seu cronograma de visitas à nossa organização. 

A palestra foi ministrada pelo Maj Fabiano, Assessor de Gestão do Comando e dela participaram os 8 gestores e os 30 colaboradores do nosso sistema de gestão

Propriedades dos indicadores

Diante da grande quantidade de medidas disponíveis, o processo de seleção de indicadores deve buscar o maior grau possível de aderência a algumas propriedades que caracterizam uma boa medida de desempenho. Considerando as abordagens de autores como Rochet, Bout-Colonna e Keramidas (2005), Rua (2004), Jannuzzi (2005) e Ferreira, Cassiolato e Gonzalez (2009), no trabalho realizado pela Secretaria de Gestão do Ministério de Planejamento, Orçamento e Gestão foram consideradas as propriedades dos indicadores como parte de dois grupos distintos:

Propriedades Essenciais: são aquelas que qualquer indicador deve apresentar e sempre devem ser consideradas como critérios de seleção. São elas: validade, confiabilidade e simplicidade.

Validade - capacidade de representar a realidade que se deseja medir e modificar. Ou seja, o indicador deve ser capaz de traduzir a realidade que se deseja observar ou investigar. Pode parecer óbvio mas é comum o uso de indicadores que não representam necessariamente o que se pretende medir. Um exemplo é controlar o valor da fatura mensal de energia elétrica para medir a cultura de economia de energia elétrica da organização. Caso ocorram multas ou atualização de preço poderemos ter resultados que não representem o esforço ou a educação econômica dos militares da organização. Da mesma forma teremos avaliações equivocadas caso haja redução nas tarifas que independe do comportamento dos militares da OM.

Confiabilidade - os indicadores devem ter origem em fontes confiáveis, que utilizem metodologias reconhecidas e transparentes. Garantir que os dados ou os cálculos dos indicadores sejam confiáveis é imprescindível. Sempre que possível devemos evitar, por exemplo, que pessoas interessadas em determinados resultados estejam envolvidas na coleta ou no registro destes dados. Em outras situações as distorções podem ocorrer por conta de deficiências técnicas ou metodológicas. Os gestores devem ter em mente a preocupação com a transparência e com a metodologia utilizada desde a coleta até a avaliação dos índices verificados.

Simplicidade – os indicadores devem ser de fácil obtenção, comunicação e entendimento pelo público em geral. Há de se ter um cuidado especial na interpretação da propriedade “Simplicidade”. Um indicador pode ser complexo do ponto de vista do seu cálculo. A simplicidade a que se refere o autor está relacionada à coleta dos dados ou indicadores simples que podem compor um indicador mais complexo. Com relação à comunicação, a simplicidade quer dizer que seja de fácil entendimento à medida que se relaciona naturalmente com os seus propósitos.

Vejamos agora algumas propriedades complementares, quais sejam:

- sensibilidade;
- economicidade;
- estabilidade; e
- auditabilidade.

As propriedades complementares são também muito importantes, mas podem ser alvo de uma análise para avaliar sua adequação em situações distintas. Abaixo encontram-se as propriedades que mais interessam à gestão organizacional:

Sensibilidade: capacidade que um indicador possui de refletir tempestivamente as mudanças decorrentes das intervenções realizadas. Em outras palavras, o indicador deve reagir imediatamente às alterações que possam ocorrer na realidade que se deseja observar. Quando se fala em tempestividade devemos entender que o tempo de reação ou de sensibilidade do indicador está associado à sua utilização. Não existe um período de tempo padronizado para que possamos considerar um indicador como sensível, tempestivo. É importante na avaliação do tempo de reação do indicador confrontar periodicidade de coleta e periodicidade de avaliação.

Economicidade: capacidade do indicador de ser obtido a custos módicos; a relação entre os custos de obtenção e os benefícios advindos deve ser favorável. É possível que identifiquemos um excelente indicador cuja adoção não seja recomendável pelos altos custos envolvidos no processo de coleta. Algumas vezes o benefício é compensador mas pode esbarrar nas limitações orçamentárias da OM.

Estabilidade: capacidade de estabelecimento de séries históricas estáveis que permitam monitoramentos e comparações. A palavra chave desta propriedade é “comparação”. Devemos utilizar indicadores que nos permitam criar, ao longo do tempo, parâmetros de comparação. Algumas vezes um Chefe ou Comandante apresenta-se insatisfeito com determinados resultados e exige maior produtividade. Entretanto este Chefe, na maioria das vezes, não dispõe de números que possam lhe assegurar uma avaliação mais segura. Portanto, é importante que os indicadores possam contribuir para a formação desses referenciais comparativos por meio de séries históricas.

Auditabilidade: qualquer pessoa deve sentir-se apta a verificar a boa aplicação das regras de uso dos indicadores (obtenção, tratamento, formatação, difusão, interpretação). Esta propriedade possui uma semelhança com a propriedade essencial da simplicidade. Entretanto, a simplicidade se refere especificamente à obtenção, comunicação e entendimento dos dados. Já a auditabilidade está relacionada às diversas etapas do processo de produção do indicador. Preocupa-se com a possibilidade das pessoas verificarem se o processo como um todo está sendo seguido conforme as regras estabelecidas.

(*) Fonte: Curso de Avaliação Organizacional da Fundação Trompowsky

Mitos e limitações do sistema de medição organizacional

Mitos

1. É preciso medir tudo 

Quem pretende medir tudo acaba não medindo nada! Não devemos nos deixar seduzir pela necessidade obsessiva de monitorar e controlar tudo e todos ao mesmo tempo e na mesma hora. Gerir o desempenho é uma forma de controle, mas que deve ser extremamente seletivo. A postura correta é alta seletividade. Medir apenas o que é importante, o que é significativo, o que vale a pena. Medir custa tempo e dinheiro! E algumas medidas são perecíveis – só fazem sentido se puderem gerar decisões tempestivas. Concluímos então que: Quem quer medir tudo acaba não medindo nada. Deve-se medir o que é relevante, significativo, útil. Medir custa tempo e dinheiro.

2. A medição deve ser absoluta

“Para medir o que importa, preciso gerar todas as informações, coletar dados de forma exaustiva e precisa.”
Quem se preocupa em gerar todas as informações provavelmente morrerá afogado num mar de informações, repletos de dados inviáveis e inúteis. Por um lado, a geração de indicadores (medidas) relevantes requererá dados e informações específicas – cuja obtenção e tratamento demandarão mais ou menos tempo e representarão custos. A postura correta é, sempre que possível, trabalhar com aproximações, buscando construir indicadores a partir de dados já existentes e tratados dentro de padrões aceitáveis de qualidade – apostando‐se que, na maioria dos casos, a disponibilidade de dados e informações não é o problema fundamental. Concluindo, raramente uma medida consegue atender a todas as propriedades dos indicadores como validade, confiabilidade, simplicidade, especificidade, disponibilidade, economicidade e outras. Uma boa prática é trabalhar com aproximações a partir de dados já existentes.

3. Medir por medir

"Primeiro vamos medir, depois vamos ver o que fazemos com as medidas."

Inicialmente, medidas não podem ser vistas como modismos ou obrigação. Mede‐se para controlar/melhorar o desempenho. Medidas têm que ser úteis, fazer sentido para orientar a gestão no dia a dia. A medição tem que ser orientada para a melhoria do desempenho e a melhoria do desempenho tem que ser orientada pela medição. Podemos resumir dizendo que as medidas devem ter significância, não devem ser operacionalizadas por obrigação ou imposição legal, mas por se constituírem ferramentas úteis a todo o ciclo de gestão. Medir e depois decidir o que fazer com as medidas não faz sentido.

4. Dependência tecnológica

“Preciso, sobretudo, do sistema informático perfeito para isto.”

Você precisa, acima de tudo, de um bom modelo de mensuração, que permita uma boa definição específica do que é o seu desempenho e, a partir daí, como mensurá‐lo. Primeiro a sistemática, depois o sistema. Sistemas informacionais são instrumentos que devem estar a serviço de uma lógica – não o contrario, sua lógica de definição e mensuração não pode estar a serviço de um sistema. Há muitas soluções de sistemas (de prateleira, baratos, amigáveis e acessíveis) para sistemáticas de mensuração. Finalmente, primeiro deve ser concebida a sistemática e depois o sistema de informações. O sistema de suporte não precisa, necessariamente, ser perfeito ou baseado no “estado da arte” da tecnologia, mas deve ser funcionalmente útil e agregar valor à análise e à avaliação.

Limitações

1. Indicadores são representações imperfeitas e suscetíveis

Por definição os indicadores são abstrações, representações, simplificações de uma dada realidade, portanto são suscetíveis aos vieses de quem produziu, coletou e/ou interpretou. Desta forma, não se deve confiar cega e eternamente nas medidas, o que significa dizer que o gestor deve, periodicamente, realizar uma avaliação crítica acerca da adequabilidade dos indicadores selecionados, considerando ainda que, a todo tempo, surgem modelos mais aperfeiçoados baseados em novas teorias. Deve-se, portanto, confiar nas escolhas realizadas enquanto não surgirem alternativas melhores, mais válidas e aprimoradas, desenvolvidas a partir de pesquisas e trabalhos metodologicamente confiáveis (MAGALHÃES, 2004).

2. O indicador e a dimensão de interesse não se confundem

Deve-se atentar que o indicador apenas aponta, assinala, indica como o próprio nome revela. Contudo, é comum casos em que o foco das ações seja deslocado da realidade com que se deseja trabalhar para o indicador escolhido para representá-la. Há casos até em que primeiro se escolhe o indicador para depois associá-lo a um problema ou demanda. De fato em algumas situações existe forte identificação entre o conceito e o indicador como, por exemplo, mortalidade ou morbidade por causas diversas; porém em geral essa não é a regra, principalmente para conceitos multidimensionais como desenvolvimento humano e qualidade de vida (JANNUZZI, 2002).

3. Uso de indicadores isolados

Quando os conceitos são complexos não se pode reduzir a gestão organizacional à simples apreciação de um indicador. O Índice de Desenvolvimento Humano (IDH), por exemplo, resultado da ponderação de três temas distintos (economia, saúde e educação), busca melhor representar o nível de desenvolvimento socioeconômico de um país; porém a sua composição mistura um conceito mais sensível às variações conjunturais e de prazo mais curto (PIB per capita) com conceitos estruturais menos sensíveis e de prazo mais longo de evolução (saúde e educação). Assim, uma variação anual positiva do IDH decorrente do aumento do PIB per capita pode, por exemplo, camuflar uma estagnação ou até um retrocesso nas outras dimensões estruturais do índice (saúde e educação). Dependendo do contexto e dos objetivos estabelecidos, deve-se ter cautela na adoção de índices; pois, se por um lado muito bem identificam áreas de ação prioritária, por outro não expressam problemas ou dimensões específicas.

(*) Fonte: Curso de Avaliação Organizacional da Fundação Trompowsky