Diante da grande quantidade de medidas disponíveis, o processo de seleção de indicadores deve buscar o maior grau possível de aderência a algumas propriedades que caracterizam uma boa medida de desempenho. Considerando as abordagens de autores como Rochet, Bout-Colonna e Keramidas (2005), Rua (2004), Jannuzzi (2005) e Ferreira, Cassiolato e Gonzalez (2009), no trabalho realizado pela Secretaria de Gestão do Ministério de Planejamento, Orçamento e Gestão foram consideradas as propriedades dos indicadores como parte de dois grupos distintos:
Propriedades Essenciais: são aquelas que qualquer indicador deve apresentar e sempre devem ser consideradas como critérios de seleção. São elas: validade, confiabilidade e simplicidade.
Validade - capacidade de representar a realidade que se deseja medir e modificar. Ou seja, o indicador deve ser capaz de traduzir a realidade que se deseja observar ou investigar. Pode parecer óbvio mas é comum o uso de indicadores que não representam necessariamente o que se pretende medir. Um exemplo é controlar o valor da fatura mensal de energia elétrica para medir a cultura de economia de energia elétrica da organização. Caso ocorram multas ou atualização de preço poderemos ter resultados que não representem o esforço ou a educação econômica dos militares da organização. Da mesma forma teremos avaliações equivocadas caso haja redução nas tarifas que independe do comportamento dos militares da OM.
Confiabilidade - os indicadores devem ter origem em fontes confiáveis, que utilizem metodologias reconhecidas e transparentes. Garantir que os dados ou os cálculos dos indicadores sejam confiáveis é imprescindível. Sempre que possível devemos evitar, por exemplo, que pessoas interessadas em determinados resultados estejam envolvidas na coleta ou no registro destes dados. Em outras situações as distorções podem ocorrer por conta de deficiências técnicas ou metodológicas. Os gestores devem ter em mente a preocupação com a transparência e com a metodologia utilizada desde a coleta até a avaliação dos índices verificados.
Simplicidade – os indicadores devem ser de fácil obtenção, comunicação e entendimento pelo público em geral. Há de se ter um cuidado especial na interpretação da propriedade “Simplicidade”. Um indicador pode ser complexo do ponto de vista do seu cálculo. A simplicidade a que se refere o autor está relacionada à coleta dos dados ou indicadores simples que podem compor um indicador mais complexo. Com relação à comunicação, a simplicidade quer dizer que seja de fácil entendimento à medida que se relaciona naturalmente com os seus propósitos.
Vejamos agora algumas propriedades complementares, quais sejam:
- sensibilidade;
- economicidade;
- estabilidade; e
- auditabilidade.
As propriedades complementares são também muito importantes, mas podem ser alvo de uma análise para avaliar sua adequação em situações distintas. Abaixo encontram-se as propriedades que mais interessam à gestão organizacional:
Sensibilidade: capacidade que um indicador possui de refletir tempestivamente as mudanças decorrentes das intervenções realizadas. Em outras palavras, o indicador deve reagir imediatamente às alterações que possam ocorrer na realidade que se deseja observar. Quando se fala em tempestividade devemos entender que o tempo de reação ou de sensibilidade do indicador está associado à sua utilização. Não existe um período de tempo padronizado para que possamos considerar um indicador como sensível, tempestivo. É importante na avaliação do tempo de reação do indicador confrontar periodicidade de coleta e periodicidade de avaliação.
Economicidade: capacidade do indicador de ser obtido a custos módicos; a relação entre os custos de obtenção e os benefícios advindos deve ser favorável. É possível que identifiquemos um excelente indicador cuja adoção não seja recomendável pelos altos custos envolvidos no processo de coleta. Algumas vezes o benefício é compensador mas pode esbarrar nas limitações orçamentárias da OM.
Estabilidade: capacidade de estabelecimento de séries históricas estáveis que permitam monitoramentos e comparações. A palavra chave desta propriedade é “comparação”. Devemos utilizar indicadores que nos permitam criar, ao longo do tempo, parâmetros de comparação. Algumas vezes um Chefe ou Comandante apresenta-se insatisfeito com determinados resultados e exige maior produtividade. Entretanto este Chefe, na maioria das vezes, não dispõe de números que possam lhe assegurar uma avaliação mais segura. Portanto, é importante que os indicadores possam contribuir para a formação desses referenciais comparativos por meio de séries históricas.
Auditabilidade: qualquer pessoa deve sentir-se apta a verificar a boa aplicação das regras de uso dos indicadores (obtenção, tratamento, formatação, difusão, interpretação). Esta propriedade possui uma semelhança com a propriedade essencial da simplicidade. Entretanto, a simplicidade se refere especificamente à obtenção, comunicação e entendimento dos dados. Já a auditabilidade está relacionada às diversas etapas do processo de produção do indicador. Preocupa-se com a possibilidade das pessoas verificarem se o processo como um todo está sendo seguido conforme as regras estabelecidas.
(*) Fonte: Curso de Avaliação Organizacional da Fundação Trompowsky
Nenhum comentário:
Postar um comentário