Recurring errors in public policies and major projects: contributions and solutions from evaluation

Recurring Errors in Public Policy and Major Development Projects: Contributions and Solutions from Evaluation (Commentary)

Public Policies are only as good as the available finances to implement and enforce them. This then requires a viable tax base to support the civil services. Unfortunately, too often the host country does not have the necessary tax base. This is what I refer to as a financially suppressed economy. That is an economy serving a mostly impoverished society in which up to 80% of all income or production must be spent on a meager diet to feed the population. This leaves so little discretionary funds that can be taxed.  No taxes, no services!! This leaves most host governments financially stalled, barely able to meet their salary and fringe benefit obligations for the civil officers with virtually no operational funds to implement programs or support policies. Thus, most public policies are paper polices, show a governments’ good intentions, and perhaps appease donors interested in providing financial assistance and funding development projects.

The result is:

1. that the data going into policy decisions might be of limited quality, in proportion to the budget allowance to collect it. This was elaborated on in a previous submission to this forum.
2. The service proclaimed as provided maybe highly compromised by relying on the honor/gratuity/baksheesh system. As appears to be the case for certified seed in Kano, Nigeria.

One must be very careful in building a technical capacity that can not be operationally supported with adequately supported financially. This can be a major disservice to the intended beneficiaries and possible the general public. While not meeting certified seed quality standards may not be particularly deferential, claiming a food safety program based mainly on the honor/gratuity/baksheesh system can easily result in contaminated food getting into the supply chain, resulting in multiple sickness and even death. Better to have no system than a misleading system to prevent people becoming over confident in the food safety and avoiding taking personal caution in preparing food.

There may not be much you can do about this other than be aware that it can and mostly likely is occurring. Also, it might be better to minimize the involvement of host governments in projects as the marginally paid civil officers are usually looking for some informal (politely avoiding the horrible “C” word) opportunities from within the project and can be more a hinderance than an assistance to project implementation. Unfortunately, too often the informal income is a financial necessity for civil officers to obtain any reasonable professional live style.

Please review the following webpages from the https://smallholderagriculture.agsci.colostate.edu/ :

https://smallholderagriculture.agsci.colostate.edu/financially-suppressed-economy-2/

https://smallholderagriculture.agsci.colostate.edu/financially-stalled-governments/ 

https://smallholderagriculture.agsci.colostate.edu/impact-of-financially-stalled-government-limited-variety-improvement-seed-certification/ 

https://smallholderagriculture.agsci.colostate.edu/informal-income-opportunities-seed-fertilizer-voucher-program-of-afghanistan/

Thank you,

Dick Tinsley

Colorado State University

Chère communauté.

Je suis désolée de ne pas être revenue plus tôt vers vous. Cela est dû à un grand chantier professionnel, avant le départ en congé.

Merci pour vos contributions et le partage de vos opinions et analyses, concernant ma question sur les erreurs lors de la conception des politiques publiques et des projets.

Vos réponses sont toutes pertinentes et se complètent parfaitement.

Un merci particulier à Mustapha MALKI, à Lal-Manavado, à Isha Miranda,Emile N.Houngbo et à Gninnan Oumar Sako, pour votre réactivité et pour la qualité de vos contributions.

Hynda Habchi Krachni 

Greetings!

I think your questions can be given generic answers, whose importance may vary according to the prevailing local conditions. I would like to underline that no 'development effort' will be free of some or all of them irrespective of the political maturity and economic status of a country. After all, even though great deal of lip service is done to deal with 'thinking in silos', precious little is being done to guard against 'working in silos' throughout the world. Let us always keep this distinction in mind if we wish to be realistic.

Now to the questions:

• What are the most common mistakes made in your country?

The greatest mistakes are the failure to ascertain the following before a project/plan is designed and executed:

1. Are the beneficiaries willing and able to derive sufficient real benefits from it with reference to their abilities and expectations and not according to those of some distant planners?

2. Are there sufficient local resources both physical and human, needed to make the best use of what has been planned? For instance, there is no need for a multi-million Dollar bridge to transport a couple of tonnes of vegetables to a nearby city.

3. Does the area/country has sufficient technical skills and financial resources to maintain the end-result on its completion?

4. Are there other better alternatives to the current proposal? For instance, in an area where high unemployment rates obtain, it would be more appropriate to select a labour-intensive alternative than a capital-intensive high tech one. After all, the purpose of every development effort should be to enable as many people as possible to secure a decent livelihood.

This list is not exhaustive, but I think its general drift is quite clear.

• To what extent do you think these mistakes could have been avoided with better use of evaluation, or that evaluation could contribute to the success of policies and major development projects?

This is indeed a tricky question. If we speak of evaluation in a very narrow technical sense as it is often done, it can not be of much use here. However, if we are willing to work out of silos as it were, and opt for a holistic notion of evaluation, it could make a significant contribution. That 'if' is logical.

Let me explain; if we are planning to evaluation not the mere hardware of en effort say a hospital or a bridge, and extend our activities to its intended purpose, i.e., benefiting a group of real live people, then it would be invaluable. This might be called pre-effort evaluation of possiblebenefits made with reference to the 4 points above.

• Have the results of evaluations allowed to amend the failures of public policies and development projects?

If evaluation is only concerned with 'the hardware', it could influence policies and implementation strategies only insofar as they are concerned with the end-result, but never with its benefit yield to real people. For example, better bridge building strategies can result in better bridges, but that does not address the question of their utility. So, it would be reasonable to suggest that only holistic pre-evaluation could be of use in better policy design and implementation strategies.

• Have public policies and projects developed subsequent to the conducted evaluations taken into account previous errors and corrections?

Another contributor has already made many perspicacious remarks on this.

Best wishes!

Lal.

Dear All, 

I am sharing the Sri Lankan experience as a contribution to this debate. I am currently participating in the development of the Policy framework of M&E and one of the guiding principles we are using is the SDG concept of "Leaving no one behind".

What are the most common mistakes that you face in your country?

1. Common mistakes are linked to the fact that politicians make election promises that are not achievable and deliver election winning economic analysis.
2. The biggest issue is that the country holds to outdated policies and laws, which remain unattended. For instance, it is common that countries that have been under a colonial era still have policies drafted in that era being used in government economic and social governance as well as laws in the country, which are ineffective and irrelevant.
3. Too many governing structures: national, provincial and local authorities govern in parallel but they have underneath different political agendas which can be seen mishandling some policies, misinterpreting national priorities, mismanaging national interventions and resources etc.
4. Politicization of governance structure and bureaucracy: everybody wants to remain in power and to remain in the position, which paralyzes the governance.
5. Corruption at all levels, and hidden corruption even more dangerous than the visible one.

Here are my suggestions to improve the use of evaluation in policies and programmes:

1. Key to the any country economics planning is setting up a separate independent unit for monitoring and evaluation under the Act or Policy of government constitution/legislation to safeguard taxpayers money, accountability and transparency of the government programmes and projects/ interventions. This unit can be established under either the Planning ministry or the Ministry of finance but needs to maintain independence.
2. The National Auditor general should focus performance audit function, operation or the management systems and procedures of a government entities to assess whether the entity is achieving economy, efficiency and effectiveness in the welfare and employment of available resources. This is a qualitative method.
3. The Ministry of policy planning or another responsible entity should undertake in-depth analysis of all policies and trade agreements, government circulars and amendments with policy activities, to identify the gaps and lesson learned
4. Develop a National M&E policy and Policy framework (the Sri Lankan government is in the progress of developing the framework). The M&E Policy can be mandatory. Set up expert and technical committee of National M&E / reviews and assessments committee. This will be the backbone of the planning and finance entities. The committee responds to the ministry of finance and Ministry of policy planning and economic reform.
5. Promote joint evaluation with other funding and donor agencies and public participation in order to strengthen ownership.

Bonjour à vous,

Je commence par répondre à votre dernière question : "Les politiques publiques et les projets élaborés postérieurement aux évaluations conduites, ont-ils pris en considération les erreurs et les correctifs précédents?"
A cette question, je répond NON. Si les erreurs et les correctifs précédents étaient régulièrement pris en considération en Afrique, et surtout dans les pays d'Afrique noire francophone, il y a longtemps que ces pays se seraient développés. Des problèmes sérieux entachent l'élaboration et la gestion des politiques publiques dans ces pays. D'abord, l'élaboration de ces politiques et programmes publics ne sont souvent pas confiés à de vrais professionnels en la matière. Mais, ce n'est pas le plus grave. Le plus grave, c'est que de façon générale, le suivi et l'évaluation des politiques publiques ne sont pas pris au sérieux, tout comme les gestionnaires de ces programmes sont souvent en mésintelligence avec les responsables chargés du suivi-évaluation. J'en connais vraiment quelque chose pour avoir été responsable du suivi-évaluation pour plusieurs projets de développement. Or, le peu d'importance accordée au suivi-évaluation empêche que l'on suive véritablement les indicateurs établis et in fine, cela empêche de disposer d'une bonne base de données, d'informations et de statistiques pertinentes devant guider l'amélioration de la qualité des futurs programmes. La question de suivi-évaluation est très sérieuse. Dans d'autres cas même, on pense que c'est un gâchis que de dépenser de l'argent pour le suivi-évaluation. Or, les pays qui se développent sont ceux qui accordent du prix au suivi-évaluation. Car, cela permet de ne pas reprendre les mêmes erreurs et d'aller plus vite dans la mise en oeuvre des programmes futurs. Vraiment, je ne sais pas si un jour on commencera dans nos pays à mieux considérer le suivi-évaluation au point même de suivre les recommandations qu'il permet de dégager. Si cela arrivait, ce serait un grand pas fait vers le développement. C'est mon souhait. 

Merci.

========== 
Dr Ir. Emile N. HOUNGBO 
Agroéconomiste, Enseignant-Chercheur 
Directeur, Ecole d'Agrobusiness et de Politiques Agricoles
Université Nationale d'Agriculture, Bénin 

Bonjour à tous,

Tout d'abord, un grand merci à Hynda qui met sur la table un sujet de débat bien "à propos" et que nous devons tous y apporter des réponses sans tabou afin de mettre au centre l'évaluation par rapport à de nombreux égards liés è l'œuvre de développement, dans tous les sens possibles que porte ce terme "développement".

Dans son message, Hynda met en exergue le terme "erreur" tel qu'il est perçu par nombreux d'entre nous dans la vie quotidienne. Cependant, ce terme devrait être replacé dans le contexte de la planification des politiques publiques afin de distinguer l'intentionnel et le non-intentionnel de l'erreur dans la planification dans nos pays, en général d'abord, et dans les politiques publiques, plus particulièrement. Ensuite, Oumar essaie d'apporter quelques bribes de réponse bien évidentes mais finit très vite par verser dans le normatif au lieu de rester dans le réel – ce qui se fait et pourquoi.

Pour ma part, au vu de ma modeste expérience dans l'administration et mes modestes de travaux de recherche pour comprendre comment fonctionne ce que je nommerai comme le "théâtre de développement", je caricature la sphère de développement par l'existence de différents rôles joués par différents acteurs et donc la présence de différentes rationalités. Et je voudrais dire d'emblée qu'il n'y a de pur naïf que celui qui croit que le développement est une œuvre apolitique qui a obéit exclusivement à des considérations techniques. Donc quand on parle d'erreur dans ce contexte, nous devons plutôt de ces erreurs non-intentionnelles que nous pourrions relever dans notre évaluation des politiques publiques, encore faudrait-il que cette évaluation puisse apprécier comment et dans quelles conditions de connaissance et de savoir ont été formulées ces politiques. Et c'est là où l'évaluation peut devenir un instrument intéressant pour nous démontrer que les erreurs que nous pourrions percevoir à travers nos évaluations sont loin de relever du non-intentionnel. En effet, de telles erreurs sont liées fortement au rapport de forces qui existe dans le "théâtre de développement" au moment de la planification d'une politique publique. Et c'est là où j'adhère avec Oumar qui admet que nous n'avons pas fait beaucoup d'évaluations dans nos pays et que même quand parfois celles-ci sont faites, elles sont plutôt faites dans le cadre d'un "ballet folklorique" – très souvent "imposé" par les bailleurs de fonds étrangers. Et comme celles-ci sont faites dans le cadre de programmes et projets de développement, les retombées dans la sphère de planification des politiques publiques demeures limitées pour ne pas dire nulles et les résultats de ces évaluations ne sont jamais perçus comme des outils d'aide à la décision. Il faut bien admettre la séparation opérée dans certains de nos pays entre programmes et projets de développement financés par des bailleurs de fonds étrangers et politiques publiques monnayées par les deniers publics et qui relèvent donc le plus souvent du domaine de la souveraineté nationale.

Ceci ne veut pas dire qu'il n'y a pas d'autres erreurs au moment de la planification de la politique publique, notamment celle liée au manque de connaissances scientifiques et techniques pour pouvoir élaborer une politique publique cohérente avec des objectifs et résultats pertinents et réalistes. De telles erreurs qui peuvent provenir d'un manque réel de connaissances (soit de compétences avérées, soit de statistiques fiables, etc.) peuvent émaner d'autres causes liées au fameux "rapport de forces" évoqué plus haut et ceci nous ramène encore à la nécessité de distinguer l'intentionnel du non-intentionnel dans nos erreurs de planification.

Il y a les erreurs liées à l'existence d'un document "un et unique" qui permet à tout lecteur de comprendre  cette politique publique dont parle un haut responsable sectoriel. J'ai vécu personnellement nombre d'exemples de hauts responsables sectoriels qui parlaient d'une politique sectorielle qui n'existait que dans leur "tête".

Il y a également les erreurs liées à la fixation d'objectifs et de résultats pertinents et clairs, évaluables, etc. Pour un spécialiste de la Gestion Axée sur les Résultats, j'en connais un bout sur la résistance qu'éprouvent certains hauts responsables sectoriels et de velléités d'éviter à ce que ce genre de débat dans le document de planification de la politique publique, quand celui-ci existe et est rendu public.  C'est pour  rendre les choses un peu plus ardues quand il faudra parler de la "redevabilité" des décideurs par rapport à l'atteinte des objectifs.

D'autres types d'erreurs peuvent être relevés par rapport à l'affectation des ressources au profit d'une politique publique et les liens logiques des ressources attribuées par rapport aux objectifs et aux résultats assignés à cette politique publique.

Enfin, il y a un autre type d'erreur qu'on peut relever par rapport à la "versatilité" de cette politique publique. Dans plusieurs secteurs, on lance une politique publique sur la base d'idées encore insuffisamment cernées ou appréhendées et que le responsable politique du secteur est impatient de mettre en œuvre sur le terrain et puis au fur et à mesure que le feed-back (incohérence, protestation, etc.) revient du terrain, on améliore le "contenu" de cette politique et on fait cela de manière récurrente pendant toute la durée de vie de cette politique, ce qui rend difficile son évaluation.

Tout ceci pour dire que le problème n'est guère dans la politique publique ni dans son évaluation. C'est tout juste que dans de telles circonstances, l'évaluation d'une politique publique élaborée dans un "carcan" administratif dénué de logique et démuni de connaissance n'est pas possible et n'aura aucun résultat probant sur l'amélioration de l'œuvre de développement… Elle ne pourra servir qu'à dire au responsable politique sectoriel ce qu'il aime bien entendre, et ceci n'est pas le rôle de l'évaluation au sens de ce qui se fait dans le monde avancé.

Bien à vous

Mustapha

Mustapha Malki, PhD

535 avenue Ampere #5

Laval, QC, Canada

Bonjour Chers Tous,

Il s'agit d'un thème de discussion très intéressant et d'actualité.

De mon point de vue, le constat est que très peu d'évaluations sont réalisées dans nos pays africains du fait de l'idée ou opinion que l'on se fait souvent de l'évaluation. En fait, l'évaluation n'est pas toujours perçue comme un outil d'aide à la prise de décision. Les efforts devront se concentrer en premier sur l'amélioration de cette opinion que l'on se fait de l'évaluation en la présentant comme un outil d'aide à la prise de décision et comme un instrument susceptible d'améliorer la formulation des politiques publiques.

Aussi, la présentation et la communication autour des conclusions des évaluations devront être améliorées pour faciliter l'appropriation de ces conclusions par les Décideurs Politiques qui pourraient s'en servir pour orienter la formulation des politiques publiques.

En somme, l'amélioration de la formulation des politiques publiques sur la base de la prise en compte de résultats d'évaluation nécessite au préalable d'une bonne communication sur l'importance des évaluations en vue de promouvoir davantage la pratique et aussi l'affinement des méthodes ou techniques de présentations de ces résultats aux Décideurs Politiques afin de capter leurs attentions.

SAKO Gninnakan Oumar

Expert en Planification stratégique, suivi-évaluation

Côte d'Ivoire