PRSENTATION

Ce "Petit guide" est le fruit de l'exprience accumule par le Conseil scientifique de l'valuation dans son activit prescrite par le dcret du 22 janvier 1990, au terme duquel il est charg de "favoriser le dveloppement des mthodes d'valuation et de dfinir une dontologie en la matire". Le Conseil a videmment utilis l'exprience des avis rendus dans le cadre de la procdure d'valuation interministrielle, mais les informations et prconisations contenues dans ce guide ne sauraient tre de ce fait considres comme pertinentes pour les seules valuations interministrielles : il existe des questions fondamentales d'approche de l'valuation et des attitudes qu'il est recommand d'adopter dans tous les cas de figure. Bien entendu, les solutions concrtement labores sur le terrain peuvent varier en fonction des contextes ; comme le Conseil scientifique l'avait not dans son deuxime rapport (dcembre 1992) : "les buts lgitimes des valuations peuvent tre trs divers et il est suprmement important de les identifier au pralable pour savoir quel type d'opration l'on a affaire avant de proposer un contrle scientifique de sa faisabilit et de sa qualit. (...) Toute connaissance, et la connaissance valuative en particulier, ne sont pas des modles intellectuels abstraits qu'il suffirait d'appliquer comme une recette tous les milieux et toutes les organisations sans considration de leurs histoires et pratiques". Cependant, les modles d'analyse et d'action qui sont proposs dans ce "Petit guide" signalent des problmes que l'on rencontre sous des formes diverses dans la plupart des cas d'valuation, quels qu'en soient les niveaux et les objectifs. Le Conseil scientifique espre avoir ainsi contribu une meilleure collaboration entre le travail de connaissance scientifique jaug par le test de vrit et le travail de rforme pratique jaug par le test d'utilit. Ce premier texte devrait tre complt par un second volume consacr un examen plus approfondi de questions caractre technique frquemment rencontres dans les dmarches d'valuation. Jean LECA

1. Introduction
1.1. But poursuivi par le prsent guide Le prsent guide est consacr l'valuation des "actions" et "activits" publiques, vocables dlibrment imprcis pouvant dsigner une large gamme d'objets : politiques, programmes, actions, mesures, rglementations, projets, activit d'une administration ou d'un corps de fonctionnaires, service(s) produit(s) par un organisme ou un tablissement public, etc. L'valuation individuelle des personnels est en revanche ici clairement exclue. Par commodit, on emploiera le plus souvent dans ce qui suit le terme politique, rfrence habituelle dans le contexte franais de l'valuation publique, dans un sens gnrique qui, sauf prcision contraire, est susceptible d'inclure les diffrents objets mentionns ci-dessus. On se limitera, pour l'essentiel, l'valuation ex-post ou concomitante, l'valuation a priori posant, dans l'ensemble, des problmes mthodologiques de nature diffrente. Cela tant, certains des principes et instruments que l'on va prsenter peuvent s'appliquer l'valuation prvisionnelle. Dans le cadre ainsi prcis, ce guide tente de dfinir des rgles mthodologiques de porte gnrale. Il porte, certes, la marque du contexte dans lequel il a t labor : le Conseil scientifique de l'valuation, auteur collectif de l'ouvrage, a eu examiner des projets et rapports produits dans le cadre de la procdure interministrielle d'valuation instaure par le dcret du 22 janvier 1990 (valuations de grande ampleur, dcides par le gouvernement, concernant des politiques complexes objectifs et acteurs multiples). Instruit par sa pratique, le Conseil scientifique a port une grande attention des questions qui, sans tre spcifiques, revtent une acuit particulire dans ce genre d'oprations. Le lecteur devra en tenir compte et, dans quelques cas, adapter les prconisations prsentes ses besoins propres. L'exprience prouve cependant que les problmes rencontrs dans les cas les plus complexes ne sont pas absents d'valuations apparemment plus simples, ou se voulant plus pragmatiques dans leur dmarche. Ce "Petit guide", qui ne traite que sommairement des techniques de la recherche valuative, s'adresse d'abord aux agents publics impliqus dans des oprations d'valuation au titre d'utilisateurs, de commanditaires ou de membres d'"instances d'valuation". Il peut galement tre utile aux experts et chercheurs susceptibles d'tre impliqus dans une opration d'valuation, en leur donnant des informations sur le contexte dans lequel ils auront travailler. Son but principal est de fixer les principes gnraux de la dmarche sans entrer dans le dtail des diffrentes techniques de collecte et de traitement de l'information. Il s'agit d'abord, en d'autres termes, de rpondre deux grandes questions : quoi peut servir l'valuation et comment s'y prendre pour l'organiser et la mener bien ?

1.2. Un ventail de pratiques administratives et cognitives Qu'est-ce que l'valuation ? il n'est pas si facile de rpondre prcisment cette question. Le terme est en effet employ pour dsigner des oprations qui n'ont premire vue pas grand rapport entre elles : a) Un service extrieur de l'Etat met en place un "tableau de bord" de son activit, regroupant dans un cadre formalis des donnes sur les moyens humains et financiers mobiliss par les diffrentes actions dont il a la charge, ainsi que sur quelques paramtres physiques de cette activit (nombre de dossiers traits, populations bnficiaires, type de prestations ou de services produits...etc), voire des indicateurs de performance ou de qualit du service. b) Un organisme de contrle ou un corps d'inspection ministriel ralise une enqute sur l'activit d'un organisme sous tutelle, en s'efforant d'analyser la fois son fonctionnement et les rsultats obtenus. c) Une quipe de sociologues mne une recherche sur l'impact d'une nouvelle mesure sociale (en application ou en projet) sur la situation de ses bnficiaires. d) Un conomiste estime l'impact conomique d'une nouvelle mesure fiscale en utilisant un modle conomtrique. e) Un organisme public demande un consultant de mener un audit sur sa structure, son fonctionnement et ses missions. f) Le Premier ministre demande une personnalit ou une commission de lui remettre un rapport sur un problme concernant l'action de l'Etat ou sur un problme gnral de socit. Cette numration, non exhaustive, montre que l'on se trouve face un continuum de pratiques impliquant la collecte et le traitement d'informations sur l'action publique (que s'est-il pass ?), des proccupations normatives (a t-on bien fait ?), et/ou des proccupations instrumentales (comment faire mieux ?) lies au bon fonctionnement et l'efficacit des administrations et services publics. Il est clair que, dans chacune de ces oprations, une partie ce que l'on appelle ici valuation est concern. Mais on pourrait aussi bien, dans beaucoup de cas, parler de contrle (ou d'analyse) de gestion, de contrle de conformit, de conseil, d'expertise, de recherche applique ou d'audit. 1.3. Les spcificits de l'valuation Pour spcifier le type d'oprations vis par le prsent guide, le plus simple est de recenser les principales exigences et proccupations qui doivent imprativement tre prises en compte dans une dmarche d'valuation. Celles-ci peuvent tre rsumes en deux points :

- l'ambition de mesurer, ou du moins d'apprcier le plus objectivement possible (en se conformant aux exigences de la mthode scientifique et en prenant de l'indpendance vis vis de celui qui conduit la politique), les effets de la politique value sur la socit(1), et/ou de comprendre les logiques de son fonctionnement ; - le souci d'aider le commanditaire politique (et, au del, l'ensemble des lecteurs du rapport d'valuation) porter un jugement de valeur sur la politique value (sur l'atteinte de ses objectifs et, ventuellement, sur leur validit ; sur son efficacit, son efficience, sa cohrence, etc...) Une troisime proccupation, de nature quelque peu diffrente, est souvent mise en avant. Elle n'est pas constitutive de l'valuation au mme titre que les deux prcdentes, mais se rvle nanmoins fort importante dans bon nombre de cas : - le souci de contribuer pratiquement l'amlioration de la politique value en clairant ses diffrents protagonistes sur le sens, les conditions et les consquences de leurs actions et dcisions. 1.4. Commentaire sur quelques dfinitions De nombreuses dfinitions de l'valuation ont t proposes. a) Certaines dfinitions considrent l'valuation comme une activit principalement cognitive. La seule dfinition "officielle" est celle qui figure dans le dcret du 22 janvier 1990 : "valuer une politique, c'est rechercher si les moyens juridiques, administratifs ou financiers mis en oeuvre permettent de produire les effets attendus de cette politique et d'atteindre les objectifs qui lui sont fixs". Cette dfinition insiste juste titre sur le fait que les effets de la politique doivent tre apprcis en rfrence ses objectifs. Il faut pour cela qu'ils aient t formuls de manire suffisamment prcise et opratoire pour tre confronts l'observation empirique de la ralit sociale, ou du moins qu'ils puissent tre reconstitus et/ou interprts dans cette perspective. C'est ainsi que le Conseil scientifique de l'valuation a compris la dfinition du dcret : le rfrentiel(cf 3.1.5.) de l'valuation n'est jamais compltement dductible des textes officiels et sa construction fait partie intgrante du travail d'valuation. Une autre dfinition de l'valuation avait t propose dans un rapport du Plan de 1985 (rapport Deleau) : valuer une politique, c'est "reconnatre et mesurer ses effets propres". Cette dfinition ne prsuppose pas l'existence d'objectifs, mais elle nglige le fait que les effets d'une politique sont en gnral extrmement nombreux, complexes et htrognes : ils ne sont pas identifiables sans une grille de lecture pralable et sont, qui plus est, rarement mesurables. Elle a cependant le mrite de mettre l'accent sur la notion d'"effets propres" : ce que l'on attend de l'valuation, ce n'est pas seulement de constater si des objectifs ont t atteints, mais de chercher
(1) Les effets de la politique sur la socit, ou l'"tat de la socit", sont prendre au sens large, incluant l'tat de la nature, la situation conomique, etc.

identifier l'ensemble des effets d'une politique et de faire la part entre les effets imputables l'action publique considre et l'influence de facteurs exognes. b) La dfinition du rapport Viveret (1989), en revanche, met l'accent sur la dimension normative de l'valuation : "valuer une politique, c'est former un jugement sur sa valeur". Le terme d'valuation contient le mot "valeur", et il est ais de constater que des valeurs de rfrence sont l'arrire plan de la plupart des valuations. La dcision d'valuer est toujours lie la volont d'argumenter sur la russite ou le bien-fond d'une action. Reste que la dcision finale sur la poursuite ou la rforme d'une politique publique est toujours un acte politique : on verra que l'valuation ne peut qu'y contribuer, dans des conditions et des limites qui doivent tre soigneusement prcises. c) D'autres dfinitions soulignent la dimension instrumentale, utilitaire de l'valuation, qui n'apparat que de manire implicite dans les dfinitions prcdemment cites. Pour Freeman et Rossi, par exemple, l'valuation doit se proccuper de "l'utilit, de la mise en oeuvre, de l'efficacit et de l'efficience des mesures qui ont pour but d'amliorer le sort des membres de la socit". On retiendra de cette brve discussion que l'valuation est une activit la fois, et en proportions diverses, cognitive, normative et instrumentale.

1.5. Evaluation, recherche, contrle, audit A la lumire des dveloppements prcdents, il est possible de prciser le positionnement de l'valuation par rapport des "genres voisins" : recherche, contrle, audit. - L'valuation se diffrencie de la recherche pure par sa prise en compte explicite et a priori de finalits normatives et instrumentales. Certes, comme l'a fortement soulign la sociologie de la science, la recherche, mme fondamentale, n'est jamais exempte de proccupations pratiques lies son contexte social. Il n'en demeure pas moins que la crdibilit du chercheur, particulirement dans le domaine des sciences sociales, repose sur une revendication d'autonomie par rapport au politique, autonomie qui implique en particulier le libre choix des questions et des grilles d'interprtation. Le seul but affich est le progrs de la connaissance pour ellemme. Dans le cadre de l'valuation, au contraire, le chercheur, sans renoncer aux exigences mthodologiques de sa discipline, accepte d'tre intgr dans un dispositif et de considrer comme pertinentes (quitte les discuter ou les reformuler) les questions et valeurs de rfrence d'un commanditaire politique. - L'valuation se diffrencie des diffrentes formes de contrle (contrle de conformit, contrle et analyse de gestion) et de l'audit organisationnel par le type de point de vue adopt pour apprcier l'action publique. Le contrle et l'audit se rfrent des normes internes au systme analys (rgles comptables, juridiques, ou normes fonctionnelles), tandis que l'valuation essaye d'apprhender d'un point de vue principalement externe les effets et/ou la valeur de l'action considre.

L'valuation peut nanmoins intgrer l'audit du fonctionnement des services chargs de la mettre en oeuvre, ou une tude sociologique ayant le mme objet, dans la mesure o ce fonctionnement influe sur les effets que l'on cherche mesurer et expliquer. Il faut rappeler galement que, contrairement certaines formes d'audit, l'valuation n'a pas pour objet de porter un jugement sur la manire dont les agents individuels, y compris les responsables hirarchiques, remplissent leur mission. 1.6. Les fonctions et finalits sociales de l'valuation Il est courant dans la littrature consacre l'valuation de classer les pratiques valuatives selon les buts (souvent supposs incompatibles entre eux) que poursuivent leurs initiateurs, et les rsultats en attendre. On oppose ainsi parfois l'valuation "rcapitulative" qui a pour but d'aboutir une apprciation globale et distancie, et l'valuation "formative" qui vise prioritairement clairer les acteurs impliqus dans la mise en oeuvre d'une politique sur le contexte et les consquences de leurs pratiques. Selon un autre point de vue, on oppose parfois l'valuation "managriale" qui cherche rendre plus efficiente la gestion publique et l'valuation "dmocratique" qui a pour ambition d'accrotre la qualit et la transparence du dbat public. Il n'est pas certain que ces catgories soient pertinentes en tant que principe de classement des oprations d'valuation : l'exprience tendrait plutt montrer que les valuations russies remplissent une pluralit de fonctions. Il n'en demeure pas moins utile de distinguer diffrentes finalits qui peuvent avoir plus ou moins d'importance selon les cas considrs : a) une finalit "dontologique" : rendre des comptes aux responsables politiques et aux citoyens sur la manire dont une politique a t mise en oeuvre et sur les rsultats qu'elle a obtenues. Cette dimension recouvre donc la fois l'amlioration de l'"imputabilit" des systmes d'action publique (notion correspondant au terme anglais accountability, au sens de capacit rendre des comptes sur son action une autorit de niveau suprieur ou un public dmocratique), la finalit informative et la finalit "dmocratique" de l'valuation. b) une finalit gestionnaire : rpartir plus rationnellement les ressources humaines et financires entre diffrentes actions, amliorer la gestion des services chargs de les mettre en oeuvre. c) une finalit dcisionnelle : prparer des dcisions concernant la poursuite, l'arrt ou la refonte d'une politique. d) une finalit d'apprentissage et de mobilisation : contribuer la formation et la motivation des agents publics et de leurs partenaires en les aidant comprendre les processus auxquels ils participent et s'en approprier les objectifs.

En outre, sans que l'on puisse parler de finalit, l'un des rles manifestes de l'valuation est de favoriser les convergences de vue et la coopration entre des acteurs politiques ou administratifs autonomes engags conjointement dans la conduite d'une action. Les questions poses, le choix des mthodes et des informations collecter, et, finalement, le type d'arguments dvelopper dans le rapport d'valuation, dpendront pour partie des buts organisationnels et politiques poursuivis par le commanditaire et de la nature des bnfices escompts de l'valuation (cf 3.1.3.).

1.7. Classement des "qualits" d'une politique value Fondamentalement, l'valuation consiste tenter de rpondre un ensemble de questions relatives une politique, sa mise en oeuvre et ses effets. Ce questionnement peut tre orient de diffrentes manires en fonction du contexte et des buts poursuivis par le commanditaire. Pour aider celui-ci former son jugement, l'valuation cherche apprcier dans quelle mesure la politique value possde les principales "qualits" qui caractrisent idalement une "bonne" politique : - Cohrence (dans la conception et la mise en oeuvre) : les diffrents objectifs sontils cohrents entre eux ? les moyens juridiques, humains et financiers mis en place sont-ils adapts ces objectifs ? - Atteinte des objectifs : Dans quelle mesure les volutions constates de la ralit sociale sont-elles conformes aux objectifs de la politique ? - Efficacit : Dans quelle mesure les effets propres de la politiques sont-ils conformes ses objectifs ? (on revient en 3.2.2 et au chapitre 8 sur la notion d'"effets propres"). - Efficience : Les ressources financires mobilises par la politique ont-elles t bien utiliss ? les rsultats de la politique sont-ils la mesure des sommes dpenses ? - Impact (effectivit) : Quelles sont les consquences globales de la politique pour la socit ? ces consquences sont-elles bnfiques ? - Pertinence : Une politique se justifie trs gnralement par l'identification d'un "problme de socit" auquel les pouvoirs publics se sentent tenus de faire face. Une politique sera dite pertinente si ses objectifs explicites sont adapts la nature du (des) problme(s) qu'elle est cense rsoudre ou prendre en charge. La question de la pertinence est la plus dlicate et la plus "politique" que l'valuation ait examiner. Il est parfaitement lgitime de l'exclure du champ de l'valuation, si tel est le choix du commanditaire.

1.8. Actualit et avenir de l'valuation L'valuation rpond un besoin de rationalit, mais aussi de transparence : quoi de plus normal, en apparence, pour un responsable politique ou administratif que de chercher connatre les consquences de ses dcisions ou de son action afin d'en assumer pleinement la responsabilit ? Dans une conception dmocratique du fonctionnement de l'tat et de la gestion publique, une telle exigence parait s'imposer. Pourtant, l'exprience montre que l'valuation n'est pas une dmarche naturelle dans les services publics. Les obstacles auxquels elle se heurte peuvent tre mis au compte de difficults pratiques : une valuation approfondie cote cher et prend du temps. Les dcideurs justifient souvent leur scepticisme vis vis de l'valuation par le fait qu'ils sont confronts des chances de court terme et qu'ils doivent faire des choix qui ne peuvent attendre les rsultats de longues tudes. Les calendriers lectoraux sont cependant plutt de moyen terme, et la gestion dans l'urgence et l'improvisation n'est pas une fatalit. Une meilleure matrise du temps de la dcision donnerait l'valuation tout son sens et toute son utilit. Des rsistances plus profondes existent, plus ou moins consciemment lies la volont de prserver des zones d'opacit dans l'action publique. Cette opacit tant elle-mme perue comme un facteur d'autonomie par les fonctionnaires et les lus. Il est certain que le commanditaire de l'valuation court le risque de ne pas matriser totalement les processus de changement qu'elle est susceptible d'enclencher. En dpit de ces obstacles, l'valuation se dveloppe depuis une dizaine d'annes, dans notre pays comme dans l'ensemble des pays dvelopps. Les raisons qui paraissent expliquer ce dveloppement sont les suivantes : - les difficults budgtaires et la crise de lgitimit de l'action publique rendent ncessaire une justification plus solidement argumente des interventions et des dpenses publiques. Le lien entre valuation et dcision budgtaire est rarement direct et contraignant. Il s'agit davantage d'clairer partiellement des choix complexes que de les rduire un calcul cot-avantages. Mais l'valuation n'en est pas moins porteuse d'efficience et d'efficacit publique, par dfinition. - La dcentralisation, la construction europenne et, plus gnralement, l'intensification de la coopration conomique mondiale ont accru les interfrences entre niveaux de pouvoir juridiquement autonomes. La complexit qui en rsulte accrot les besoins d'information commune, de coordination et de rgulation. Le processus d'valuation peut tre un moment intense d'change d'information et de coopration entre acteurs juridiquement autonomes. Ce besoin de coordination ne concerne d'ailleurs pas que les collectivits publiques : d'autres acteurs, entreprises, associations, organisations socio-professionnelles, sont de plus en plus frquemment impliqus en tant que partenaires dans la mise en oeuvre des politiques publiques. Cette volution se traduit notamment par la multiplication de procdures innovantes qui tentent d'instaurer, par un recours tendu la technique

du contrat, de nouvelles formes d'action collective et de nouveaux mcanismes d'incitation et de rgulation. Il est significatif que les actions de ce type suscitent frquemment une demande d'valuation. - Les agents publics doivent suivre le mouvement gnral de modernisation, d'ouverture et de responsabilisation : ils ont besoin pour cela de formation continue et d'un surcrot de motivation. Visant confronter les administrations l'impact social de leur action, l'valuation est pour les fonctionnaires l'occasion de vrifier leurs pratiques, de rfrer leur engagement professionnel des objectifs sociaux, de se proccuper des finalits et des rsultats concrets de leur action. L'administration ne sera "une affaire qui marche" (going concern) que si les agents administratifs sont adapts et efficients. Cette condition est ncessaire, mais elle n'est pas suffisante : il faut aussi que le "sens de la marche" soit le bon. Le dveloppement de l'valuation semble de nature rpondre cette double ncessit.

Premire partie : Conception et pilotage de l'valuation

2. Vue d'ensemble sur une opration d'valuation
2.1. L'valuation comme procdure formalise 2.1.1. Produire des connaissances appropriables L'valuation au sens du prsent guide est une activit de nature institutionnelle, qui a vocation s'intgrer la gestion publique et au fonctionnement du systme politique. Il est commode d'oprer une distinction entre l'valuation ainsi comprise et la "recherche valuative" (evaluation research), recherche en sciences sociales applique l'tude des politiques et de leurs effets sur la socit. L'valuation s'appuie sur la recherche valuative mais ne s'y limite pas. L'valuation a pour finalit de contribuer l'laboration d'un jugement de valeur, de prparer une dcision, d'amliorer pratiquement la mise en oeuvre d'une politique ou le fonctionnement d'un service. Dans tous les cas, il faut que le commanditaire et les autres destinataires de l'valuation (y compris, dans certains cas, le grand public) puissent s'approprier les rsultats et connaissances produites, les intgrer leur propre vision de la ralit. A cette fin, trois conditions doivent tre runies : - l'valuation doit rpondre aux questions que se pose le commanditaire (ce qui implique un projet d'valuation cibl et un cahier des charges prcis) ; - les informations et raisonnements dvelopps doivent tre crdibles et, dans toute la mesure du possible, comprhensibles par l'ensemble des destinataires ; - les jugements de valeur ports par l'valuation doivent tre perus par eux comme fonds sur des arguments lgitimes(1). C'est en fonction de ces trois impratifs que doit tre conue toute dmarche d'valuation. Le projet d'valuation doit s'efforcer de crer ds le dpart les conditions d'une bonne rception de ses rsultats, gage de leur impact sur les dcisions et pratiques administratives. L'ide de base est la suivante : il est plus facile de s'entendre sur des questions et sur une mthode que sur des rponses. Distinguer rigoureusement les diffrentes tapes de l'valuation (les temps du questionnement, du choix des mthodes, de la collecte et du traitement des donnes, et enfin celui de la formulation des rponses et conclusions), permet de construire pas pas les lments d'un monde commun, ensemble de connaissances et de rfrences partages par les valuateurs, les
(1) Cette exigence de lgitimit de l'argumentation n'imposant pas l'valuateur de ne formuler que des conclusions qu'il estime acceptables pour le commanditaire.

commanditaires et les autres acteurs concerns. Exemple : Afin d'valuer les "politiques d'insertion des adolescents en difficult" (1993), il est apparu ncessaire de recenser les diffrents sens que les textes officiels, les chercheurs en sciences sociales et les acteurs de terrain donnent du terme "insertion". L'une des tudes a notamment mis en vidence les diffrences essentielles dans la manire de concevoir l'insertion selon qu'on est oprateur dans un canton rural, dans un bassin d'emploi conomiquement sinistr ou en banlieue parisienne (1). C'est pour cette raison, fondamentale du point de vue de l'utilit sociale de l'valuation, que l'on met dlibrment l'accent dans ce guide sur le caractre procdural de la dmarche. 2.1.2. Deux niveaux de mthode Compte tenu de ce qui vient d'tre dit, toute dmarche d'valuation fait appel deux registres d'laboration mthodologique : - les mthodes de la recherche valuative, c'est dire les mthodes de recherche en sciences sociales applicables l'tude des politiques publiques. Ces mthodes sont peu spcifiques : on y retrouve l'ensemble de la "boite outils" du statisticien, de l'conomiste, du sociologue, voire du psychologue, de l'anthropologue ou de l'historien. - les principes mthodologiques et dontologiques applicables au "management" politique et organisationnel de l'valuation (y compris le fonctionnement du dispositif mentionn en 3.1.8.), et l'laboration du projet d'valuation, cadre conceptuel dans lequel devra s'inscrire le travail de rassemblement des donnes et la recherche valuative. Les chapitres 2 4 concernent principalement ce dernier aspect. Quant aux mthodes de la recherche valuative, on en aborde les principaux aspects aux chapitres 5 8, tant rappel que le prsent guide n'a pas vocation se substituer aux ouvrages plus techniques de mthodologie des sciences sociales.

2.2. Caractristiques gnrales d'une opration d'valuation La premire tape de l'valuation est l'identification de son objet, de ses protagonistes, et la comprhension de ses enjeux.

11

2.2.1. Qui demande l'valuation, et pourquoi ? Hormis le cas o l'valuation rsulte d'une procdure caractre systmatique (tel que l'examen des tablissements d'enseignement suprieur par le Comit National d'Evaluation), elle fait toujours l'objet d'une dcision spcifique de la part d'un commanditaire. Ce commanditaire est le plus souvent une autorit politique ou administrative hirarchiquement responsable de la politique, mais ce peut tre une instance ad hoc (Comit interministriel de l'valuation, Comits rgionaux d'valuation...), ou un organisme de contrle (Cour des comptes, corps d'inspection...). Dans le cas des politiques partenariales, surtout lorsqu'elles sont contractualises (contrats de Plan tat-Rgion, contrats de ville), la dcision d'valuer est gnralement prise en commun par les partenaires. Il faut toutefois noter que le commanditaire officiel de l'valuation n'est pas ncessairement son initiateur rel. Celui-ci (direction technique, corps d'inspection, instance consultative...), sera peut-tre l'interlocuteur pertinent dans la phase d'lucidation du projet d'valuation. Exemple : l'valuation de la politique d'insertion des adolescents en difficult a t dcide par le Comit interministriel de l'valuation en 1990 la demande du Ministre des finances, l'initiative de l'Inspection gnrale des finances et de l'Inspection gnrale des affaires sociales (1). L'analyse des positionnements de l'initiateur et du commanditaire par rapport l'action value fait apparatre une grande varit de situations, depuis l'valuation totalement intgre au management d'une activit jusqu' l'valuation demande, commandite ou ralise par un organisme indpendant du dcideur. En plus des initiateurs et commanditaires de l'valuation, il faut tenir compte dans son droulement de ses autres destinataires potentiels et des diffrents "porteurs d'enjeux" (stakeholders), acteurs sociaux dont les intrts peuvent tre affects par les suites donnes l'valuation (associations, organisations professionnelles, groupes de pression...). L'identification des acteurs, la reconstitution des tapes successives ayant conduit la dcision d'valuer, les motifs invoqus, les formes prises par le processus dcisionnel, etc...peuvent tre autant d'lments importants pour saisir les finalits relles d'une opration d'valuation, anticiper ses difficults et fixer ses priorits. 2.2.2. Des objets de nature diverse L'valuation peut concerner diffrents types d'objets : action, activit, service ou organisme. Les deux types les plus frquemment rencontrs sont les politiques et les programmes, mais on peut aussi valuer des projets, des pratiques, etc... Politiques et programmes

12

Les textes franais relatifs l'valuation font presque toujours rfrence l'valuation des politiques publiques. Dans le monde anglophone, en revanche, comme d'ailleurs dans la plupart des autres pays, c'est la notion d'valuation de programme qui domine. La diffrence n'est pas seulement d'ordre smantique : elle est rvlatrice de conceptions diffrentes de l'action publique. Le terme de programme dsigne, en principe, une squence d'action limite dans le temps et, surtout, dfinie prcisment dans ses moyens et ses objectifs opratoires (on parlera, par exemple, d'un programme de 20 000 stages pour chmeurs de longue dure). La notion de politique, quant elle, renvoie plutt un ensemble complexe de programmes, de procdures et de rgulations concourant un mme objectif gnral (la "politique de l'emploi", par exemple, est constitue d'un nombre important de tels lments). En rgle gnrale, l'valuation parat plus simple concevoir dans le cas d'une action individualise, de nature programmatique ou rgulatrice, dans la mesure o les rsultats attendus, les moyens et les mcanismes d'action sont immdiatement lisibles dans le dispositif. D'un autre ct, en choisissant des objets trop limits, on court parfois le risque de ngliger les interfrences avec d'autres actions publiques visant les mmes populations ou s'attaquant aux mmes problmes. La dmarche d'valuation est, il est vrai, plus complexe lorsqu'elle prend pour objet une politique publique composite, et les aspects procduraux souligns prcdemment prennent alors davantage d'importance. Mais, prcisment, l'imbrication croissante des problmes et des interventions est l'une des difficults majeures que doit affronter l'action collective, et l'valuation doit l'y aider.

Grands projets Les grands projets d'investissement (une ligne de TGV, par exemple) peuvent tre considrs comme des types particuliers de programme, mais ils n'en prsentent pas moins des caractristiques spcifiques du point de vue de l'valuation : - les dcisions les concernant ont un caractre irrversible, ce qui implique que l'accent soit mis davantage sur l'valuation a priori que sur l'valuation ex-post ; - ils permettent la production de biens et services, caractre marchand ou non, qui donnent souvent lieu des actes de consommation individualiss (prendre le train, se rendre dans une bibliothque ou un muse), d'o l'utilisation plus systmatique des mthodes d'valuation conomique (cot-avantages), sans ngliger pour autant l'tude des externalits sociales, urbanistiques et environnementales. Pratiques professionnelles Certaines pratiques professionnelles spcialises concourant la production de biens et services publics peuvent donner lieu valuation. On value par exemple l'activit des organismes de formation ou les pratiques mdicales. Dans ce dernier cas, l'valuation porte principalement sur les stratgies diagnostiques et thrapeutiques (par exemple la pratique des frottis vaginaux pour prvenir le cancer

13

de l'utrus). Il s'agit, sur la base d'arguments scientifiques, de recherches valuatives et de discussions contradictoires ("confrences de consensus"), d'aboutir une "rfrence mdicale", c'est dire une norme ayant vocation rgir la prescription du traitement ou de la technique value. Activit des services et organismes Par extension, l'activit d'un service ou d'un organisme peut galement tre value, la frontire avec l'audit tant alors, dans certains cas, plus difficile tracer. On peut citer l'exemple des valuations ralises par le Comit National de la Recherche, ou encore l'valuation du rseau des tablissements culturels en Europe par le Ministre des affaires trangres.

2.2.3. Temps de l'valuation et "cycle de vie" de la politique value L'valuation peut tre ralise diffrents moments de l'histoire d'une politique. On distingue principalement : - l'valuation ex ante, tude prospective de la faisabilit et de l'impact d'une mesure projete ou en prparation ; - l'valuation ex post, qui vise tirer des enseignements rtrospectifs sur une politique parvenue maturit et "routinise" ; - l'valuation concomitante (ou "chemin faisant"). Il n'est jamais facile d'harmoniser le temps de l'valuation et celui qui rythme la vie d'une politique (calendrier lectoral et budgtaire, vnements sociaux susceptibles de modifier l'agenda politique, etc...). Dans un schma idal, les dcisions politiques publiques les plus importantes devraient faire l'objet d'une valuation ex ante, d'une valuation concomitante intgre au dispositif de pilotage de l'action, et d'une valuation-bilan (ex post), dbouchant sur une ractualisation des objectifs et des moyens. En pratique, il faut admettre que les retombes de l'valuation sont souvent indirectes et longues se manifester. L'exprience nord-amricaine tend prouver que le stock d'tudes et d'valuations accumul sur une question donne constitue une ressource prenne que l'on peut mobiliser tout moment, pendant des annes, pour prparer des dcisions dans des dlais relativement brefs.

2.3. Mandat, projet, cahier des charges La procdure qui part de la dcision du commanditaire pour aboutir la ralisation pratique des travaux d'valuation peut prendre des formes varies. Elle doit tre marque par des tapes formelles matrialises par des documents crits. On distingue gnralement : - le projet d'valuation, savoir l'ensemble des rflexions qui prcdent la phase de

14

collecte et de traitement des informations. Le projet n'est pas ncessairement consign ds le dbut dans un document prcis et exhaustif. Son laboration peut, selon les cas, prcder partiellement la rdaction du mandat d'valuation, auquel cas celui-ci doit y faire rfrence. Lorsqu'une "instance d'valuation" est constitue (cf 3.1.8.), sa tche prioritaire est de valider et de s'approprier les premiers lments du projet d'valuation, de les complter et de les prciser dans la ligne du mandat. Dans certains cas, les oprateurs ou "chargs d'valuation" (cf 3.1.11) peuvent tre, de fait, associs la phase finale de son laboration. Une fois dfinitivement prciss, les principaux lments du projet devraient faire l'objet d'un document de synthse, texte de rfrence qui servira de fil conducteur pour la rdaction du rapport final et de charte l'instance d'valuation. - le mandat d'valuation est le document par lequel le commanditaire politique confie officiellement la responsabilit de l'valuation un valuateur (individu ou organisme), ou une instance d'valuation (en la personne de son prsident). Le mandat est gnralement bref : il insiste sur les questions qui intressent particulirement le commanditaire, dcrit le dispositif institutionnel et matriel de l'valuation sans entrer dans le dtail des mthodes, en se rfrant ventuellement des documents complmentaires. Il peut en revanche fixer des dlais pour la remise du rapport d'valuation. - l'expression de cahier des charges est parfois employe pour dsigner le projet ou le mandat. Il vaudrait mieux lui conserver son sens prcis de document servant de base une relation contractuelle entre le commanditaire d'une tude spcifique et un oprateur. Dans le contexte de l'valuation, le cahier des charges peut concerner soit un sous ensemble des travaux d'tude programms dans le projet d'valuation, soit l'opration d'valuation dans son ensemble (lorsque sa conduite est confie un oprateur).

2.4. L'importance du travail prparatoire Le travail de rassemblement et de traitement des informations qui constitue la substance d'une opration d'valuation doit obir un schma prcis. Rduit l'essentiel, le projet d'valuation dcrit un cheminement logique qui part des problmes et interrogations qui ont motiv l'valuation pour formuler un ensemble de questions et indiquer par quels moyens on va tenter d'y rpondre. On ne saurait trop insister sur la ncessit de respecter ce cheminement. Trop d'valuations sont orientes par le choix a priori d'une mthode ou par la nature de l'information immdiatement disponible, au dtriment de la pertinence du questionnement. De plus, avant de prendre la dcision, coteuse, de procder une valuation, il est indispensable de se demander si elle est ralisable. L'emploi usuel du terme faisabilit ne doit cependant pas induire en erreur : il est toujours possible d'approfondir l'analyse d'un problme ou de complter le stock des connaissances disponibles sur une politique et ses effets ; mais il peut se faire que les efforts

15

ncessaires soient disproportionns aux bnfices prvisibles ou aux exigences de dlais imposs par la commande. Cette exigence de "parcimonie", qui est parfois cite comme l'un des principes dontologiques de l'valuation, peut justifier la ralisation d'une tude de faisabilit, ou d'une pr-valuation. Outre le fait qu'elle apporte souvent des lments de rponse aux questions du commanditaire, l'tude de faisabilit permet de choisir entre diffrentes approches et de se prononcer en toute connaissance de cause sur l'opportunit d'entreprendre de longs et coteux travaux de recherche.

3.

Le projet d'valuation

3.1. Les tapes du projet L'laboration d'un projet d'valuation comporte diffrentes tapes. La prsentation que l'on en fait ici est volontairement trs analytique. En pratique, ces tapes peuvent se recouvrir, ou tre abordes dans un ordre diffrent. 3.1.1. Dfinition du champ de l'valuation L'laboration du projet commence par un effort de dfinition de la politique valuer, c'est dire du champ (institutionnel, temporel, gographique...) des activits et mesures prendre en compte. Exemple : Il n'y a pas de dfinition univoque de ce qu'il faut entendre par "Politique de la montagne". Les mesures susceptibles d'tre comprises dans cet ensemble sont trs nombreuses et des choix sont ncessaires (jusqu'o faut-il prendre en compte les politiques sectorielles non spcifiques -agriculture, transport, tourisme- ayant une forte incidence sur le dveloppement des zones considres ?). Autre problme : cette politique a une longue histoire (plus d'un sicle) : quelle priode faut-il prendre en considration ? jusqu'o faut-il remonter pour analyser les objectifs poursuivis par les pouvoirs publics ? (2)

3.1.2. Reprage des objectifs, officiels ou implicites. Les objectifs officiels sont parfois explicits dans les textes qui instituent une politique (par exemple, dans l'expos des motifs d'une loi ou d'un dcret). Cette source principale doit tre confronte tout document susceptible d'clairer sur les intentions des dcideurs : dclarations de responsables politiques ou administratifs, compte rendus des dbats parlementaires qui ont prcd l'adoption d'une loi, etc. Il arrive frquemment que les objectifs initiaux d'une politique soient inflchis par des dcisions ultrieures plus discrtes, notamment par des arbitrages budgtaires. 3.1.3. Identification des finalits et enjeux de l'valuation

16

Au vu du contexte dans lequel a merg la demande d'valuation (cf 2.2.1.), des attentes exprimes par le commanditaire et de la phase du "cycle de vie" de la politique o intervient l'valuation, il s'agit d'identifier le type de rsultats et de retombes pratiques que l'on peut en attendre, ainsi que ses consquences potentielles pour les diffrents protagonistes. Celles-ci peuvent tre trs diffrentes selon que l'valuation a un enjeu limit (ramnagement technique d'une procdure, reformulation de certains objectifs...), qu'elle peut aboutir modifier substantiellement l'allocation de ressources budgtaires, dboucher sur l'arrt d'un programme ou, au contraire, sur sa gnralisation, etc.

3.1.4. Hypothses de dpart Il est ncessaire de procder un diagnostic provisoire sur "ce que l'on pense", en bien ou en mal, de la politique valuer. Ce diagnostic peut s'appuyer sur la perception immdiate par les acteurs des russites, checs ou dysfonctionnements de la politique, ainsi que sur l'analyse des volutions du contexte technique, social ou juridique qui paraissent rendre ncessaire une refonte de la politique, ou une reformulation de ses objectifs. Il peut sembler paradoxal d'anticiper ainsi sur les conclusions : l'valuation ne doitelle pas aborder son objet sans ides prconues, et n'a t-elle pas prcisment pour objet d'identifier ce qui marche et ce qui fait problme ? En fait, les ides a priori du commanditaire (ou d'autres protagonistes de la politique) doivent tre considres comme des hypothses confirmer, infirmer ou reformuler. Ces ides constituent la fois un point de vue et une connaissance prendre en compte ds le dbut de l'valuation, ainsi qu'une indication permettant d'identifier les domaines dans lesquels l'valuation est le plus susceptible de produire des rsultats utiles et d'avoir des retombes pratiques. 3.1.5. L'laboration d'un rfrentiel L'une des questions majeures rencontres au cours de l'laboration d'un projet est celle du rfrentiel : quels critres devra t-on confronter les rsultats observs ? au regard de quelles normes pourra t-on se prononcer sur le bon fonctionnement et la russite de la politique ? A premire vue, il semblerait que les objectifs de la politique constituent le seul rfrentiel lgitime de l'valuation : tel est d'ailleurs le point de vue adopt dans la dfinition de l'valuation contenue dans le dcret du 22 janvier 1990 (cf introduction). En pratique, cependant, les choses ne sont pas si simples, et plusieurs problmes peuvent surgir : - comme on l'a vu prcdemment, les objectifs officiels sont complter et interprter par la prise en compte d'objectifs implicites ; - tous les objectifs ne sont pas de mme niveaux, ils ne sont gnralement pas

17

indpendants et certains peuvent tre relis d'autres par des rapports de cohrence ou de causalit plus ou moins bien fonds; - ils peuvent tre, au contraire, partiellement contradictoires ; - leur pondration et leur formulation peuvent avoir volu au cours du temps ; - tous les objectifs ne sont pas galement susceptibles d'tre traduits en effets directement observables (qu'est ce, par exemple, que "l'quilibre social d'une rgion" ?) et en indicateurs. Enfin et surtout, on a insist ci-dessus sur l'importance des attentes du commanditaire. de l'valuation. La prise en compte de celles-ci conduit presque toujours porter un regard nouveau sur les objectifs de la politique. L'valuation est souvent l'occasion pour des responsables de modifier ou de rinterprter les objectifs de l'action publique, voire mme de faire merger de nouveaux objectifs. Exemple : l'valuation de la "politique de protection des zones humides" a abouti l'affirmation par l'Etat d'un objectif cologique qui n'avait pas t initialement pris en compte dans bon nombre des mesures examines (aides publiques et rglementations concernant notamment les domaines suivant : amnagement rural, infrastructures, urbanisme et tourisme) (3). En dehors de ce cas extrme, il est frquent que l'valuation conduise modifier la hirarchie des objectifs ou promouvoir des objectifs latents. Exemple : l'valuation de l'informatique administrative tait centre sur la question de l'efficience des dpenses consenties pour quiper les administrations en ordinateurs. Le commanditaire s'interrogeait au dpart sur le "retour sur investissement" mesur par l'efficacit en terme de gains de productivit compare aux ressources alloues. La rflexion pralable au lancement des tudes a permis d'aboutir une conception plus complexe de l'efficacit, prenant en compte des donnes telles que la qualit du service rendu au public, les conditions de travail des agents, la scurit des procdures, etc (4). On retiendra de cette discussion que la notion de rfrentiel renvoie la ncessit d'interprter les objectifs de la politique en fonction du contexte et des priorits actuelles du commanditaire politique, et de les reformuler pour les transformer en critres pertinents d'valuation. Les phases d'identification des finalits de l'valuation et de diagnostic provisoire dcrites prcdemment ont prcisment pour objet de fournir les bases de cette contextualisation. 3.1.6. Thmatiques et registres de l'valuation Paralllement la construction d'un rfrentiel, il s'agit de choisir les domaines et les thmatiques qui feront l'objet des questions les plus prcises et des investigations les plus lourdes. Exemple : la politique de la montagne comprend diffrents volets : agricole (aides

18

spcifiques l'agriculture de montagne), industrie, commerce et artisanat (aides la diversification des activits conomiques), tourisme, environnement (parcs naturels...), transports (politique de dsenclavement), etc. Tous ne pourront pas tre traits de manire galement approfondie par l'valuation (2).

Cet effort de "ciblage" concerne galement les registres de l'valuation, c'est dire le choix et l'interprtation concrte des "qualits" de la politique -cohrence, efficacit, efficience, impact ou pertinence (cf introduction)- que l'on cherchera valuer en priorit. Exemple : dans l'valuation des Fonds Rgionaliss d'Initiatives Locales pour L'emploi (FRILE), il avait t dcid dans un premier temps (1991) d'valuer le procdures d'instruction des dossiers, le partenariat inter-administratif et les conditions de dlgation des crdits. Le but tait donc d'valuer la cohrence de l'action effectivement mise en oeuvre par rapport ses objectifs. La mesure de l'efficacit en terme d'emploi a t aborde dans une valuation ultrieure (1993) (5).

3.1.7. Le questionnement On entend par questionnement une liste de questions, classes logiquement et hirarchises, aussi compltes et prcises que possible, dont la rponse commande la rponse aux questions gnrales voques prcdemment. On revient ci-aprs (3.2.) plus en dtail sur l'organisation du questionnement. Exemple : l'une des questions poses par la Commission nationale d'valuation du Revenu minimum d'insertion concernait la pertinence du "contrat d'insertion" comme moyen de renforcement des processus d'insertion sociale et professionnelle. Cette question gnrale renvoie une multitude de questions plus prcises sur la mise en oeuvre et le contenu des contrats, l'engagement des institutions et des acteurs locaux, le comportement et le devenir des allocataires bnficiant de ces contrats, etc (6). Remarque importante : la transformation de questions gnrales orientes vers l'action, telles que se les pose le commanditaire dans le cadre de ses responsabilits administratives ou politiques, en hypothses vrifiables exprimes sous forme de questions ayant un sens prcis pour des chercheurs en sciences sociales, constitue l'tape clef de l'laboration du projet d'valuation. Cette liste de questions est videment susceptible d'tre modifie et enrichie au cours de l'valuation. Si tel est le cas, il est souhaitable que soit garde trace dans le rapport final des raisons qui ont motiv ces changements. 3.1.8. Le dispositif d'valuation

19

On entend par dispositif d'valuation le systme des relations tablir dans le cadre de l'valuation entre ses diffrents acteurs et participants : commanditaires, protagonistes de la politique valuer (cf 2.2.1.), groupe de suivi ou de pilotage, instance d'valuation (cf 4.1.) , chercheurs et chargs d'tude, sans oublier, le cas chant, l'instance de rgulation scientifique mentionne en 4.1.4. Selon la dimension et la varit des questions d'valuation, le dispositif peut exiger la constitution d'une instance d'valuation charge, entre autres tches, de synthtiser les diffrentes tudes (cf 4.1.), ou requrir seulement une quipe rduite en lien direct avec le commanditaire. Toutes les formules intermdiaires existent ou sont envisageables (groupes de suivi ou de pilotage dont le rle peut tre diversement conu). Une valuation que l'on souhaite rapide doit comprendre un dispositif resserr, mais cela suppose que les questions du commanditaire aient t formules de manire suffisament prcise, par lui-mme ou par les auteurs du projet, et que la nature limite du problme traiter permette d'emble de cibler les investigations mener. Quel que soit le dispositif choisi, celui-ci doit permettre d'imputer clairement l'valuation un auteur (collectif ou individuel), qui en assume la responsabilit. Cette clarification des rles est ncessaire, car l'valuation doit satisfaire, en plus des critres de qualit du produit, des critres formels concernant la conduite de la procdure et l'tablissement des protocoles de recherche valuative. 3.1.9. Le bilan informationnel Au vu du questionnement, il convient de raliser un recensement sommaire des informations immdiatement disponibles, donnes administratives, tudes et recherches relatives au domaine considr, ainsi que des informations qui pourraient tre obtenues sans nouvelles dpenses et dans un dlai bref. Ce bilan aboutit fournir des premires rponses une partie des questions poses, prvoir que des rponses pourront tre facilement apportes certaines autres, et dresser un tat des principales lacunes. 3.1.10. Le programme d'tude En fonction du point prcdent, et des moyens dont elle dispose, l'instance d'valuation labore une programmation des nouvelles investigations qui apparaissent ncessaires. Celles-ci peuvent tre : 1) la compilation d'tudes prexistantes ; 2) l'exploitation de donnes administratives ; 3) l'analyse de documents existants (textes caractre juridique, coupures de presse, documents cartographiques, audio-visuels, etc) ; 3) des enqutes ou investigations ad-hoc permettant de recueillir de nouvelles donnes : - enqutes statistiques (par questionnaire, par entretien, par tlphone) auprs de bnficiaires ou d'acteurs clefs de la politique (individus, entreprises ou

20

collectivits) ; - le suivi d'un panel (de bnficiaires, le plus souvent), interrog intervalle rgulier pendant une dure suffisamment longue (pouvant atteindre plusieurs annes) ; - des entretiens approfondis avec des acteurs ou autres "personnes ressources" ; - des monographies ou tudes de cas ; 4) des auditions par l'instance. Les donnes ainsi collectes n'ont pas toutes le mme statut (3.3.2), et elles visent rpondre des questions de nature diffrente. Ainsi, lorsque les donnes de base

21

n'existent pas au dpart, l'laboration d'indicateurs de rsultats chiffrs ncessite l'interrogation d'un chantillon statistiquement reprsentatif de bnficiaires. En revanche, quelques tudes de cas bien choisies peuvent permettre de comprendre les mcanismes d'action de la politique et d'en dcrire qualitativement les effets. On traite partir du chapitre 5 de quelques-unes des questions techniques poses par le choix et la mise en oeuvre de ces outils. 3.1.11. Le choix des oprateurs C'est l'instance d'valuation, lorsqu'elle existe, qu'il revient de choisir les oprateurs ou "chargs d'valuation", sur la base de cahiers des charges spcifiques, le cas chant par voie d'appel d'offre. Dans le cas contraire, le commanditaire aura nanmoins intrt solliciter divers avis, voire constituer un comit d'appel d'offre. Les comptences auxquelles peut faire appel l'valuation sont trs diverses, elles concernent la fois le domaine particulier dont traite l'valuation, la connaissance de certains champs thoriques ou techniques d'analyse et la familiarit avec les dmarches d'valuation. Il est souvent intressant de combiner le regard distanci et indpendant d'experts n'appartenant pas l'administration et non impliqus dans la conduite de la politique value, et la connaissance plus approfondie qu'ont de celleci ses acteurs directs, ainsi que les services d'tude de l'administration ou les corps d'inspection. Remarque importante : Dans le contexte de l'valuation, la position des chercheurs n'est pas identique celle qui est la leur dans les conditions habituelles de la recherche. Il est important qu'ils puissent trouver un juste quilibre entre les grilles d'interprtation propres leur discipline et les interprtations les plus mme d'tre discutes par l'instance d'valuation dans le cadre de sa propre problmatique. 3.2. Retour sur l'orientation et la structure du questionnement Le coeur du projet d'valuation est constitu par un ensemble de questions et par le choix des mthodes qui permettront d'y rpondre. Comme on l'a rappel ci-dessus, ces questions essayent de traduire les objectifs gnraux de l'valuation en termes de faits vrifiables, de processus observables et de grandeurs mesurables. Le projet s'efforcera de classer ces questions en fonction des registres d'valuation et des aspects de la politique qu'elles permettent d'apprhender. Une autre manire de raisonner est de considrer une politique comme une construction thorique, au sens o elle implique une reprsentation a priori des mesures mises en oeuvre, du comportement des acteurs, de l'enchanement des mcanismes d'action et des effets produits sur la socit. Le questionnement valuatif peut alors tre vu comme le moyen de tester les diffrents aspects de cette thorie.

22

3.2.1. Mise en vigueur de la politique Toute politique comporte des intentions et orientations gnrales et un dispositif opratoire. Celui-repose sur un schma a priori des oprations que doivent raliser les acteurs de terrain. En pratique, ceux-ci sont confronts une ralit complexe dont le dcideur central n'a qu'une vue trs partielle. Ils sont donc amens prendre des dcisions non anticipes, interprter les intentions des concepteurs de la politique. Il peut galement se produire qu'ils aient des objectifs ou une stratgie propre, inspirs par leur thique professionnelle ou leurs intrts corporatistes, ne concidant pas forcment avec ceux du dcideur central. Le niveau le plus lmentaire de l'valuation consiste analyser ces carts entre l'application concrte des dcisions et l'ensemble des normes qui dfinissent la politique. Cette partie de l'valuation comporte elle-mme deux aspects : - l'examen de la conformit aux normes juridiques formelles, aux dlais prescrits, aux rgles budgtaires, etc. On est ici proche du domaine traditionnel du contrle de rgularit pratiqu par les corps d'inspection et la Cour des comptes ; - l'identification des carts entre les objectifs affichs et la ralit des oprations effectues sur le terrain au titre de ces objectifs. Une fois des carts constats, il reste les expliquer, apprcier leurs consquences et, le cas chant, en tirer des conclusions normatives. Celles-ci peuvent aussi bien consister reformuler des normes qui se seraient rvles inapplicables qu' renforcer le contrle exerc sur les acteurs de terrain, ou amliorer leur formation et leur information. Dans tous les cas, l'cart manifeste un manque de cohrence formelle entre les diffrents lments -objectifs, dispositifs rglementaires, moyens humains, matriels et financiers qui constituent la politique. L'exemple type d'un tel dcalage concerne la slection par les fonctionnaires locaux des bnficiaires effectifs d'une politique : pour de multiples raisons ( commencer par le fait que la connaissance a priori des besoins ne peut tre qu'imparfaite), le profil des bnficiaires rels d'une mesure n'est jamais exactement conforme l'intention politique initiale. On le constate aussi bien dans le cas des aides aux entreprises que pour certaines mesures sociales. L'tude de la mise en vigueur (implementation) de la politique est particulirement importante pour une valuation concomitante intgre au pilotage d'une nouvelle action. 3.2.2. Quels rsultats observer et mesurer ? En fonction du rfrentiel choisi (cf 3.1.5.), le projet doit s'efforcer d'identifier les effets de la politique que l'on souhaite observer et, si possible, mesurer. Il est trs important, cet gard, de ne pas confondre l'atteinte des objectifs et les effets propres de la politique.

23

Atteinte des objectifs et indicateurs de rsultats La mesure de l'atteinte des objectifs rpond l'une des attentes principales des commanditaires : elle renseigne, en un certain sens, sur la russite ou l'chec de la politique. C'est en gnral ce que permettent d'apprcier les indicateurs de rsultats. Rappelons qu'un indicateur est une mesure dont les valeurs fournissent une indication incomplte mais utile sur un phnomne dont on cherche apprcier l'volution. Il est en gnral ncessaire de disposer de plusieurs indicateurs pour cerner un phnomne complexe. Exemple : l'volution du taux de chmage est l'un des indicateurs de la situation du march du travail, et donc un indicateur de rsultat de la politique de l'emploi. Si l'on veut se faire une ide plus complte de l'volution de l'emploi et du chmage, il faut rassembler et mettre en regard un nombre suffisant d'indicateurs clairant divers aspects du phnomne (chmage des jeunes, chmage de longue dure, nature des emplois crs, etc...).. Il faut tre conscient du fait qu'un ensemble d'indicateurs de rsultats, si complet soit-il, ne permet pas, en rgle gnrale, d'valuer l'efficacit d'une politique. Les variables reprsentatives des objectifs de la politique subissent toujours l'influence d'une multitude de facteurs exognes (par exemple, dans le cas du chmage, de la conjoncture conomique). Efficacit, effets propres, impact L'valuation de l'efficacit d'une politique ncessite la mesure de ses effets propres, savoir les modifications de l'tat de la socit dont elle est la cause. En d'autres termes, l'valuation de l'efficacit suppose de pouvoir rpondre la question : que se serait-il pass si la politique n'avait pas exist ? Il est toujours beaucoup plus difficile de rpondre cette question qu' celle de l'atteinte des objectifs. On trouvera ci-dessous (cf 8.) une prsentation succincte des principales techniques utilises pour tenter d'identifier et de quantifier des liens de causalit entre une politique et ses effets sociaux. Aussi difficile soit-elle, la question de la causalit ne peut-tre vacue de l'valuation. Remarque : les effets d'une politique sur la socit ne se limitent pas aux effets attendus ou souhaits, conformes ses objectifs (les effets qui correspondent la notion d'efficacit). L'valuation doit galement se proccuper des effets collatraux (side effects) et des effets pervers de la politique. On emploie parfois les termes d'impact ou d'effectivit, pour dsigner l'ensemble le plus large des effets de la politique. Exemple : L'valuation de la politique d'informatisation de l'administration a mis en vidence le fait que les gains de productivit permis par l'informatique se traduisent rarement par des rductions d'effectif (contrairement l'un des principaux objectifs viss). En revanche, divers autres effets ont t mis en vidence : absorption de

24

tches les plus lourdes et plus complexes, diminution de la charge de travail des agents d'excution, amlioration de la qualit et de la scurit du service (4). Efficience au sens de "cot-avantages" La question de l'efficience est plus rarement aborde, en pratique, que celle de l'efficacit. Prise dans son sens le plus strict, elle suppose la ralisation d'un bilan cot-avantages, en termes montaires. Outre le fait que l'information de base ncessaire pour calculer le cot rel d'une politique fait souvent dfaut, la traduction en termes montaires des modifications apportes l'tat de la socit est une opration d'une grande difficult pratique et soulve parfois des problmes thoriques quasiment insolubles (qu'en est-il, par exemple, du prix de la vie humaine ?). L'conomie publique est la discipline qui a pour objet de fonder rationnellement diffrentes mthodes de calcul de la valeur conomique des biens collectifs et autres avantages produits par l'action publique. Efficience au sens de "cot-efficacit" Dans un sens plus restreint, l'valuation de l'efficience peut se limiter une approche cot-efficacit, qui consiste comparer les cots ncessaires la ralisation d'un certain niveau de rsultat pour diffrentes politiques (on peut aussi dire que l'on raisonne en cot d'opportunit : on aurait pu faire autre chose avec les mmes fonds publics). Exemples : - il est usuel de comparer les diffrents programmes de lutte contre le chmage en terme de "cot de l'emploi cr" ou de "cot du chmeur vit". Dans l'valuation des aides la localisation des activits dans les zones de conversion (1994), on a procd une comparaison du cot de l'emploi cre grce aux aides publiques entre les diffrentes zones de conversion tudies (7). - les mesures prises pour conomiser l'nergie peuvent tre values en comparant le "cot de la Tep (tonne d'quivalent ptrole) conomise" par diffrents moyens.

Remarque importante : en toute rigueur, seul un jugement port sur l'efficacit (rapporte aux principaux objectifs) d'une politique, permet de fonder rationnellement une dcision relative la poursuite ou l'abandon de celle-ci. De mme, seule une comparaison globale et prcise de leur efficience pourrait permettre de se prononcer rationnellement sur la rpartition de ressources budgtaires entre diffrentes politiques. Dans la pratique, il faut faire preuve de prudence et de pragmatisme dans l'utilisation de l'valuation des fins d'aide la dcision budgtaire.

3.2.3. L'tude des mcanismes d'action

25

Dans le paragraphe prcdent, les politiques publiques sont implicitement considres comme des "botes noires", dont on observe les entres et les sorties. En pratique, l'valuation ne peut se dsintresser de l'intrieur de la bote, de ses mcanismes internes. Pour prendre une comparaison dans le domaine mdical, on ne se contente pas de constater l'efficacit d'un mdicament : on cherche toujours comprendre comment il agit (en identifiant ses rcepteurs dans l'organisme). Dans le cas d'une politique publique, il s'agit principalement d'identifier les processus micro-conomiques ou micro-sociaux induits par les mesures prises : effets de liaison et d'apprentissage, effets prix, modifications qualitatives du comportement des acteurs, mobilisation de ressources humaines ou matrielles jusque l inemployes, rorganisation du travail, gains de productivit, etc. Ou, en ngatif, encouragement de dcisions non optimales du point de vue conomique (dsincitation au travail, investissements non rentables...), cots de transactions, etc... Compte tenu de la difficult de mesurer rigoureusement les effets propres, l'analyse des mcanismes d'action peut permettre dans bien des cas d'accder une connaissance qualitative de l'efficacit d'une mesure. Exemple : dans le cas d'une aide l'emploi, on interrogera directement les employeurs (et, si possible, d'autres acteurs ou observateurs de l'entreprise), pour comprendre comment l'aide est prise en compte dans les pratiques de gestion du personnel, afin d'apprcier l'importance de l'"effet d'aubaine" (utilisation d'une aide pour rduire le cot d'une embauche qui aurait t ralise mme en l'absence d'aide).

3.2.4. Contexte de la mise en oeuvre et conditions de gnralisation L'efficacit d'une politique est le rsultat d'une interaction entre une intervention ou l'apport d'une ressource exogne et une dynamique sociale endogne. De ce fait, il est frquent qu'une politique produise des effets diffrents selon les lieux o elle est mise en oeuvre : ces diffrences peuvent relever de multiples causes (caractristiques socio-dmographiques des bnficiaires, dynamiques socioconomiques locales, motivation et comptence des acteurs politiques et administratifs locaux). En outre, il est frquent que l'efficacit d'une politique dpende de circonstances variables au cours du temps : une mesure peut tre en synergie avec la conjoncture conomique, ou au contraire tre rendue inoprante par celle-ci. L'valuation doit s'efforcer d'identifier les facteurs contextuels qui interagissent avec la politique. D'une part ceux qui conditionnent une mise en oeuvre correcte des mesures (par exemple, les acteurs de terrain comprennent-ils les intentions formules dans les directives manant d'une administration centrale ?), et, d'autre part, ceux qui en modifient les effets. Exemple : l'valuation de la politique d'amnagement des rythmes de vie des enfants

26

a rvl d'importantes disparits locales dans l'ampleur, la nature et les rsultats des actions menes, tant en terme de modification effective des horaires scolaires que d'offre d'activits non scolaires (culturelles et sportives, notamment). Selon les valuateurs, cette diversit tient plusieurs causes : volont politique et moyens financiers des collectivits locales, implication et comptence des diffrents partenaires (acteurs administratifs locaux, associations, professionnels...) (8).

3.3. Ds le projet, penser aux lecteurs du rapport 3.3.1. Expliciter les choix et les limites de l'valuation Aucune valuation ne peut traiter de manire approfondie l'ensemble des questions que se pose le commanditaire. Le projet d'valuation doit donc prciser quelle priorit est accorde chacune d'entre elles, en fonction des retombes attendues (dcisionnelles ou autres) de l'valuation, de l'information disponible et des moyens qu'il est envisag de consacrer l'valuation. En outre, bien que cela puisse tre plus dlicat, l'identification de certains prsupposs, axiomes ou valeurs sociales que l'valuation devra prendre en compte sans les remettre en cause, peut-tre utile l'explicitation de ce que l'on en attend. Exemple : dans l'valuation de la politique de protection des zones humides, le caractre ncessaire de la prservation des zones humides pour le maintien de la qualit des ressources naturelles (eau, paysages, biodiversit, ressources halieutiques) tait considr comme une donne non discutable (3). A contrario, il est important d'identifier les principales incertitudes des commanditaires, ainsi que les lments de jugement pralable que l'on peut considrer comme les moins assurs, et propos desquels on peut attendre de l'valuation qu'elle apporte un savoir neuf et modifie les perceptions ou opinions prtablies.

3.3.2. Slection des informations et stratgie argumentaire L'valuation d'une politique complexe ncessite le recours des informations htrognes, de nature et d'origine varie. Toutes ces informations ne prsentent pas les mmes garanties de fiabilit et d'objectivit : l'opinion des acteurs, par exemple, ne peut tre mise sur le mme plan que les faits sociaux observs par des mthodes plus objectives. Dans certains cas, une hirarchisation des informations s'impose en fonction de leur statut et des mthodes par lesquelles elles ont t obtenues. Les raisonnements que l'on pourra dvelopper sur la base de ces informations n'auront pas tous la mme robustesse. Le poids relatif des diffrentes donnes doit faire l'objet d'une rflexion pralable : avant de dcider d'affecter des ressources telle ou telle investigation (monographie, enqute statistique, panel d'acteurs...), il faut se

27

demander si les informations recherches sont susceptibles de fournir des arguments nouveaux, de nature complter et prciser les lments de rponse au questionnement valuatif que l'on possde dj.

28

Pour prendre un exemple frquemment rencontr, il peut s'avrer peu judicieux de raliser une tude coteuse pourtant thoriquement ncessaire pour rpondre aux questions poses si l'on pense que ses rsultats ne modifieront pas substantiellement le savoir dj disponible. Une tude de cas approfondie apportera parfois des informations indites sur les effets intermdiaires et les mcanismes d'action d'une politique, alors qu'une enqute statistique reprsentative auprs des bnficiaires n'aurait fait progresser que marginalement la connaissance de ses effets sociaux. Exemple : le projet d'valuation des structures d'insertion par l'conomique (associations intermdiaires, entreprises d'insertion, rgies de quartier) envisageait la ralisation d'une enqute lourde et reprsentative au plan national sur le devenir des personnes passes dans ces structures (en interrogeant plusieurs reprises un panel de 1000 individus). Aprs rflexion, il est apparu l'instance que cette enqute apporterait peu d'informations nouvelles par rapport aux enqutes plus lgres ralises par le Ministre du travail, et qu'il tait prfrable de mettre l'accent sur une approche territorialise (4 sites) permettant d'analyser les trajectoires individuelles la lumire du contexte local (9). La rflexion pralable sur l'importance relative des diffrents types d'informations et d'arguments doit en outre faire droit une exigence de pdagogie. Pour qu'un rapport d'valuation soit pris en considration par ses destinataires, il faut que ceuxci puissent adhrer la dmarche logique qui sous-tend la recherche. Concrtement, cela signifie que plusieurs mcanismes de conviction doivent tre mis en oeuvre (cf 5.2), et qu'il est imprudent de s'en remettre un seul type de raisonnement, fut-il le plus pertinent d'un point de vue strictement scientifique.

4.

Conduite de l'valuation et valorisation des rsultats

4.1. Prsentation d'un dispositif type : l'instance d'valuation L'valuation n'est ni pure connaissance, ni pur mcanisme politique. La difficult de trouver un quilibre et une cohrence entre ces deux dimensions implique d'examiner avec soin les modalits de "pilotage" de l'valuation. Celles-ci doivent permettre un ajustement rciproque des contraintes de l'action publique et des exigences d'une dmarche cognitive rigoureuse, sans sacrifier l'une l'autre. Comme on l'a indiqu plus haut (cf 3.1.8.), le dispositif d'valuation doit tre adapt l'ampleur et la nature du problme traiter, ainsi qu'aux impratifs de temps et de moyen. Sur la base des oprations dont il a eu connatre, le Conseil scientifique prconise un dispositif type, qui lui parait le mieux mme d'organiser une zone d'autonomie de l'valuation entre la science et l'action. La pice centrale de ce dispositif est l"instance d'valuation", groupe charg par le commanditaire d'assumer la fonctions de matre d'oeuvre de l'valuation.

29

4.1.1. Rle de l'instance d'valuation L'instance d'valuation est plus qu'un comit de pilotage : elle doit bnficier d'une large responsabilit dans le cadre d'un mandat crit du commanditaire. Plus prcisment, ses missions sont de deux ordres : a) Piloter les travaux d'valuation, c'est dire, d'abord, mener son terme l'laboration du projet d'valuation, traduire le questionnement valuatif dans le cahier des charges des tudes et recherche, passer commande et suivre les diffrents travaux d'tude, auditionner des "personnes ressources", responsables administratifs, experts ou autres "tmoins", voire se dplacer collectivement sur le terrain... b) Intgrer les matriaux de l'valuation, c'est dire rassembler des documents, rceptionner les recherches tudes commandites, valider leurs rsultats, interprter ces rsultats au regard des autres informations collectes (auditions ou informations pralablement disponibles...), rpondre aux questions poses par le projet d'valuation, formuler des conclusions gnrales et, le cas chant, des propositions, rdiger le rapport final. L'instance est en gnral le lieu o, par la dlibration, des conclusions raisonnables sont dduites d'tudes analyses et interprtes. Celle-ci doit tre conue comme un arbitre entre les diffrents points de vue et non comme un mdiateur de diffrents intrts qu'il conviendrait d'accommoder. 4.1.2. Composition et fonctionnement Il n'y a pas de composition type : l'instance doit permettre la confrontation du point de vue des responsables directs de la mise en oeuvre de la politique et de points de vue extrieurs (experts du domaine, acteurs sociaux concerns par la politique en tant que partenaires ou "bnficiaires"). Il est nanmoins impossible de concevoir l'instance comme un lieu o tous les points de vue seraient en permanence prsents. Ceux-ci peuvent d'ailleurs tre pris en compte d'une autre manire au cours de l'valuation (cf, par exemple, 6.7.). Il est important que l'instance se considre comme une vritable structure de travail et non comme un lieu de ngociation. L'intervention d'une instance indpendante de rgulation scientifique, de type conseil scientifique (comme il en existe au niveau national et dans plusieurs rgions), charge d'mettre un avis sur les projets et les rapports d'valuation, peut aider une instance d'valuation indpendante se fixer des rgles de fonctionnement compatibles avec les exigences de l'valuation. Cellesci impliquent de ne pas sacrifier la rigueur scientifique la ncessaire prise en compte du pluralisme des points de vue. Dans son premier rapport annuel, le CSE soulignait ce propos : "Un quilibre est tablir entre une connaissance prcise des proccupations et des analyses des administrations qui facilitera la rappropriation des conclusions par ces dernires, et une pratique de rflexion qui ne se cantonne pas dans les seules hypothses qui fondent ou sous-tendent les

30

pratiques dcisionnelles". 4.1.3. Les phases du travail de l'instance Le travail de l'instance s'organise selon le schma suivant : - appropriation du mandat - finalisation du projet (formulation dfinitive du questionnement) - laboration d'un cahier des charges pour les tudes valuatives - choix des oprateurs - suivi des tudes - rception et discussion des rapports d'tude - synthse de leurs rsultats - rdaction du rapport - gestion des suites de l'valuation (communication, dialogue avec les diffrents acteurs concerns par les rsultats de l'valuation) Paralllement au droulement des travaux d'tude, l'instance d'valuation peut procder des auditions (d'experts, de responsables politiques ou administratifs), ou des visites sur site, afin de complter son information. 4.1.4. Rles possibles d'une instance de rgulation scientifique L'intervention d'une instance de rgulation scientifique (groupe d'experts mandats pour veiller la qualit des valuations, en position de totale indpendance par rapport aux commanditaires) peut aider les instances fonctionner efficacement et mettre en oeuvre une mthodologie rigoureuse. On peut faire jouer un tel organisme trois rles diffrents : 1) l'assistance mthodologique aux rdacteurs des projets d'valuation ; 2) la participation d'un des ses membres l'instance d'valuation ; 3) l'mission d'avis formels sur les projets et rapports d'valuation (cf 4.4.2.). Remarque : - les missions 1 et 2 sont compatibles entre elles, ainsi que les missions 1 et 3, les missions 2 et 3, en revanche, le sont difficilement. - selon les dispositifs, les avis de l'instance scientifique sont rendus publics ou rservs au seul bnfice de l'instance d'valuation.

4.2. Valorisation des rsultats Les rsultats de l'valuation peuvent tre valoriss de plusieurs manires : runions de travail avec les dcideurs et acteurs de la politique value, confrences, actions de formation, articles de presse, etc. Rien n'interdit, en outre, de rutiliser une valuation termine dans un travail ultrieur : aux Etats-Unis, se dveloppe la

31

pratique d'tudes rcapitulatives tirant profit des multiples valuations ralises au cours des annes prcdentes dans un domaine donn de l'action publique.

32

Il n'en demeure pas moins qu'une partie non ngligeable de la qualit et de l'utilit d'une valuation repose sur la qualit du rapport d'valuation. 4.3. Le rapport d'valuation A la lumire des considrations qui prcdent sur la stratgie d'argumentation, on peut formuler un certain nombre de recommandations sur la structure et le mode d'criture des rapports d'valuation. La dmarche valuative se caractrise par la recherche d'une synergie entre une exigence de qualit scientifique et des finalits de rgulation et d'apprentissage social par la connaissance. En consquence, un rapport d'valuation devrait se caractriser par un effort important pour articuler rigoureusement les jugements et les faits : il s'agit, idalement, de rfrer toutes les assertions normatives des raisonnements explicites, eux mme appuys sur des observations dment documentes. L'criture du rapport doit en outre tenir compte de la diversit des modes de lecture de ses destinataires (en fonction, notamment, de leur disponibilit et de leur degr de connaissance du domaine). Il est souhaitable cette fin de mnager plusieurs entres et de permettre plusieurs niveaux d'appropriation du rapport (rsum, annexes, bibliographie, etc). Structure du rapport Le rapport d'valuation comprend des parties mthodologiques, des descriptions, des rappels de conclusions de travaux prcdents, des analyses appuyes sur des informations nouvelles, et enfin des interprtations labores par l'instance d'valuation. Ces diffrents types de texte doivent tre, autant que faire se peut, distingus. En particulier, les imputations de causalit (telle action publique produit tel effet propre) et les jugements normatifs doivent tre clairement identifis comme tels et arguments en rfrence aux tudes ralises dans le cadre de l'valuation. Le dfaut le plus couramment constat cet gard est l'insertion de jugements de valeur non arguments dans le cours d'un dveloppement descriptif. Sans qu'il soit utile de proposer un plan type, tout rapport d'valuation devrait comprendre les lments suivants : - des lments d'information suffisants sur la politique value, l'historique des mesures examines, l'analyse des textes tablissant ces mesures, l'expos des objectifs du gouvernement, des lments de cadrage statistique, etc. - un expos mthodologique rappelant les diffrentes tapes de l'valuation depuis l'laboration du projet initial jusqu' la rdaction du rapport final. L'valuation est une dmarche continue et cohrente qui part d'une commande politique pour aboutir des rponses argumentes un certain nombre de questions. Le cheminement suivi par les porteurs du projet, les principaux choix mthodologiques effectus par l'instance et les volutions successives du projet

33

doivent tre lisibles dans le rapport. Remarque : il arrive frquemment qu'une thmatique juge importante au stade de projet soit finalement abandonne. Il importe de savoir si cet abandon est du au manque d'informations disponibles, au fait qu'une question s'est rvle non pertinente au cours de l'valuation, ou au dsintrt des membres de l'instance. - un bref compte rendu des tudes ralises : le rapport ne doit pas chercher restituer systmatiquement le contenu des diffrents travaux raliss. Il doit en revanche s'efforcer de mettre en vidence l'apport propre de chacune de ces tudes dans les rponses apportes par l'instance au questionnement valuatif. - des dveloppement informatifs : le rapport d'valuation comporte des parties descriptives, ventuellement extraites des tudes soumises l'instance, qui, sans rpondre directement au questionnement valuatif, constituent par elles-mmes des informations utiles aux dcideurs. - des raisonnements bien identifis : le coeur du rapport de l'instance d'valuation est constitu par l'expos des arguments et raisonnements conduisant aux conclusions. La rdaction doit en tre claire, fut-ce au prix d'un certain didactisme ; le style allusif doit tre vit ; les diffrentes questions abordes squentiellement, dans un ordre logique. Lorsque l'argumentation s'appuie sur des rsultats d'tudes prcis, les renvois aux documents de base doivent tre systmatiques. - des recommandations dont le statut doit tre clarifi : Les rapports d'valuation comprennent gnralement des recommandations ou des propositions de rforme de la politique value. Le statut de ces prises de positions doit tre prcis : s'inscrivent-elles directement dans le prolongement des rponses apportes au questionnement valuatif, ou ne font-elles que reflter l'opinion des membres de l'instance ? Faut-il les considrer comme des recommandations fermes techniquement ncessaires, comme des propositions de nature politique ou comme de simples orientations devant donner lieu de nouvelles tudes ? Il n'est pas exclu que le rapport tablisse une distinction entre les prconisations qui font l'unanimit de l'instance d'valuation et celles pour lesquelles de fortes divergences se sont manifestes. Dans tous les cas, la nature du lien entre ces diverses formes d'affirmations normatives et le contenu de l'valuation doit apparaitre clairement au lecteur, ce qui implique au minimum des rfrences explicites aux raisonnements dvelopps dans le corps du rapport. 4.4. Les critres d'une bonne valuation 4.4.1. Dfinition et usages des critres de qualit Les critres de qualit de l'valuation, parfois appels "standards" ou "valeurs" de

34

l'valuation, sont des caractristiques typiques d'une "bonne valuation", susceptibles de fournir des rfrences pour juger la mthode, le droulement ou le rsultat d'une valuation. Ces critres concernent la fois la qualit scientifique des connaissances produites, le respect de rgles dontologiques dans les rapports entre les diffrents protagonistes de l'valuation, et enfin les lments qui conditionnent l'utilisation pratique des rsultats de l'valuation. Elles peuvent tre utilises ex-ante, comme principes guidant l'laboration d'un projet d'valuation, ou ex-post, comme critres d'apprciation d'une valuation termine. Dans les deux cas, il s'agit de rpondre la question : qu'est ce qu'une bonne valuation ? En gnral, une norme exprime un consensus de base partir duquel on peut porter un jugement sur la qualit d'une pratique. Il faut toutefois noter que le terme "norme" peut prendre deux significations distinctes. Une norme peut tre un critre d'excellence viser quand on doit juger de la qualit d'une valuation; elle peut aussi correspondre une exigence minimale qui devrait s'imposer toute valuation. La notion de "standardisation" est issue de ce deuxime sens. En pratique, les deux sens sont prsents, y compris dans les avis du Conseil scientifique : il y a en effet la fois l'ide que certaines exigences minimales doivent tre satisfaites pour que les rsultats d'une valuation soient utilisables, mais il y a galement l'ide de comparer les valuations un idal-type de la bonne valuation, dans le but de faire progresser la qualit des pratiques valuatives. L'une des possibilits de juger de la qualit est de raliser des mta-valuations, revues comparatives portant sur un ensemble d'valuations (relatives ou non un mme type de politique ou de programme). Les critres de qualit peuvent servir valuer de manire comparative un ensemble de documents d'valuation. La ralisation de telles tudes peut tre un moyen pour faire progresser la fois les pratiques et la thorie de l'valuation, mais aussi pour diffuser un certain nombre de connaissances gnrales sur les politiques publiques et leurs effets. Les mtavaluations sont une pratique courante aux Pays-Bas et aux Etats-Unis. ------------------------------Les critres de qualit aux Etats-Unis et au Canada La question des normes de qualit occupe une place importante dans les dbats thoriques consacrs l'valuation, notamment outre atlantique. Cet effort de normalisation est insparable de la constitution d'un milieu professionnel spcialis qui cherche se donner des critres d'identification et de rgulation interne. Les objectifs poursuivis par les associations professionnelles d'valuateurs sont de deux ordres : - permettre une labellisation des prestations de services vendues sous le nom d'valuation. Il s'agit de favoriser l'extension du march de l'valuation en donnant aux clients potentiels des informations sur les spcifications du "produit" qu'ils sont en droit d'exiger sous ce label. Cette proccupation de protection du consommateur conduit mettre l'accent sur l'aspect dontologique des normes de qualit. - constituer l'valuation en tant que discipline autonome, susceptible d'tre enseigne, et de donner lieu l'accumulation de connaissances spcialises. Sur ce double plan

35

professionnel et scientifique, cette autonomisation est d'ailleurs loin d'tre acquise, du fait que l'valuation recoupe la fois des disciplines scientifiques plus anciennes (l'conomie, la statistique, les sciences humaines, la gestion), des professions et des fonctions (auditeur, inspecteur, consultant, chercheur...).

Exemple 1 : les objectifs des normes, selon la socit canadienne d'valuation (SCE) " Prcisons d'abord les objectifs que peut poursuivre l'tablissement de normes, objectifs qui ne sont pas sans se recouper: 1. Protger et promouvoir la fonction de l'valuation par la dtermination des champs et des types d'activits de l'valuation; Protger les intrts du public par la dmonstration de l'utilit sociale de l'valuation; Amliorer la qualit de la pratique valuative.

2.

3.

Comme la SCE souhaite que les normes constituent le noyau du dveloppement professionnel, nous avons dcid, pour amorcer notre dmarche, de considrer l'amlioration de la qualit de la pratique valuative comme l'objectif principal du dveloppement et de l'adoption de normes. La promotion de la fonction et la protection de l'intrt public deviennent ainsi des objectifs secondaires". Exemple 2 : les critres proposs par le "joint commitee on standards for educational valuation", aux Etats-Unis Parmi les systmes de normes ayant exerc une influence sur la pratique de l'valuation, on peut cit celui du "Joint commitee on standards for educational evaluation", labor en 1981. Il comprend 30 standards, prenant en compte les aspects sociaux de l'valuation, qui peuvent tre regroups en quatre catgories : Les critres d'utilit cherchent garantir qu'une valuation rpondra aux besoins pratiques d'information des destinataires de l'valuation. Ces critres incluent l'identification des destinataires, la crdibilit de l'valuateur, le diversit et la slectivit de l'information collecte, la capacit d'interprtation normative, la clart du rapport, la diffusion du rapport, le fait que le rapport soit remis temps et l'impact de l'valuation. Les critres de faisabilit cherchent garantir qu'une valuation sera raliste, prudente, diplomatique, et frugale. Ceci inclut des procdures pratiques, la viabilit politique, et un bon rapport cot/efficacit. Les critres dontologiques cherchent garantir qu'une valuation sera conduite dans la lgalit, dans le respect de l'thique, et en prenant en considration le bien-tre de ceux qui sont impliqus dans l'valuation, aussi bien que de ceux qui sont affects par ses rsultats. Ceci inclut des obligations formelles, la gestion de conflits d'intrt, une communication complte et franche des informations, le droit du public de savoir, le respect des droits de l'homme, les interactions humaines, un rapport rdig de manire quilibre, et le sens des responsabilits pour ce qui concerne l'affectation des deniers publics. Les critres d'exactitude cherchent garantir qu'une valuation utilisera une information techniquement adquate sur les caractristiques de l'objet tudi, particulirement lorsque ces caractristiques dterminent sa valeur ou son mrite. Ceci inclut l'identification de l'objet, l'analyse du contexte, l'explicitation des objectifs et des procdures du programme, l'utilisation de sources d'information justifiables, des mesures valides, des mesures fiables, un contrle

36

systmatique des donnes, une analyse de l'information quantitative, une analyse de l'information qualitative, des conclusions justifies et un rapport objectif. En rsum, un bonne valuation est utile ses destinataires, simple mettre en oeuvre, conduite dans le respect des rgles thiques, et techniquement exacte

------------------------------4.4.2. Les avis rendus par le Conseil scientifique de l'valuation sur les valuations interministrielles

En France, il n'existe pas ce jour de milieu professionnel certifi et agre de l'valuation. Il ne peut donc y avoir de dfinition collective des critres d'une "bonne pratique" d'valuation. Le Conseil scientifique de l'valuation a considr que la dfinition de tels critres entrait dans le cadre de ses attributions. Au titre de l'article 8 du dcret du 22 janvier 1990, le Conseil doit en effet rendre un avis sur la qualit des valuations finances par le Fonds national de dveloppement de l'valuation. Il est en outre charg au terme de ce mme dcret de "favoriser la dveloppement des mthodes d'valuation et de dfinir une dontologie en la matire". Les avis rendus par le Conseil scientifique l'issue des valuations ont une double finalit : - une finalit de validation des rsultats de l'valuation. Il ne s'agit pas pour le Conseil scientifique de se prononcer sur la pertinence des conclusions, et encore moins sur l'opportunit des recommandations faites par l'instance d'valuation, mais d'apprcier, d'une part, le degr de cohrence entre le rapport d'valuation et les diffrentes tudes ralises cette fin, et, d'autre part, le lien logique entre les recommandations et l'ensemble des constats et analyses du rapport. Il s'agit avant tout de fournir aux dcideurs une garantie extrieure sur la valeur scientifique des arguments mis en avant par l'instance. - une finalit de capitalisation de l'exprience mthodologique. L'valuation n'tant pas proprement parler une discipline scientifique, son apprentissage ne peut se faire que par accumulation d'expriences. Il est donc important que des enseignements soient tirs des avances ralises et des difficults rencontres par les valuateurs. La procdure d'mission de ces avis fait intervenir un expert extrieur au Conseil, auquel est confie la tche de vrifier la cohrence entre le rapport d'valuation, les rapports d'tudes intermdiaires et le projet d'valuation. Une rencontre a ensuite lieu entre le Conseil scientifique et l'instance d'valuation. Avant de rendre public le texte de son avis, celui-ci est communiqu au prsident de l'instance pour observations ventuelles. L'avis dfinitif est ensuite publi avec le rapport d'valuation.

37

4.4.3. Les cinq critres retenus par le CSE La qualit d'une valuation ne se rsume pas sa validit scientifique. Il faut galement prendre en compte les finalits sociales de l'valuation. C'est par rapport aux trois dimensions voques dans l'introduction (dimensions cognitive, normative et instrumentale) que doit tre apprcie la qualit d'une valuation.

Utilit-pertinence : c'est le fait que l'valuation produise de l'information comprhensible et utile, non seulement pour les dcideurs mais aussi pour les autres protagonistes de la politique publique. Pour cela, le rapport d'valuation doit rpondre de manire directe et comprhensible aux questions poses dans le projet. Le critre peut galement inclure le respect des dlais. Enfin, est galement pris en compte l'intrt de l'apport cognitif pour la socit. Les rflexions produites par l'valuation peuvent en effet contribuer de manire diffuse former le jugement de l'opinion publique sur la politique value et son information sur les problmes de socit directement lis la politique. Elles peuvent galement faire progresser la recherche et la rflexion politique sur les problmes lis la politique value. Fiabilit : l'valuation doit tre "digne de confiance" (trustworthiness). Cela renvoie l'exactitude des informations collectes et la valeur scientifique des imputations causales sur lesquelles se fonde le jugement valuatif. Il convient en particulier d'tre attentif aux biais que les techniques de collecte et de traitement des informations peuvent introduire dans la production des conclusions. Objectivit : l'objectivit s'entend comme le fait que les conclusions de l'valuation n'ont pas t influences par les prfrences personnelles ou les positions institutionnelles des responsables de l'valuation (chargs d'tude ou membres de l'instance), ou du moins que ces prfrences ont t suffisamment explicites ou contrles pour que l'on puisse supposer qu'une autre valuation rpondant aux mmes questions et utilisant les mmes mthodes conduirait aux mmes conclusions. Il s'agit notamment d'apprcier la rigueur et l'honntet du travail de qualification (telle volution, par exemple, est-elle "rapide", "normale" ou "lente" ?) et d'interprtation des donnes qui permet de passer de l'observation au jugement. Possibilit de gnralisation : il s'agit de savoir dans quelle mesure les conclusions portes sur les effets d'une action publique partir d'observations faites sur un certain type de terrain pendant une priode donne peuvent tre tendues d'autres situations, d'autres contextes, voire des politiques diffrentes. Le plus souvent, les rsultats d'une valuation sont en effet utiliss pour clairer des dcisions relatives des actions et des contextes qui diffreront en bien des points de ceux sur lesquels l'valuation a port. Transparence : outre l'exigence d'un expos complet et rigoureux des mthodes mises en oeuvre, ce critre inclut l'ide que l'valuation doit expliciter son propre "mode d'emploi" et ses limites : positionnement par rapport d'autres valuations

38

possibles sur le mme sujet, rappel des questions auxquelles il n'est pas ou incompltement rpondu, anticipation des objections possibles, etc . Cet effort de lucidit et de rflexivit est d'autant plus ncessaire que les valuations sont gnralement imparfaites, qu'elles laissent de nombreuses questions dans l'ombre, et que les rsultats auxquels elles parviennent n'ont pas tous la mme porte ni la mme robustesse.

Deuxime partie : Les outils de l'valuation

Les valuateurs peuvent avoir accs l'ensemble des instruments habituels des sciences sociales. Ceux-ci sont exposs dans des guides, manuels et traits spcialiss propres chaque discipline (conomie, statistique, sociologie, notamment). On se contente dans ce qui suit d'voquer quelques questions de base directement en rapport avec l'valuation.

5. Informations mobilises et registre de l'argumentation

Un rapport d'valuation se prsente comme le dveloppement d'une argumentation dont le but est de rpondre un ensemble de questions et d'hypothses relatives la politique value. Concernant la nature de cette argumentation, le pragmatisme est de rgle : contrairement une recherche scientifique mene dans un cadre disciplinaire dtermin, qui privilgie un nombre limit de raisonnements, l'valuation cherche utiliser toutes les "heuristiques", et s'adapter aux conditions relles de la dlibration et de la prise de dcision. Comme toute discussion ou rflexion mene des fins pratiques, l'valuation n'exclut a priori aucun lment d'information concernant son objet, quelle que soit sa nature (quantitative ou qualitative) et son origine, ds lors qu'il semble pertinent. Cet clectisme n'est pas synonyme de confusion : contrairement une discussion ordinaire, mene sans mthode formelle, l'valuation s'efforce de ne pas mlanger les diffrents types d'arguments, mais de les hirarchiser, de les pondrer, et de relier chacun des conclusions spcifiques.

5.1. Le dbat quantitatif/qualitatif Il est frquent d'opposer les mthodes d'valuation selon qu'elles s'appuient principalement sur des informations quantitatives ou qualitatives. - les informations quantitatives rpondent des questions sur la valeur prise par une variable, sur l'intensit d'un phnomne social (combien ? jusqu' quel point ? quelle proportion ? quel taux de croissance ? etc). Elles prennent souvent la forme d'indicateurs (cf 3.2.2.).

39

- les informations qualitatives s'expriment par des mots : on a besoin de toute la richesse et de la prcision du langage pour dcrire les vnements, les situations, les processus sociaux qui constituent la ralit d'une politique. Ces donnes sont tires d'une grande varit de sources : entretiens, tude de cas, analyse de documents... La distinction quantitatif-qualitatif n'a cependant rien d'absolu. Les donnes qualitatives peuvent tre transformes en donnes quantitatives (par exemple grce l'analyse lexicale) et, rciproquement, les chiffres reposent presque toujours sur une conceptualisation pralable de la ralit (dfinition des variables, nomenclatures...). Les valuateurs, et les lecteurs d'un rapport d'valuation, accordent spontanment beaucoup d'importance aux donnes quantitatives : elles semblent possder un fort pouvoir d'objectivation de la ralit et se prter mieux la comparaison (dans le temps et dans l'espace) et l'agrgation (globalisation de constats partiels). Quel que soit le phnomne social rencontr au cours d'une valuation, la question de sa mesure peut tre pose. Il convient cependant de souligner les limites de la quantification dans le domaine des sciences sociales : compte tenu des conventions qu'il faut adopter pour mettre en forme la ralit sociale, l'impression d'objectivit et de prcision qui mane des chiffres est souvent illusoire. En outre, une tendance existe actuellement parmi les spcialistes de l'valuation revaloriser l'importance des rsultats qui peuvent tre obtenus sur la base d'informations qualitatives (y compris pour apprcier l'efficacit d'une politique).

5.2. Le statut des assertions : description, dmonstration et opinion Qu'elles soient quantitatives ou qualitatives, les donnes s'intgrent dans des assertions qui visent qualifier la ralit et former le jugement des lecteurs du rapport. On peut distinguer trois registres principaux d'argumentation, qui contribuent de manire complmentaire assurer la crdibilit des conclusions de l'valuation. 5.2.1. Le registre du constat Toute valuation dveloppe d'abord des constats qui semblent simplement induits par l'observation directe de la ralit (mme si tout constat comprend ncessairement un mixte d'inductions et de dductions) : - constats quantitatifs : il peut s'agir de simples comptages physiques ou financiers : cot d'une politique ou d'un programme, nombre de bnficiaires, de dossiers traits, etc. Cette quantification peut tre obtenue par exploitation de donnes exhaustives (par exemple comme sous produit d'une gestion administrative), ou sur la base d'une enqute portant sur un chantillon statistiquement reprsentatif du phnomne analys. - constats qualitatifs : la description du processus socio-organisationnel initi par la

40

politique, en terme de dispositifs institutionnels, d'vnements, d'activits, de situations et de comportements, voire d'anecdotes ou d'histoires personnelles, constitue toujours une composante importante de l'valuation. Cette description est ncessaire la bonne interprtation des donnes globales. De surcrot, elle constitue une source d'illustrations concrtes d'effets et de mcanismes analyss par d'autres mthodes.

41

5.2.2. Le registre dmonstratif et interprtatif Parmi les questions poses dans le projet d'valuation, un certain nombre appellent des rponses plus labores que de simples constats : on veut tester des explications (pourquoi ?) ou un mode de comprhension (comment ?). Rpondre ce type de questions, consiste faire une dmonstration ou proposer une interprtation thorique des informations dont on dispose. Le registre dmonstratif concerne le test d'hypothses, la recherche et la discussion des preuves de la ralit d'un phnomne ou d'un mcanisme non directement observable, notamment lorsque l'on a l'ambition de mesurer les effets propres de la politique, qui, comme on l'a vu prcdemment, ne se confondent pas avec les modifications constates de l'tat de la socit. En ce domaine, la dmonstration doit s'efforcer d'apporter la preuve la mieux teste d'une relation causale, et, si possible, sa quantification. En pratique, la dmonstration prsente souvent un caractre moins formalis. Pour rpondre de manire raisonne certaines questions, il n'est d'autre solution que d'interprter les donnes collectes (presque toujours lacunaires ou ambigus) en faisant appel de manire clectique des raisonnements de diverses natures : rationalisation intuitive du comportement des acteurs ou schmas thoriques plus complexes inspirs de corpus scientifiques tablis (thories conomiques ou sociologiques). Toute valuation est, pour une bonne part, un travail sur les reprsentations, et il arrive frquemment que l'un des principaux rsultats obtenus soit une rinterprtation des rapports entre les objectifs et les stratgies de mise en oeuvre de la politique value, ce qui conduit une reformulation de la thorie d'action(1) des dcideurs qui a pu inspirer la politique en question. Exemple : l'valuation d'une politique de transfert de technologie au profit des entreprises (Rgion Rhne-Alpes) a conduit l'valuateur proposer une nouvelle manire de se reprsenter l'efficacit de la politique : "Le concept de "transfert de technologie a inspir son dbut la politique rgionale. La ressource tait dans l'offre publique et il fallait la passer l'entreprise pour qu'elle la transforme en richesse conomique. Cette vision linaire a pouss la rgion aider l'offre puis solliciter la demande pour qu'elle s'adresse l'offre. En fait, la ralit de l'innovation est plus complexe : les ressources technologiques n'existent pas en tant que telles, elles se crent dans un processus d'apprentissage entre une entreprise au contact du march et des comptences externes qu'elle sollicite" (10).

(1) L'expression "Thorie d'action" dsigne les ides (souvent implicites) qui inspirent les concepteurs et/ou les acteurs d'une politique quant ses mcanismes d'action et relations de cause effet entre les mesures prises et leur impact social attendu.

42

5.2.3. Le registre de l'opinion Le point de vue des groupes d'intrts concerns par une mesure constitue parfois la principale information disponible pour valuer sa russite : Exemple : une Direction dpartementale de l'quipement a valu ses prestations aux communes en se fondant principalement sur l'opinion des lus locaux (11). Par ailleurs, l'opinion des acteurs chargs de mettre en oeuvre une politique est souvent indispensable pour apprcier sa cohrence et pour identifier les dysfonctionnements qui peuvent nuire son efficacit. Quant l'opinion des experts, elle joue un rle dterminant dans tous les domaines ou les normes de l'action publique reposent sur des connaissances techniques spcialises. Les opinions mises sur une politique sont rarement indpendantes des positions et intrts dfendus par leurs auteurs. Si importants que soient, dans la pratique, les arguments d'opinion, l'instance d'valuation devra donc toujours s'efforcer de les corroborer par d'autres sources, et, surtout, viter de reprendre son compte sans prcaution le point de vue d'une catgorie particulire d'acteurs ou d'experts (en particulier, pour ces derniers, lorsqu'ils ont t impliqus, directement ou non, dans l'orientation de la politique value).

6. Les techniques de collecte de l'information

6.1. Mobiliser l'information prxistante L'information susceptible d'tre mobilise dans le cadre d'une valuation n'a rien de spcifique. Comme on l'a rappel ci-dessus, il est ncessaire de procder au bilan des informations existantes avant d'entreprendre de nouvelles investigations. Cellesci peuvent tre : - des tudes et recherches portant sur des sujets connexes ou apparents ; - des statistiques publies ou immdiatement disponibles ; - des informations de toutes natures dtenues par les gestionnaires de la politique. L'valuation est facilite par l'existence de dispositifs de suivi, du type contrle ou analyse de gestion. La ncessit de dvelopper de tels outils fait d'ailleurs frquemment partie des recommandations formules l'issue d'une valuation. 6.2. Des enqutes et investigations spcifiques Les donnes prexistantes rpondent rarement la totalit des questions que l'on est amen se poser dans le cadre d'une valuation. Ainsi, dans le cas d'une politique d'aide (subvention, prestation sociale), on peut s'attendre ce que les administrations gestionnaires dtiennent un fichier des bnficiaires, comptabilisent les moyens

43

humains et financiers engags et les actes administratifs effectus, etc, mais qu'elles ne disposent d'aucune information sur les effets produits par l'aide. On est donc presque toujours conduit envisager des investigations spcifiques, dont les principaux types sont les suivants : - tudes documentaires et historiques - enqutes statistiques - entretiens - tudes de cas ou monographies - groupes d'acteurs ou d'experts - auditions 6.3. Etudes documentaires et historiques Toute valuation d'une politique prsentant une certaine anciennet doit commencer par une tude historique. Le but de cette tude est de connatre le contexte dans lequel les dcisions concernant la politique ont t prises, afin de mieux comprendre la nature des objectifs poursuivis. Quelle que soit la nature de l'action value, il est ncessaire de procder un recensement des textes officiels et des traces crites des processus dcisionnels. La recherche documentaire, ou l'appel la mmoire des acteurs, peut parfois s'intgrer dans le droulement de l'valuation, pour reconstituer une squence d'vnements dont la comprhension est ncessaire l'analyse des mcanismes de la politique. Exemple : Dans le cadre de l'valuation de la politique de rhabilitation du logement social, les participants aux "groupes locaux d'valuation" se sont efforcs de reconstituer l'histoire des oprations de rhabilitation dont ils avaient t les protagonistes (12). 6.4. Les enqutes En fonction des moyens dont on dispose, du type d'information recherch et de la reprsentativit souhaite, on procdera une enqute par tlphone, par questionnaire postal ou par entretien. Ces diffrentes procdures peuvent tre couples. Il est envisageable, par exemple, d'interroger par tlphone les nonrpondants une enqute postale lorsqu'on veut contrler le biais induit par les nonrponses. 6.4.1. Structure et prsentation du questionnaire. Quelle que soit la technique d'enqute choisie, celle-ci suppose l'laboration d'un questionnaire. La russite d'une enqute repose en partie sur la qualit du questionnaire : une grande attention doit tre apporte la formulation et l'ordre des questions.

44

Un bon questionnaire comprend une majorit de questions fermes (qui n'admettent qu'un petit nombre de rponses, gnralement moins de cinq), et quelques questions ouvertes, qui permettent la personne interroge de s'exprimer plus longuement et plus librement. Les questions fermes ont pour objet de constituer une information quantitative, les questions ouvertes une information plus qualitative mais pouvant cependant tre exploite. Chaque question ferme ne doit traiter que d'un seul problme, et doit tre pose de manire discriminante (de manire maximiser les chances de faire apparatre des contrastes au sein de la population). On distingue quatre types de questions : - les questions de souhait ou d'intention (ce que veut la personne interroge) ; - les questions de connaissance (ses informations et opinions) ; - les questions de comportement (ce qu'elle fait) ; - les questions d'attributs ou de statut (ce qu'elle est)(1). La formulation des questions d'opinion ne doit pas induire de biais (ne pas suggrer implicitement une rponse) et respecter la sensibilit des personnes interroges. Les rponses proposes doivent tre quilibres. Si l'on veut connatre, par exemple, la satisfaction d'une personne vis vis d'une mesure, il faut que la personne interroge ait le choix entre une nombre gal de rponses positives et ngatives. Pour tre acceptable, un questionnaire ne doit pas tre trop long, et il ne doit pas tre peru comme inquisitorial. Pour cette raison, il est prfrable de ne pas placer les questions d'attributs en tte. De mme, les questions les plus dlicates doivent tre places vers la fin du questionnaire, juste avant les questions d'attribut. 6.4.2. Le suivi d'un "panel" Le suivi d'un panel (typiquement, d'un groupe individus bnficiant d'une mesure sociale) vise apprhender les effets de l'action publique dans leur dimension temporelle. La technique consiste rpter la mme enqute auprs d'un mme chantillon, intervalle rgulier (6 mois ou plus), pendant une dure totale de plusieurs annes. On peut ainsi saisir l'impact dynamique d'une intervention publique sur la trajectoire sociale des individus. Outil de base pour l'valuation des politiques sociales, le suivi d'un panel se heurte plusieurs difficults pratiques : - les contraintes de temps et de cot ; - la difficult de constituer un chantillon reprsentatif et de conserver cette reprsentativit au cours du temps. Il faut en effet obtenir des personnes un accord de principe pour se soumettre des interrogations rptitives. Il faut galement prvoir des procdures de remplacement des personnes qui disparaissent du panel
(1) D'aprs Herv DRY, Industrie Canada, prsentation au Congrs annuel de la Socit Canadienne d'valuation, mai 1994.

45

suite un changement de leur situation (dmnagement, abandon du programme...). La solution peut consister prendre un chantillon suffisamment important au dpart. Dans le cas de l'valuation du RMI, le panel des bnficiaires est pass de 2000 1000 en deux ans, suite ces diverses causes de dfection. Une alternative intressante au panel peut consister reconstituer ex-post la trajectoire des individus qui ont particip un programme, ou qui participent celuici depuis une dure suffisamment longue. La constitution d'un fichier peut poser des problmes pratiques et dontologiques : il faut en effet ncessairement utiliser des fichiers de gestion nominatifs sur la base de critres souvent considrs comme confidentiels (par exemple, dans le cas de l'valuation des politiques d'insertion des adolescents en difficult, le fait d'avoir t pris en charge par la Protection Judiciaire de la Jeunesse plusieurs annes auparavant). En outre, toute interrogation portant sur le pass pose des problmes spcifiques de fiabilit (slectivit de la mmoire, reconstruction subjective des vnements...). 6.5 L'entretien Le recours l'entretien rpond diffrentes ncessits : - prparer une enqute par voie tlphonique ou postale en testant et prcisant les questions auprs d'un petit nombre d'individus ; - amliorer la qualit des rponses un questionnaire, ce qui est d'autant plus ncessaire que ce questionnaire porte sur une ralit complexe ; - recueillir un matriau verbal non format. Dans le cadre d'une valuation, l'entretien est particulirement utile pour interprter le comportement des acteurs, apprhender leur reprsentation de la ralit, comprendre leurs objectifs personnels et la manire dont ils peroivent ceux de l'action publique. Il s'agit notamment de mettre en vidence les repres normatifs implicites partir desquels ils agissent et prennent leurs dcisions. Cela vaut aussi bien pour les usagers et partenaires de la politique que pour les agents chargs de la mettre en oeuvre diffrents niveaux. Au dbut de l'entretien, l'interviewer doit en indiquer clairement le cadre et les finalits. Il doit ensuite s'efforcer d'en fixer le cadre gnral (la liste et l'ordre des sujets aborder), tout en laissant une grande initiative l'interview dans la manire d'aborder ces diffrents points. Il a souvent t observ que les lieux et circonstances de l'entretien peuvent influer sur son droulement : un entretien portant sur le travail ne donnera pas les mmes rsultats selon qu'il est men au domicile de l'interview ou dans son bureau. On distingue les entretiens directifs ou semi-directifs, selon le caractre plus ou moins structur du questionnement et le temps laiss la personne pour s'exprimer librement. La dure de l'entretien et le nombre de personnes interroges sont trs variables, selon, par exemple, que l'on a affaire des acteurs clefs de la politique ou

46

 un chantillon de bnficaires. 6.6. Les tudes de cas L'tude de cas (ou monographie) peut concerner un ou plusieurs sites de mise en oeuvre d'une politique (le plus souvent), une opration, un vnement (par exemple un incident critique), voire l'itinraire d'une personne. L'tude est elle mme constitue de matriaux divers : donnes quantitatives, entretiens, documents de nature historique, etc. La spcificit de l'tude de cas rside cependant dans la possibilit qu'elle offre d'apprhender la dimension humaine et vnementielle de la ralit sociale. Les tudes de cas sont particulirement utiles pour analyser une situation complexe, par exemple lorsque la mise en oeuvre d'une politique publique rsulte des initiatives combines d'un grand nombre d'acteurs diffrents. L'tude de cas est alors la seule mthode qui permet de dcrire finement le processus rel, d'identifier de manire concrte et dtaille ses mcanismes d'action et les conditions de sa russite, de mettre en vidence les diffrents types d'effets produits. Les risques que comporte la gnralisation des observations effectues ne doivent pas tre sous-estims. Une grande attention doit tre porte au choix du ou des sites. Dans un protocole d'valuation, la ralisation de monographies est souvent conue comme le complment d'investigations plus systmatiques (enqutes statistiques). Dans cette logique de complmentarit avec d'autres sources, l'approche monographique peut tre utilise pour tudier des "cas polaires", c'est dire des situations prsentant le maximum de contrastes, afin de fournir un clairage tendu sur la diversit des phnomnes que l'on souhaite analyser. Elle peut aussi constituer la pice essentielle d'une pr-tude d'valuation, en aidant l'instance d'valuation formuler des hypothses pertinentes et reprer les ressources informationnelles disponibles. 6.7. Les groupes d'acteurs et d'experts 6.7.1. Finalits Les techniques de travail en groupe peuvent tre utilises dans deux perspectives : la premire est de dgager un consensus portant sur la rponse des questions complexes auxquelles les travaux de recherche ne fournissent pas de rponse univoque (les participants ont alors le statut d'experts) ; la seconde est de caractriser de manire diffrentielle les attitudes et opinions de catgories particulires d'acteurs. Au cours d'une valuation, les groupes d'experts ou d'acteurs peuvent tre utilises diffrents stades, en amont ou en aval des investigations quantitatives. Leur principal intrt par rapport l'entretien est de recueillir en un temps relativement bref le point de vue de plusieurs personnes. L'objet des techniques de travail en groupe est de neutraliser autant que faire se peut les effets psycho-sociaux lis au fonctionnement du groupe, tout en maximisant la

47

stimulation rciproque des participants. Il s'agit de mettre en situation chaque membre du groupe de restituer l'information dont il est porteur dans un langage qui fasse sens pour les autres. L'avantage pour l'valuateur est alors de disposer d'un matriau conceptuellement homogne et pertinent. 6.7.2. Les diffrentes techniques Parmi les diffrentes techniques de travail en groupe, on peut citer : - la mthode Delphi : consultation d'un groupe d'experts par voie postale avec interrogations successives visant rduire progressivement les dsaccords entre les personnes consultes. - la mthode du groupe nominal : les diffrents experts sont runis dans une mme pice et donnent tour tour leur opinion sur les questions poses, mais ils ne communiquent pas entre eux. - les groupes de discussion : on se contente d'enregistrer une discussion libre, sur un sujet donn, sans intervention de l'animateur, et on procde ensuite une analyse de contenu. - L'Abaque de Rgnier : Le groupe, physiquement runi dans un mme lieu, est confront une liste de questions fermes auxquelles il rpond de manire non verbale en utilisant un code de sept couleurs (deux nuances de vert pour l'accord, deux nuances de rouge pour le dsaccord, l'orange pour l'hsitation, le blanc signifie que le participant manque d'information pour rpondre la question, le noir signifie qu'il rcuse les termes de la question et refuse de participer la discussion). - la mthode des groupes silencieux consiste runir des groupes reprsentatifs de diffrentes catgories d'acteurs auxquels on demande de hirarchiser par un systme de notation un ensemble prdfini d'affirmations relatives un problme donn (par exemple un liste de causes du chmage). La comparaison des hirarchies proposes par les diffrents groupes peut s'avrer particulirement instructive. 6.8. La perspective ethno-sociologique La perspective ethno-sociologique repose sur l'ide que la verbalisation opre rtrospectivement par les acteurs ne reflte que trs imparfaitement ce qu'ils vivent et la manire dont ils agissent dans le contexte social de leur activit habituelle. Nombre d'attitudes et de gestes "routiniss" sont en effet spontanment considrs comme non pertinents par leurs auteurs, voire mme chappent leur conscience. La seule manire pour le chercheur d'apprhender la ralit d'une situation complexe impliquant des interactions sociales rgies par des rgles informelles est d'observer directement les processus relationnels qui en constituent la trame.

48

Exemple : Dans le cadre de l'valuation de l'accueil des populations dfavorises dans certains services publics, on a procd l'observation en situation des comportements et des changes verbaux entre les usagers et les agents de guichet, afin d'apprcier la manire dont les services publics s'adaptent aux caractristiques des publics accueillis (13). L'observation directe peut dans certains cas modifier sensiblement l'interprtation de certaines donnes. Ainsi, l'observation des attitudes relles face un tlviseur allum (nombre de personnes qui suivent effectivement le programme, occurrence ventuelle d'autres activits telles que la lecture o des tches mnagres...) fournit une information trs diffrente de celle que donne l'audimat. Il n'est pas toujours ncessaire pour le chercheur d'assister rellement aux scnes qu'il souhaite tudier. Le recours des enregistrements (son ou image) peut s'avrer une solution plus praticable. La principale difficult est alors d'obtenir l'accord des intresss, tout en vitant que la conscience d'tre observ modifie leur comportement.

7. Le traitement des informations par la statistique

7.1. Dfinitions et principes mthodologiques Rappelons qu'on peut dfinir la statistique comme l'"ensemble de techniques d'interprtation mathmatique appliques des phnomnes pour lesquels une tude exhaustive de tous les facteurs est impossible cause de leur grand nombre et de leur complexit".(Grand Robert). Ces techniques font appel la notion mathmatique de probabilit, que nous ne chercherons pas ici dfinir avec prcision. La thorie des probabilits permet de conduire des raisonnements rigoureux et d'effectuer des calculs propos d'vnements incertains (par exemple, nous ne connaissons pas la date de notre mort, mais il est possible de calculer notre esprance de vie). L'utilisation des statistiques dans le contexte de l'valuation se justifie d'un double point de vue : - l'incapacit de l'esprit humain prendre en compte simultanment un trop grand nombre de donnes ; - le fait que les processus sociaux n'apparaissent pas nos yeux comme des processus dterministes (par exemple, suivre un stage de formation professionnelle ne garantit pas avec certitude que l'on va retrouver un emploi). Le lien entre les deux aspects (nombre de donnes prendre en compte, matrise de l'incertitude), est la loi des grands nombres qui fonde la possibilit de connatre plus prcisment les caractristiques d'un phnomne alatoire en multipliant les observations (ce qui permet de prvoir, par exemple, qu'en jouant pile ou face un grand nombre de fois, le rapport entre les piles et les faces se rapproche progressivement de 0,5). Cette loi est la base de toutes les techniques d'estimation

49

et d'infrence statistique. Dans la pratique, trois types de mise en oeuvre des techniques statistiques peuvent tre rencontrs : la description rsume des donnes, l'induction et le test d'hypothses thoriques. 7.1.1. Description rsume des donnes Le niveau lmentaire de la pratique statistique est la statistique descriptive, c'est dire les techniques qui permettent de rsumer et de prsenter de manire synthtique l'information contenue dans un ensemble de donnes. Ces techniques recouvrent notamment le calcul et l'interprtation des paramtres caractristiques de la distribution des valeurs prises par une variable observe : paramtres de centralit (moyenne, mdiane), et paramtres de dispersion (cart type, quantiles, etc), ainsi que les techniques graphiques (tableaux, histogrammes, graphiques...). 7.1.2. Analyse des donnes et typologies Face un ensemble de donnes, diffrentes techniques (analyse factorielle, classification hirarchique) permettent de rechercher une structure sous-jacente : par structure, on entend soit une typologie, soit des rapports de corrlation entre variables. Exemple : l'valuation d'une aide de l'Agence Nationale pour la Valorisation de la Recherche a montr que les entreprises aides sont de plus grande taille et plus dynamiques que la moyenne (14). Une typologie obtenue par l'analyse des donnes n'est pas seulement utile pour dcrire commodment une ralit complexe, elle peut galement, parfois, servir de base la formulation d'une nouvelle hypothse. Exemple : une tude portant sur les jeunes frquentant des missions locales a dress une typologie de "parcours d'insertion" en appliquant un corpus de rcits suscits et mis en forme par les conseillers des missions, des mthodes d'analyse lexicale et de classification hirarchique. On en tire un nouvel clairage sur les causes de l'exclusion professionnelle et sur la pertinence des rponses institutionnelles qui lui sont apportes. La typologie des units textuelles distingue par exemple deux catgories de situations initiales -"faible milieu scolaire, milieu dfavoris" et "conflits familiaux et sociaux" qui traduisent le reprage par les conseillers de besoins diffrents chez les jeunes (15). 7.1.3. Techniques d'infrence et vrification probabiliste des hypothses Les techniques statistiques peuvent tre utilises pour tester empiriquement la validit d'une relation suggre par des raisonnements thoriques ou l'intuition, c'est dire vrifier qu'elle n'est pas contredite par la ralit observe. En pratique, on ne

50

dispose pour cela que d'un nombre limit d'observations, et on ne peut donc parvenir aucune certitude. Il est toujours possible, en thorie, que l'chantillon (d'entreprises, d'individus, etc) ne soit pas reprsentatif, c'est dire qu'il ne reflte pas fidlement la ralit dont il a t extrait. Le respect des rgles de l'art (tirage alatoire, reprsentativit gographique, mthode des quotas, etc) permet de rduire ce risque, mais, mme dans le meilleur des cas, un doute subsiste. A dfaut de certitude, la statistique permet de quantifier le degr de confiance qui peut tre accord telle ou telle infrence (estimation d'une grandeur ou d'une relation, affirmation d'un lien de causalit) dduite d'un nombre limit d'observation. C'est 2 l'objet des tests statistiques (Test du Chi , Test de Student...), couramment employs par les praticiens, mais dont la prsentation rigoureuse et la justification thorique sont relativement complexes. Il importe cependant d'en bien saisir la signification : quand on dit par exemple que "la diffrence (pour un indicateur donn) entre deux groupes est statistiquement significative au niveau 0.05", cela veut dire que, compte tenu des observations effectues, il y a moins de 5% de chance pour que le phnomne observ ait la mme distribution dans les deux groupes. La thorie statistique permet donc de donner un contenu prcis et quantitatif la notion de reprsentativit. Dans le contexte de l'valuation, on est cependant souvent amen se satisfaire d'une conception plus "qualitative" de la reprsentativit. A l'extrme, il n'est pas rare que l'on cherche tirer des enseignements de porte gnrale sur la base d'un petit nombre d'tudes de cas. La validit d'une gnralisation dpend autant de la variabilit du phnomne observ que du nombre d'observations : un mme phnomne observ dans cinq dpartements de caractristiques contrastes a des chances de se reproduire dans la grande majorit des dpartements. Un chantillon de petite taille qui reflte les principaux contrastes dans les situations que l'on souhaite observer suffit souvent pour tirer d'utiles conclusions. Exemple : les dix groupes locaux constitus dans le cadre de l'valuation de la politique de rhabilitation du logement social ont abouti des conclusions suffisamment convergentes pour que l'on puisse les considrer comme reprsentatives de la situation de l'ensemble du pays (12). 7.2. Les cadres de rangement de l'information 7.2.1. Nomenclatures et concepts. Toute mesure repose sur une structuration pralable de la ralit, dfinition d'units statistiques, nomenclatures, etc. La construction de ce cadre conceptuel rsulte d'un compromis entre les diffrentes reprsentations sociales de la ralit que l'on veut mesurer et les exigences de clart et de permanence lies la pratique de l'observation statistique ou administrative (que l'on pense par exemple la dfinition d'un "chmeur", d'une "agglomration", ou d'un "quartier", ou encore de la dfinition d'un indicateur de "taux de dlinquance"). Dans le contexte de l'valuation, il faut s'efforcer de construire des donnes qui refltent la nature du problme traiter par

51

la politique, mme si ce problme est formul de manire volontairement floue et ambigu dans l'expos des objectifs de la politique. Bien souvent, notamment dans le domaine social, une politique est identifie par sa "population cible" (les bnficiaires prsums : par exemple, les jeunes en difficult), sans que ses concepteurs aient vrifi que la catgorie de population ainsi dsigne a une quelconque pertinence et une signification claire pour les acteurs sociaux et qu'elle est reprable par les systmes d'information existant. Les statistiques fournies par les administrations refltent le fonctionnement des institutions plus que l'volution des problmes qu'elles ont traiter. Exemple : lors de l'valuation de l'accueil des populations dfavorises dans certains services publics, il est vite apparu que la catgorie "populations dfavorises" vise par les promoteurs de l'valuation ne correspondait aucun regroupement de catgories administratives et statistiques connues (trangers, chmeurs de longue dure, personnes ges...) (13). Dans le mme ordre d'ide, l'analyse du comportement des acteurs (cf 8.3.2.) conduit frquemment l'tablissement de nouvelles distinctions au sein de catgories constitues a priori. Il peut se faire, par exemple, que l'attitude des lus locaux vis vis d'une politique devienne un critre pertinent pour dfinir des catgories de communes rpondant aux besoins de l'valuation.

7.2.2. Cohrence des nomenclatures, "triangulation" des donnes. Cette structuration du systme d'information doit viser la mise en cohrence, ou la confrontation, des diffrentes sources d'information. Le rapprochement d'informations d'origines diffrentes, quantitatives ou qualitatives, portant sur les mmes units statistiques et sur les mmes problmes, peut se rvler particulirement fructueux. A cette fin, les concepts et nomenclatures, le cadre de restitution de l'information, les modalits et les dates d'observation, doivent tre harmoniss et adapts au questionnement valuatif Exemple : L'valuation du "Revenu minimum d'insertion". Peu de temps aprs le vote de la loi du 1 dcembre 1988 instituant le dispositif et prvoyant son valuation, la Commission nationale d'valuation du RMI est mise en place par le dcret du 6 septembre 1989. Elle est charge "d'apprcier les effets du RMI au regard des objectifs fixs par la loi". Pour remplir sa mission, la Commission a pu s'appuyer sur un groupe de coordination scientifique anim par le Commissariat gnral du plan. Les discussions au sein de ce groupe ont fait apparatre trs vite l'ensemble des acteurs concerns (chercheurs, chargs d'tude, statisticiens...) la ncessit de disposer de statistiques de rfrence conceptuellement pertinentes et surtout comparables d'un organisme l'autre. La commande passe par la Commission nationale d'valuation a acclr la mise en place de ces systmes d'information, qui ont t structurs par deux instruments : un "module de coordination statistique" (dfinition des concepts et de nomenclatures), et un

52

"dictionnaire des sources statistiques sur le RMI" (prsentation synthtique des sources disponibles par thme) (16).

Le couplage entre une enqute statistique par questionnaire et un nombre limit d'entretiens approfondis ou d'tudes de cas (cf 6.6.) portant sur un sous-chantillon de la mme population constitue un exemple typique de mise en cohrence de plusieurs sources d'information complmentaires. L'enqute statistique fournit un cadrage quantitatif, les tudes de cas une vision plus qualitative des phnomnes tudis qui permet d'interprter les rsultats de l'enqute. C'est ce qu'on appelle parfois la "triangulation" des donnes. Exemple: L'valuation, au Canada, d'un programme de prvention des abus et ngligences envers les enfants. Dans un premier temps, on a procd une enqute par questionnaire auprs d'un chantillon de 175 familles et d'un chantillon tmoin quivalent, en utilisant une grille quantitative cense mesurer la qualit de l'interaction parents enfants. Dans un second temps, on a ralis 55 entretiens approfondis au domicile des familles (17).

8. Le problme de la causalit et l'analyse des systmes complexes

L'identification et la mesure des effets de l'action publique constitue souvent, pour le commanditaire, l'enjeu principal de l'valuation. C'est aussi, en gnral, la question la plus difficile traiter. Toute action visant modifier l'tat de la socit interfre avec les volutions endognes de celle-ci, et avec une multitude d'autres facteurs exognes, y compris l'impact d'autres actions publiques. Dans la pratique de l'valuation, on a souvent affaire des systmes complexes au sein desquels il est difficile de quantifier des relations de causalit. Le but que doit se fixer l'valuation est alors de comprendre le fonctionnement de ces systmes, afin de dcrire l'enchanement des mcanismes qui aboutissent aux effets constats.

8.1. Les difficults de l'exprimentation 8.1.1. Position du problme Pour prouver et quantifier une relation de cause effet entre une politique et certaines volutions constates de l'tat de la socit, il faudrait thoriquement pouvoir rpondre la question : que se serait-il pass si, toutes choses gales d'ailleurs, la politique n'avait pas t mise en oeuvre ? Poser le problme en ces termes oriente immdiatement vers l'ide d'exprimentation : en toute rigueur, seule une exprience reproductible

53

l'identique mettant en parallle deux situations qui ne diffrent que sous l'angle du phnomne tudi permettrait de se prononcer sur l'"effet propre" d'une action sur la ralit. Tel est, on le sait, le modle de la vrification d'une hypothse dans les sciences de la nature. Notons que ce mode d'tablissement de la preuve reste valide si la relation entre la cause et l'effet observ n'est pas strictement dterministe mais seulement "probabiliste", comme c'est souvent le cas en biologie (compte tenu de la variabilit des caractristiques individuelles des tres vivants).

54

8.1.2. Les limites de la mthode exprimentale dans les sciences de l'homme et de la socit Rien n'interdit, en principe, de transposer cette dmarche l'valuation d'un programme public. En pratique, on doit alors constituer deux chantillons alatoires de "cibles" du programme (personnes, entreprises...), l'un d'entre eux tant soumis au "traitement" dfini par celle-ci (la participation une activit de formation, le bnfice d'une aide), et l'autre non. Les paramtres reprsentatifs de l'effet attendu (par exemple, les comptences acquises dans tel ou tel domaine) sont mesurs pour les deux chantillons avant et aprs le traitement. La comparaison de l'volution constate de ces paramtres (sur la base de tests statistiques adquats) permet alors de se prononcer sur l'effet propre du programme. Bien qu'elle soit assez largement mise en oeuvre dans les pays anglo-saxons pour valuer les programmes sociaux et ducatifs, l'exprimentation avec groupe de contrle soulve, dans la plupart des situations rellement rencontres, des difficults qui en limitent la porte. Il est rare que l'on puisse raisonner "toutes choses gales d'ailleurs", c'est dire comparer deux situations sur lesquelles toutes les variables exognes agissent exactement de la mme manire. Les limites et obstacles rencontrs sont de diverses natures : - l'exprimentation peut poser un problme thique : a t-on le droit de faire jouer le hasard lorsque l'intrt des individus est en jeu ? le problme est classique dans le cas de l'exprimentation mdicale (et il a fait l'objet d'un traitement juridique spcifique), mais il existe galement pour des programmes sociaux. Dans le contexte franais, la force du principe d'galit devant le service public et l'attachement aux droits acquis interdisent pratiquement d'attribuer des droits sociaux titre exprimental. - En dehors de toute considration thico-juridique, l'impossibilit de constituer de manire alatoire deux groupes comparables tient le plus souvent la nature mme de l'action value. Il est trs frquent, par exemple, que le bnfice d'une aide publique soit accord des individus (ou des entreprises) qui le demandent expressment, et que les candidats soient slectionns par l'administration selon des critres qui interdisent pratiquement la constitution d'un groupe tmoin comparable. Ce mode de recrutement induit un biais de slection impossible neutraliser. Exemple : les entreprises qui demandent bnficier d'une aide la modernisation (du type Fonds de Dveloppement des Petites et Moyennes Industries), sont slectionnes en fonction de la qualit conomique et technique de leurs projets. Les entreprises bnficiaires prsentent donc ds le dpart des caractristiques spcifiques qui les diffrencient des entreprises non bnficiaires (cf annexe). - Un autre problme est celui de la reproductibilit. La gnralisation des rsultats d'une "exprience sociale" la mise en oeuvre "routinise" d'un programme

55

suppose que l'on contrle l'effet du contexte particulier de cette exprience. Or, s'agissant d'un processus social, c'est trs difficile. Le comportement des acteurs impliqus dans la mise en oeuvre du programme est une variable la fois particulirement importante et particulirement susceptible d'tre influence par les circonstances. Le fait de participer une exprience est un facteur de mobilisation, voire de "surmotivation" qui amliore sensiblement les rsultats du programme. C'est ce qu'on appelle l'"effet Hawtorne", que l'on caractrise parfois de la formule "toute exprience commence par russir". - L'exprimentation pose enfin des problmes de dlais, et donc (notamment) de cot. Pour toutes ces raisons, le schma exprimental est rarement appliqu avec toute la rigueur requise, et il ne constitue pratiquement jamais, du moins en France, la pice essentielle du protocole d'valuation d'une politique publique. Une exception doit toutefois tre faite pour le domaine ducatif, qui prsente, du point de vue de la mise en oeuvre d'un protocole exprimental, plusieurs caractristiques favorables : - la taille des populations est importante ; - les lves n'ayant pas la possibilit de choisir leur tablissement en fonction du programme qui y est expriment, il n'y a pas de biais de slection ; - le ministre de l'Education nationale ralise depuis plusieurs annes une valuation systmatique du niveau acquis dans les matires de base (lecture et mathmatiques) l'entre en CE2 et l'entre en sixime, ce qui fournit un matriau de base pour effectuer des comparaisons rigoureuses entre diffrentes souspopulations. Exemple : dans le cadre de l'valuation de la politique d'amnagement des rythmes de vie des enfants, il a t procd une comparaison de l'volution des acquis des lves dans les matires de base entre deux chantillons d'tablissements comparables et tirs au hasard, l'un compos d'tablissements bnficiant de la politique et l'autre d'tablissements n'en bnficiant pas. Les rsultats obtenus ont tabli de manire robuste l'absence d'effet significatif de la politique sur le niveau scolaire moyen des lves, tout en suggrant un effet faiblement positif pour les enfants les plus en difficult (8).

La mthode exprimentale pourrait cependant tre utilise dans d'autres domaines, pour valuer des actions d'ampleur limite qui n'affectent le comportement et la situation de leurs "cibles" que sur un point trs prcis. On peut penser, entre autres, aux actions de communication en matire de prvention, l'efficacit de mesures de contrle, etc. Exemple : le dpartement de l'environnement du New Jersey a valu grce un protocole exprimental l'efficacit relative de plusieurs stratgies de communication d'un message de prvention sanitaire (concernant en l'occurence la pollution

56

domestique par le radon) (18).

8.1.3. Protocoles pseudo-experimentaux La plupart du temps, pour des raisons pratiques, les comparaisons effectues dans les valuations portent sur des groupes non quivalents, dont le mode de constitution n'est pas neutre vis vis des effets attendus du programme. C'est notamment le cas lorsqu'on compare la situation d'entreprises ayant bnfici d'une aide publique avec des entreprises comparables qui n'en ont pas bnfici. Il est gnralement admis que le fait de participer au programme (bnficier d'une aide), rsulte d'une trajectoire ou d'un comportement particulier corrl avec les volutions que l'on cherche favoriser (par exemple, ce sont, en rgle gnrale, des entreprises plutt dynamiques qui bnficient des aides l'innovation). Il est clair que l'on ne peut tirer aucune conclusion dfinitive sur l'efficacit propre d'un programme en comparant l'volution de deux groupes non quivalents. La comparaison de bnficiaires et de non bnficiaires est nanmoins utile pour d'autres aspects de l'valuation : connaissance du mode de slection des dossiers, motivations des bnficiaires, mcanismes d'action, et, donc, identification des leviers d'amlioration de l'efficacit. Dans certaines situations favorables, il est possible d'analyser rigoureusement l'effet du programme dans le cadre d'un protocole pseudo-exprimental, en modlisant l'impact des principales variables exognes qui n'ont pu tre neutralises par un tirage alatoire. On est alors ramen aux problmes de la modlisation voqus ci-dessous. 8.2. Causalit et modlisation Lorsque l'exprimentation est impossible, la principale mthode alternative pour prouver et quantifier une relation de causalit est l'estimation statistique d'un modle mathmatique schmatisant l'action de la politique sur la socit. 8.2.1. L'estimation d'un modle Par modle, on entend ici une relation mathmatique -dont la forme est dfinie a priori sur la base d'arguments thoriques- entre les effets attendus de la politique et diffrentes variables explicatives dont l'une reprsente l'action du programme. Pour donner une ide simple de ce que l'on entend par estimation d'un modle, on peut dire qu'il s'agit du calcul des valeurs les plus probables des paramtres (ou coefficients) du modle au vu des valeurs observes des diffrentes variables. Les techniques d'estimation des modles font appel des notions mathmatiques relativement complexes. Les seuls modles dont les techniques d'estimations sont parfaitement matrises sont les modles linaires (de la forme Y=a1X1+a2X2+a3X3..., Y tant la variable explique, X1,X2...les variables explicatives, a1,a2...les coefficients que l'on cherche

57

 estimer). Ces modles sont trs largement utiliss en conomie, d'o le vocable conomtrie parfois utilis pour dsigner cette branche particulire de la

58

statistique mathmatique. On parle galement de rgression multiple, ou d'analyse multivarie. Par diffrents artifices (changement de variables), il est possible de traiter une large gamme de modles par les mthodes d'estimation des modles linaires. Pour modliser un phnomne, il faut bien entendu disposer d'un ensemble de donnes qui s'y prte. Dans le contexte de l'valuation, les deux principaux types de donnes rencontres sont les sries temporelles de donnes agrges (par exemple les sries conomiques tires des comptes nationaux) et les donnes individuelles (les mmes variables sont observes pour un grand nombre d'individus). Dans le cas des sries temporelles, la variable reprsentant l'effet du programme est gnralement, comme les autres variables, une variable continue. Exemple : pour valuer l'effet d'une mesure d'abaissement du cot du travail sur l'emploi, on peut utiliser une relation entre l'emploi et le cot du travail estime sur des sries temporelles agrges. Dans le cas des donnes individuelles, la variable reprsentant l'effet de la politique est une variable binaire (prenant arbitrairement la valeur 1 pour les individus participant au programme, 0 dans le cas contraire). Le coefficient de la variable binaire, s'il est statistiquement significatif, fournit alors directement une mesure de l'effet du programme. Dans le cas le plus frquent, les donnes de base sont issues d'un panel regroupant des individus participant ou non au programme. Exemple : L'valuation des zones d'ducation prioritaires (ZEP) par la Direction de l'valuation et de la prospective (DEP) au Ministre de l'Education Nationale, utilise ce type de mthode. Les donnes sont tires de deux chantillons nationaux de 2000 lves entrant en CE2 et en 6ime, dont on a mesur le niveau en franais et en mathmatique, et pour lesquels sont renseignes les principales variables socio-dmographiques susceptibles d'influencer de manire vidente les rsultats scolaires, ainsi que l'appartenance ou non de l'tablissement une ZEP. L'application du modle linaire gnral permet d'obtenir un ensemble de relations entre le niveau en mathmatique et en franais et les diffrentes variables explicatives, chaque coefficient estim reprsentant l'influence d'une variable en 1 supposant les autres variables fixes leur valeur de rfrence . Si l'appartenance une ZEP semble peser significativement et de manire ngative sur les rsultats en franais et en mathmatiques au niveau CE2, cet effet semble s'estomper "toutes choses gales d'ailleurs" au niveau de l'entre en 6ime, soit deux ans plus tard s'il s'agissait des mmes individus. On peut donc raisonnablement en dduire que l'effort pdagogique particulier ralis dans les zones d'ducation prioritaires aboutit bel et bien une rduction du handicap scolaire des enfants issus d'un milieu dfavoris qui en bnficient (19). 1 "L'valuation des zones d'ducation prioritaires", dossiers Education et formation n14, Ministre de l'Education nationale, Septembre 1992, Paris.

59

8.2.2. Les piges de la modlisation Les tests statistiques (cf 7.1.3.) permettent de vrifier que le modle estim fournit une reprsentation de la ralit compatible avec les observations effectues. Il importe cependant de remarquer qu'une bonne adquation du modle l'observation (mme lorsqu'on peut vrifier son pouvoir prdictif) ne constitue en aucun cas une preuve suffisante de la validit des relations causales qu'il contient.

Exemple : Un lecteur (ingnieur en retraite) crivait rcemment un quotidient la lettre suivante : "Les statistiques montrent qu'il y a une relation entre les taux d'pargne, de croissance et de chmage. On peut reprsenter cette relation par la formule empirique : augmentation annuelle du chmage = 0.075 (taux d'pargne - taux de croissance/0.15) Suivent diffrentes courbes montrant que cette formule fournit une taux de chmage calcul en bon accord avec le chmage observ. Et le lecteur de conclure : "D'aprs cette formule, pour rduire le chmage, on pourrait agir sur le taux d'pargne ou sur le taux de croissance. Le premier moyen est plus facile". Suivaient des considrations sur les moyens de rduire les taux d'intrt pour agir sur le taux d'pargne. Cet exemple prsente l'intrt de mettre en vidence les principales chausse-trappes de la modlisation. Ce que l'auteur cit n'a pas compris c'est qu'une corrlation ne doit pas tre confondue avec un lien de causalit. Plus prcisment, dans ce cas, bien d'autres hypothses peuvent tre envisages que celle mentionne par l'auteur (ce qui n'interdit pas de lui accorder une part de vrit), par exemple : - l'augmentation du chmage peut tre la cause de la hausse du taux d'pargne, et non sa consquence ; - les deux grandeurs peuvent tre influences par des variables non prises en compte dans le modle, ce qui peut expliquer leur corrlation. En bref, les mthodes d'estimation statistique ne donnent des rsultats fiables que lorsqu'on les applique un modle convenablement spcifi, cohrent et reposant sur de solides arguments thoriques (ce qui signifie, notamment, que l'on est certain d'avoir pris en compte les principales variables explicatives, et que celles-ci ne sont pas influences par la variable explique). 8.3. Les limites de l'approche causale et l'analyse des systmes sociaux 8.3.1. Le problme de la circularit

60

En dehors des difficults pratiques de l'exprimentation et de la modlisation, l'approche causale en matire de phnomnes sociaux se heurte un obstacle plus fondamental : la frquence des phnomnes de circularit. Par circularit, on entend deux phnomnes en relation pouvant tre simultanment cause et effet l'un de l'autre. Exemple : l'valuation des effets structurants de l'autoroute Paris-Bordeaux. "Les valuateurs ont ralis plusieurs monographies concernant des villes situes aux abords de l'autoroute. L'hypothse de causalit teste tait la suivante : plus la ville est proche de l'autoroute, plus le dveloppement conomique est important. Pour commencer, l'valuateur a dcouvert que les villes les plus proches avaient connu un dveloppement plus vigoureux et un meilleur dynamisme politique. Mais il est rapidement apparu que ces villes disposaient d'un bon potentiel de dveloppement local avant la construction de l'autoroute. Elles taient donc mieux prpares profiter des avantages offerts par l'autoroute en combinant des investissements publics et privs adapts. De plus, on a remarqu que le trac de l'autoroute avait t lui-mme influenc par le dynamisme de ces villes. Dans ce cas, l'autoroute apparat comme un effet et non plus comme une cause. Lorsque les causes et les effets sont aussi troitement imbriqus, ils forment un systme circulaire qui interdit toute analyse d'impact (20)." Les systmes circulaires simples du type de l'exemple prcdent ne constituent euxmmes qu'un cas particulier. La plupart du temps, on a affaire des systmes relationnels complexes, dans lesquels les "boucles de rtroaction" peuvent tre multiformes et difficiles identifier. C'est trs gnralement le cas du systme social constitu par les acteurs d'une politique publique, dont les intrts, attitudes et dcisions dpendent mutuellement les uns des autres selon des configurations qui diffrent selon la politique considre. 8.3.2. L'analyse des systmes d'action Toute politique publique mobilise un nombre plus ou moins lev d'individus, de groupes, d'institutions. Les acteurs ne se comportent pas ncessairement de faon passive et neutre. Au contraire, leurs savoir-faire, leurs routines, leurs intrts, leurs modes de relation d'change et d'interdpendance exercent un impact tout fait significatif sur les objectifs, sur les ralisations, sur les effets gnrs par l'intervention publique, notamment au moment de sa mise en oeuvre sur le terrain. Il s'agira donc pour l'valuation d'en comprendre de faon concrte la nature et la porte. Exemple : le transport routier de fret. Voulant combattre les accidents de la route, la puissance publique contrle rglementairement les conditions techniques et sociales de la conduite des poids lourds. Or, pour les vhiculeurs, et au quotidien, la fraude s'avre fournir une solution -en termes de cots, donc de prix- pour grer un problme crucial -trouver du fret dans un contexte de dpendance forte l'gard des auxiliaires et des affrteurs qui, pour leur part, chappent largement l'emprise

61

de la rglementation. D'autre part, les forces de police et les corps administratifs chargs d'appliquer les rgles adoptent des comportements plus ou moins stricts, prfrant dans certains cas assouplir les sanctions plutt que d'en imposer la lettre. Le vhiculeur, qui forme la population-cible de l'action tatique, est en fait un acteur dont la rationalit dpend d'un systme d'action conomique sur lequel l'intervention publique n'a pas de prise (21). Identifier les acteurs qui comptent pour la russite ou pour l'chec d'une politique publique, expliquer comment leur rationalit et leurs logiques d'action spcifiques affectent le cours des choses, constituent des tches et des tapes significatives de l'valuation. Des modes d'analyse existent, grce notamment l'apport de la sociologie des organisations. Celle-ci traite une politique publique comme une intervention sur un tissu social dont elle repre les divers acteurs, analysant leurs relations mutuelles et les rgles concrtes qui structurent les comportements des acteurs, par del les classifications institutionnelles ou statistiques. L'tude des ces systmes d'action, notamment par le recours la technique du sociogramme et l'aide de la grille d'analyse des stratgies comportementales, formalise la manire dont les parties prenantes grent leurs interdpendances et leur intervention dans le champ de la politique publique. Elles permet aussi de recenser si et comment de tiers acteurs, ne relevant pas formellement du dispositif public d'intervention, jouent en fait un rle dcisif pour les effets rellement gnrs par ce dispositif. Elle s'appuie principalement sur l'observation des pratiques sur le terrain, collectant des donnes qualitatives au moyen de techniques d'intervention en profondeur, d'analyse documentaire et d'observation participante auprs de groupes d'acteurs interdpendants.

62

Index des principaux termes techniques Abaque de Rgnier, 6.7.2. Analyse des donnes, 7.1.2. Analyse multivarie, 8.2.1. Argumentation (registres d'), 3.3.2., 5.5.2. Atteinte des objectifs, 1.7. Audit, 1.5. Biais de slection, 8.1.2. Bilan informationnel, 3.1.9. Cahier des charges, 2.3. Causalit, 8. Chargs d'valuation, 3.1.11. Circularit, 8.3.1. Cohrence, 1.7. Commanditaire, 2.2.1. Conditions de gnralisation, 3.2.4. Constat, 5.2.1. Contexte de la mise en oeuvre, 3.2.4. Contrle, 1.5. Cot-avantages, 3.2.2. Cot-efficacit, 3.2.2. Cot d'opportunit, 3.2.2. Critres de qualit d'une valuation, 4.4. Dmonstration, 5.2.2. Delphi (mthode), 6.7.2. Dispositif d'valuation, 3.1.8. conomie publique, 3.2.2. conomtrie, 8.2.1. Effets propres, 3.2.2. Efficacit, 1.7., 3.2.2. Efficience, 1.7., 3.2.2. Enqutes, 6.4. Entretien, 6.5. Ethno-sociologie, tude de cas, 6.6. tude documentaire, 6.3. valuateur, 2.3. valuation (dmocratique, formative, managriale, rcapitulative), 1.6. valuation (ex ante, concomitante, ex post), 2.2.3. Exprimentation, 8.1. Faisabilit, 2.4., 4.4.1. Fiabilit, 4.4.3. Groupe nominal, 6.7.2. Groupes silencieux, 6.7.2. Impact, 1.7., 3.2.2. Infrence statistique, 7.1. Initiateur, 2.2.1. Instance d'valuation, 4.1.

63

Instance de rgulation scientifique, 4.1.4. Mandat, 2.3. Mcanismes d'action, 3.2.3. Mta-valuation, 4.4.1. Mise en vigueur (implementation), 3.2.1. Modles, 8.2.1. Monographie, 6.6. Nomenclatures, 7.2.1. Objectifs (de la politique), 3.1.2., 3.1.5. Objectivit, 4.4.3. Opinion, 5.2.3. Panel, 6.4.2. Pertinence, 1.7. Porteur d'enjeu (stakeholder), 2.2.1. Politique, 2.2.2. Possibilit de gnralisation, 4.4.3. Programme, 2.2.2. Projet d'valuation, 2.3., 3. Pseudo-exprimental (protocole), 8.1.3. Qualitative(information), 5.1. Quantitative (information), 5.1. Questionnaire, 6.4.1. Questionnement, 3.1.7. Rapport d'valuation, 4.3. Recherche valuative, 1.5., 2.1.1. Rfrentiel, 1.4., 3.1.5. Registres de l'valuation, 3.1.6. Rgression multiple, 8.2.1. Reproductibilit, 8.1.2. Sociologie des organisations, 8.3.2. Sociogramme, 8.3.2. Tests statistiques, 7.1.3. Thorie d'action, 5.2.2. Transparence, 4.4.3. Triangulation, 7.2.2. Utilit-pertinence, 4.4.3. Variable binaire, 8.2.1.

64

Rfrences des exemples cits

(1) Comit interministriel de l'valuation, Commissariat gnral du plan, L'insertion des adolescents en difficult, La Documentation franaise, 1993. (2) valuation de la politique de la montagne, dcide par le Comit interministriel de l'valuation en 1993, non encore termine. (3) Comit interministriel de l'valuation, Commissariat gnral du plan, Les zones humides, La Documentation franaise, 1994. (4) Comit interministriel de l'valuation, Commissariat gnral du plan, L'informatique de l'tat, La Documentation franaise, 1992. (5) Conseil scientifique de l'valuation, L'valuation en dveloppement 1993, La Documentation franaise, p. 151. (6) RMI, le pari de l'insertion, rapport de la Commission nationale d'valuation, La Documentation franaise, 1992. (7) valuation des politiques d'aides la localisation des activits dans les zones de conversion, Avis du Conseil conomique et social, Juillet 1994. (8) Comit interministriel de l'valuation, Commissariat gnral du plan, L'amnagement des rythmes de vie des enfants, La Documentation franaise, 1993. (9) valuation des l'insertion par l'activit conomique, dcide par le Comit interministrielle de l'valuation en 1993, non termine. (10) Comit rgional d'valuation de la rgion Rhne-Alpes, Evaluation de la politique de transfert de technologie au profit des entreprises, rapport non publi. (11) Christina NYRUP, "La DDE et les maires, une valuation des prestations aux communes", in Les cahiers du Management n14, Ministre de l'Amnagement du Territoire, de l'quipement et des Transports, Octobre 1995. (12) Comit interministriel de l'valuation, Commissariat gnral du plan, La rhabilitation du logement social, La Documentation franaise, 1993. (13) Comit interministriel de l'valuation, Commissariat gnral du plan, Les services publics et les populations dfavorises, La Documentation franaise, 1993. (14) P. CORBEL et Y. PECCIA-GALETTO, "Aider les innovateurs" in L'innovation technologique, les chiffres cls, Dunod, 1993. (15) Valrie BAUDOUIN et Anne-Lise AUCOUTURIER, "Histoires d'insertion", Travail et emploi n65, La Documentation franaise 1995.

65

(16) "Dictionnaires des sources statistiques sur le RMI", Commissariat gnral du PlanCommission nationale d'valuation, note ronote, 1991, Paris. (17) F. OUELLET, D.DURAND et R.MASSE, "Une stratgie de triangulation pour l'valuation des effets d'un programme de soutien aux nouveaux parents", in Revue canadienne d'valuation de programme, Avril-Mai 1992, P.69. (18) Neil D. WEINSTEIN et alii, "Evaluating personnalized risk messages" in Evaluation review, Juin 1992, Sage-London, p. 235. (19) "L'valuation des zones d'ducation prioritaires", Dossiers Education et formation n14, Ministre de l'Education nationale, Septembre 1992, Paris. (20) Extrait du Cahier n2 du programme MEANS, Identifier les effets structurants des interventions communautaires, Union Europenne - Politique Rgionale et Cohsion, p. 45. (21) "Une illustration : la politique du transport routier de fret", dans MENY Y. et THOENIG J.C., Les politiques publiques, Paris, PUF 1989, pp. 258-267.

66

Ouvrages gnraux sur l'valuation des politiques publiques

En franais : - Rapports annuels du Conseil scientifique de l'valuation : - L'valuation de l'expertise la responsabilit (1992) - L'valuation en dveloppement (1993) - L'valuation en dveloppement 1993 (1994) - L'valuation en dveloppement 1994 (1995) - L'valuation en dveloppement 1995 ( paratre en juin 96) (Ouvrages publis La Documentation franaise, Paris) - Commissariat gnral du plan, Outils, pratiques et institutions pour valuer les politiques publiques, Actes du sminaire Plan-ENA, La Documentation franaise 1990. - DELEAU (Michel) (dir.) : valuer les politiques publiques : mthodes, dontologie, organisation, rapport du groupe de travail "Mthodes d'valuation des politiques publiques", Commissariat gnral du Plan, Paris, La Documentation franaise, 1986. - MONNIER (Eric) valuation de l'action des pouvoirs publics, Paris, Economica, 2me dition, 1992. - NIOCHE (Jean-Pierre), POINSARD (Robert), L'valuation des politiques publiques, Paris, Economica, 1984. - "L'valuation en question", Revue franaise d'administration publique n66, , Institut International d'Administration Publique, Avril-Juin 1993. - RAY (Jean-Claude) (dir.), Les politiques sociales transversales : une mthodologie d'valuation de leurs effets locaux, rapport d'un groupe de travail sur l'valuation des politiques sociales, Commissariat gnral du Plan, Paris, La Documentation franaise, 1985. - VIVERET (Patrick) L'valuation des politiques et des actions publiques, Rapport au Premier ministre, Paris, La Documentation franaise, 1989. Revue - La Revue canadienne d'valuation de programme, diteur R.V. Segworth, dpartement de sciences politiques, Laurentian University, Sudbury, Ontario (Canada)

Quelques ouvrages en langue anglaise : - Center for the Study of Evaluation, Evaluator's Handbook, Sage publications, Londres

67

1987. - CHEN (Huey-Tsyh), Theory-Driven Evaluation, Newbury Park, Sage publications, 1990. - GUBA (E), LINCOLN (S), Fourth gnration Evaluation, Sage 1987 - MAYNE (J.), BEMELMANS-VIDEC (M.L.), HUDSON (J.) et CONNER (R.), Advancing Public Policy Evaluation, North-Holland, Amsterdam 1992. - PALUMBO (Dennis) (dir.), The politics of program evaluation, Beverly Hills, Sage Publication, 1987. - RIST (Ray C.) (dir.), Program evaluation and the management of government : patterns and prospects across eight nations, New Brunswick, Transaction publishers, 1990. - ROSSI (Peter H.), FREEMAN (Howard E.), valuation : a systematic approach, Sage Publications, 1993.

Revues - Evaluation, the international journal of theory, research and practice, Sage publications, en association avec The Tavistock Institute, Londres. - Evaluation review, a journal or applied social research, Sage periodical press, Thousand Oaks, USA.

68

ANNEXE I

Trois cahiers des charges d'valuation

On trouvera ci-aprs, titre d'illustration, trois cahiers des charges qui refltent des dmarches d'valuation proches de celle qui est propose dans le prsent guide. Ils concernent respectivement : - le service inter administratif du logement (SIAL), valuation ralise en 1994 et 1995, la demande du Ministre de la fonction publique, sous la responsabilit du Comit pour la rorganisation et la dconcentration de l'Administration (CRDA). - le Fonds de Dveloppement des Petites et Moyennes Industries (FDPMI), valuation ralise en 1995 l'initiative du Ministre de l'industrie. - la politique du tourisme rural dans la rgion Bretagne, valuation ralise en 1993 du Comit Rgional d'Evaluation de Bretagne.

69

L'VALUATION DU SERVICE INTER ADMINISTRATIF DU LOGEMENT

Comit pour la rorganisation et la dconcentration de l'Administration (CRDA).

Origine du projet d'valuation Le projet fait suite une commande de M. ROSSINOT prcise dans sa lettre du 4 Mai 1994 o il est demand aux administrations concernes (Intrieur, Affaires Sociales, Logement, Equipement, Budget) de procder l'valuation de l'exprimentation d'un "ple de comptences mis en place LYON pour grer les problmes d'attribution de logements sociaux". Il est galement indiqu que cette valuation se fera dans le cadre d'une instance prside par S. VALLEMONT, Prsident du Comit pour la rorganisation et la Dconcentration de l'Administration (CRDA). Cette dcision de procder une valuation fait suite une runion de travail qui s'est tenue le 14 avril 1994 au ministre de la Fonction Publique laquelle la Prfecture du Rhne tait venue exposer l'exprience mene dans le Rhne. L'intrt suscit par la dmarche a conduit le Ministre de la Fonction Publique proposer cette valuation.

Champ de l'valuation Le champ de l'valuation est circonscrit l'action mene par le SIAL en matire d'attribution de logements sociaux : il ne s'agit pas d'valuer l'ensemble de la politique du logement dans le Rhne. L'valuation porte essentiellement sur le caractre interministriel de l'exprience conduite. Le SIAL n'est tudi que comme "la prfiguration d'une organisation administrative susceptible d'tre dveloppe dans l'avenir". Le coeur de la rflexion mener concerne donc le fonctionnement de l'interministriel. Description de l'action valuer Le SIAL a t mis en place en Octobre 1992 dans le cadre de l'laboration du plan triennal d'action pour le logement des personnes dfavorises. Ses missions (cf. note de prsentation du 3 aot 1994) visent la fois : 1. constituer un dispositif interministriel de comptence en matire de logement ; 2. mettre en place un ple d'accueil de la demande des populations les plus dfavorises ; 3. constituer au plan dpartemental un lieu de connaissance et d'analyse de cette demande ; 4. optimiser la gestion de logements rservs au Prfet dans le cadre du contingent prfectoral ; 5. amener le service tre un partenaire reconnu et incontournable dans la politique d'attribution des logements sociaux. Le SIAL comprend 18 agents d'origines diverses : 1 chef de service issu de l'ANPE 9 agents du cadre national de Prfecture 3 contractuels DDASS 1 agent de la DDASS 1 agent de la DDE 3 venant d'association ou d'un bureau d'tude (CREPAH) Expos des motifs de l'valuation Prdiagnostic

70

Une base de diagnostic est fournie par la note rdige le 3 Aot 1994 par le SIAL o un premier bilan de l'action du SIAL est effectu. Ces lments seront complts par une analyse de l'historique du SIAL et du contexte ayant prsid sa cration. Cette analyse de l'volution du SIAL devra permettre de dgager les premires hypothses de travail. Les objectifs de l'valuation Les objectifs assigns l'valuation sont explicits dans la lettre de M. ROSSINOT du 4 Mai dernier. Ils concernent la fois : 1. l'efficacit de la dmarche, en termes de service rendu aux usagers et aux partenaires ; 2. les conditions de sa prennisation ; 3. la transposabilit ventuelle de la dmarche. Les attentes locales l'gard de l'valution Les attentes des acteurs locaux (Prfecture, DDE, DDASS, SIAL) telles qu'elles se dgagent d'entretiens pralables mens auprs d'eux se fondent sur une conviction forte : celle que le SIAL reprsente une tentative pratique pour instaurer un fonctionnement interministriel. L'valuation de cette exprience doit donc permettre de montrer selon eux : 1. comment la notion d'interministrialit se concrtise, au-del des seuls discours ou dclaration de principe ; 2. les consquences qu'en tirent les administrations centrales, en terme de pilotage d'actions interministrielles. Leurs attentes concernent donc simultanment : 1. une reconnaissance de l'action entreprise ; 2. un bilan de l'action engage, sur la base d'un diagnostic contrast, permettant la fois de dgager les points forts et les points faibles de la dmarche ; 3. la leve par l'administration centrale de certains blocages, notamment en termes de moyens ; 4. des propositions visant amliorer le dispositif mis en place et le "faire vivre". Il est noter que les attentes des responsables locaux se situent davantage dans une perspective d'amlioration que dans une perspective de rforme. La suppression du dispositif apparatrait d'ailleurs selon eux comme un "dsengagement auprs des partenaires". Toute proposition par l'instance consistant supprimer le dispositif devrait tre assortie, selon eux, de propositions alternatives aboutissant un service et des rsultats au moins autant efficaces que le SIAL. Problmatique et hypothses Il est difficile en l'tat et prmatur de dresser de vritables hypothses. On peut nanmoins recenser les principales questions que pose une valuation du SIAL. Un premier diagnostic permettra de les affiner et de dgager des hypothses d'tude. Celles-ci s'organisent en fait autour de trois axes principaux : 1/ le fonctionnement interne de l'Etat, 2/ le positionnement de l'Etat l'gard de ses diffrents partenaires, notamment la communaut urbaine de Lyon, les communes, le dpartement, les associations et les organismes HLM, 3/ l'amlioration du service rendu aux usagers.

Sur le fonctionnement interne de l'Etat

71

Les questions poses concernent essentiellement la plus-value apporte par le SIAL et sa valeur ajoute par rapport une organisation traditionnelle. Cette interrogation renvoie plusieurs questions : 1. quelles sont les amliorations apportes par le SIAL par rapport la situation antrieure ? 2. l'organisation mise en place rpond-elle aux objectifs fixs ? est-elle cohrente avec la nature des problmes traiter ? 3. quelles sont les synergies opres entre le SIAL et les autres services intervenant dans le mme domaine (DDE, DDASS) ? 4. quels sont les modes de coopration qui se sont nous ? au niveau de la conception mme du SIAL au niveau des moyens mobiliss au niveau des modes de travail en commun 5. quel est l'apport essentiel par le SIAL : rle d'animation et d'interface ? lieu de connaissance et de production d'informations ? mise en rseau des diffrents partenaires ?...... En termes de perspective, on peut galement s'interroger sur les aspects suivants : 1. en quoi l'organisation actuelle est-elle adapte ? comment doit-elle voluer ? 2. quels sont les modes d'expertise et les comptences dvelopper par le SIAL ? 3. comment prserver et entretenir la dynamique mise en place ? susciter les conditions d'un vritable travail interministriel qui dpasse la mise en commun des moyens ? 4. comment viter une bureaucratisation et une routinisation de l'activit du SIAL ? 5. quelles sont les conditions de prennisation de la dmarche engage par le SIAL ? 6. en quoi ce mode d'organisation prfigure-t-il un vritable fonctionnement interministriel de l'Etat au niveau local ? 7. l'organisation actuelle est-elle transposable : dans d'autres dpartements ? d'autres domaines ? quelles conditions ? Sur le positionnement de l'Etat l'gard de ses partenaires (communes, dpartement, associations et organismes HLM) les questions concernent la fois : l'efficacit de l'action entreprise : "le SIAL a-t-il permis une gestion plus efficace et moins coteuse pour l'Etat qu'elle ne l'aurait t par les moyens traditionnels ?" (cf. p. 1 de la lettre de M. Rossinot) ; l'image de l'Etat auprs de ses interlocuteurs. Il en dcoule une srie d'interrogations : le fonctionnement interministriel a-t-il favoris un meilleur traitement des problmes ? dans des dlais plus rapides ? a-t-il contribu mettre en oeuvre des procdures originales ? l'exprience du SIAL a-t-elle permis un meilleur positionnement de l'Etat en matire de politique de logement ? A-t-elle accru la capacit de ngociation et l'influence de l'Etat ?

Sur l'efficacit du SIAL auprs des usagers Concernant l'amlioration du service rendu aux usagers, l'analyse s'attachera distinguer : la qualit de l'accueil mis en place (accueil personnalis, liens avec les travailleurs sociaux, professionnalisation de cet accueil, etc ....),

72

la rponse aux demandes des usagers, modalits de traitement de la demande, catgories de population concernes, dlais moyens de satisfaction, etc .... sur ce dernier point, l'analyse s'appuiera sur les donnes statistiques disponibles au SIAL.

73

Mthode Il sera procd une analyse pralable permettant de se constituer des lments de rfrence et des critres indispensables toute valuation. La constitution de cet tat de rfrence s'appuiera notamment sur : une reconstitution de l'historique du SIAL et des motifs qui ont prsid sa cration. Cette reconstitution s'appuiera sur des documents d'archives, notamment les rsultats d'un questionnaire adress par le SIAL ses interlocuteurs l'issue d'un an de fonctionnement et des entretiens auprs de quelques acteurs cls. des expriences menes dans d'autres dpartements qui permettront d'avoir des bases de comparaison. Ces informations seront collectes par les membres de l'instance sur la base de rapports disponibles dans leur propre administration ou de leur propre exprience. L'approche utilise sera essentiellement qualitative, fonde sur des entretiens approfondis auprs de trois catgories d'acteurs : 1. les agents du SIAL ; 2. les agents des diffrents services de l'Etat impliqus dans la politique du logement ( la DDASS, la DDE et la Prfecture) ; 3. les partenaires extrieurs (organismes HLM, associations, conseil gnral, lus, communaut urbaine de Lyon ....).Ces entretiens pourront tre complts par l'analyse plus ponctuelle et prcise de quelques procdures dployes par le SIAL. Dispositif d'valuation composition de l'instance : l'instance comprend des reprsentants des diffrents ministres (Equipement, Logement, Affaires Sociales, Intrieur, Budget) (cf. liste jointe) ; L'instance est prside par S. VALLEMONT (CRDA) calendrier : le dlai prvu de 18 24 mois parat long et peu compatible avec le souci local d'exploiter les retombes de l'valuation pour relancer la dynamique du SIAL. On peut envisager un calendrier plus resserr visant la remise d'un rapport l't 1995, le travail pourrait s'organiser selon le calendrier suivant : mi-octobre : 1re runion de l'instance tude des matriaux collects par les membres de l'instance (informations sur des expriences analogues, rapports d'inspection disponibles sur le mme sujet...) ; prsentation de l'historique du SIAL ; mise au point dfinitive du cahier des charges et laboration de quelques hypothses ; mise au point des grilles d'entretien. novembre : collecte des informations sur le terrain dcembre : 2me runion de l'instance d'valuation restitution des informations collectes premiers constats janvier : point d'tape avec les acteurs locaux

74

fvrier - mars : investigations complmentaires (sur quelques procdures prcises par exemple), mise au point de l'analyse. avril - mai : mise au point des propositions juillet : remise du rapport juin : laboration du rapport dfinitif juillet : prsentation du rapport d'valuation. organisation du travail : la phase de collecte des informations pourrait s'organiser de la faon suivante : il pourrait tre constitu des binmes responsables de la conduite des entretiens auprs des diffrents interlocuteurs. On peut suggrer que les interviews soient effectus : la DDASS et la DDE, par M. FLORENNE, Inspecteur de l'Administration et M. ROCHARD, Inspecteur Gnral des Finances au SIAL et la Prfecture, par M. LAPILLONNE, Ingnieur Gnral des Ponts et Chausses et M. VINCENT, Inspecteur Gnral des Affaires Sociales auprs des partenaires, par Mme CHANUT, Charge de mission auprs du Prsident du CRDA et Mme VARAGNE, Administrateur Civil la Direction de l'Habitat et de la Construction du Ministre du Logement.

75

EVALUATION DES DISPOSITIFS PUBLICS D'INCITATION ET D'ACCOMPAGNEMENT DE L'INVESTISSEMENT MATERIEL DES PMI Cahier des Charges
DIRECTION DE L'ACTION REGIONALE ET DE LA PETITE ET MOYENNE INDUSTRIE Sous-Direction du Dveloppement Industriel et Technologique Rgional

L'valuation des politiques publiques rpond une double ncessit : - d'une part, l'impratif dmocratique qui impose l'information des lus et de la Nation sur le bon emploi des deniers publics et les effets des politiques menes, -d'autre part, un impratif technique qui rend ncessaire l'identification des sources de dysfonctionnement et des lieux d'amlioration des dispositifs actuels et futurs.

Le prsent projet d'valuation du dispositif d'aide l'investissement matriel des PMI s'inscrit dans cette double ncessit.

1 - objectifs de l'tude L'tude poursuit un double objectif : - d'une part, de manire rtrospective, valuer le dispositif d'aide l'investissement matriel en faveur des PMI mis en place par le ministre charg de l'industrie depuis 1984. Ce volet de l'tude doit caractriser l'impact des Plans productiques rgionaux et du Fonds de redveloppement industriel sur les PMI effectifs jusqu'en 1994. - d'autre part, de manire prospective, sur la base des enseignements de la premire partie de l'tude, et compte tenu des lments de similitude entre le dispositif antrieur 1994 et le dispositif actuel d'aide l'investissement des PMI, simuler les effets du Fonds de dveloppement des PMI et en proposer des pistes d'amlioration pragmatiques. 2 - nature et historique du dispositif d'aide l'investissement matriel Le dispositif franais d'aide l'investissement matriel des PMI comprend de nombreuses aides visant chacune, des objectifs et/ou des populations spcifiques. Ces aides relvent de plusieurs ministres comme ceux de l'Agriculture, de l'Amnagement du territoire ou de l'Industrie. Certaines mesures sont dfinies et mises en place en partenariat avec les collectivits locales et l'Union europenne. Jusqu'au 31 Dcembre 1993, les principales mesures d'aide l'investissement matriel gres par le ministre charg de l'industrie taient les Plans productiques rgionaux (PPR) et le Fonds de redveloppement industriel (FRI). Ces mesures taient de porte gographique limites. Dans un soucis de clarification et de rationalisation, le Comit interministriel d'amnagement du territoire du 12 Juillet 1993 a dcid de substituer une nouvelle mesure -le Fonds de dveloppement des PMI (FDPMI)- aux anciens PPR et FRI. Le FDPMI se substitue aussi aux Oprations pilote productique (OPP) du ministre de l'industrie et l'Aide l'investissement industriel en zone rurale (AIIZR) du ministre charg de l'amnagement du territoire. Mis en place en Janvier 1994, le FDPMI est trs largement inspir des PPR dont il constitue, dans une large mesure, une extension l'ensemble du territoire.

76

2.1 Les plans productiques rgionaux : Les deux premiers Plans productiques rgionaux (PPR) sont des actions pluriannuelles massives dcides fin 1984 dans le cadre du redveloppement et de la reconversion du Nord Pas de Calais et de la Lorraine. Ils ont t introduits cette date dans la premire gnration des Contrats de plan Etat-rgions (CPER) concerns. Ces CPER prvoyaient dans leur forme originale des actions de dveloppement de la productique plus restrictives et moins massives. Les PPR ont pour objectif immdiat de moderniser massivement les PMI en leur apportant des ressources financires bon march, l'objectif final recherch tant la dynamisation de l'emploi industriel dans un but de reconversion des bassins concerns. Les PPR sont des procdures dconcentres et contractualises. L'aide consiste en une subvention d'quipement limite 20% du montant d'un programme d'investissement en productique. L'assiette ligible est limite 20 MFHT. Elle peut comprendre une part d'investissement immatriel. Par la suite, respectivement en 1989 et 1991, un PPR a t mis en place en Limousin puis en Auvergne. Le bilan quantitatif global de PPR s'tablit comme suit : NORD P.C. priode nombre de dossiers montant des programmes montant des aides alloues dont Etat dont rgion dont U.E. 1984 1988 655 3250M F 484.4M F 270.9 105.2 108.3 1989 1993 821 8900M F 576.2 MF 241.3 113.2 221.7 1984 1988 467 2160M F 248.6M F LORRAINE 1989 1993 435 #1500M F 275.5 MF 135.3 33.9 106.3 LIMOUSIN 1989-1993 286 550 MF 86.3 MF 38.5 35.4 12.4 AUVERGNE 1991-1993 231 665 MF 92.6 MF 45.0 33.4 14.2

2.2 Le fonds de redveloppement industriel : Le Fonds de redveloppement industriel (FRI) a t cr en 1989. La vocation initiale telle qu'elle ressort de la dcision de cration du Premier ministre est de "soutenir la modernisation technologique et le renforcement des fonds propres des PMI situes dans des bassins touchs par des restructurations industrielles". La circulaire de Juillet 1989 qui porte modalits techniques d'utilisation du FRI prcise l'objet du fonds : "Le Fonds de redveloppement industriel est essentiellement destin permettre le dveloppement des PMI et des socits du tertiaire industriel en situation saine qui sont situes dans des bassins en difficult qui ne disposent pas d'un dispositif de conversion satisfaisant". Les notes circulaires d'instruction accompagnant les dlgations de crdits aux prfets prcisent en outre : - que la priorit doit tre donne aux programmes d'investissement ayant une incidence positive en terme d'emploi, - que le programme doit s'inscrire dans une dmarche stratgique globale de dveloppement. Le FRI est une procdure dconcentre. Annuellement, une dotation au titre du fonds est dlgue aux prfets de rgion. Cette dotation est accompagne de la liste limitative des zones d'emploi de la rgion sur lesquelles le FRI peut intervenir. L'aide consiste en une subvention d'quipement limite 20% du montant d'un programme d'investissement de modernisation. L'assiette ligible, qui peut contenir une part de dpenses de formation, est limite 20MFHT.

77

Le bilan quantitatif global du FRI s'tablit comme suit :

toutes rgions, sauf Ile de France priode nombre de dossiers montant des programmes montant des aides alloues dont Etat dont rgion + U.E. 2.3 Le fonds de dveloppement des PMI : En janvier 1994, sur la base de premiers lments locaux d'valuation, les PPR ont t gnraliss toutes les rgions - l'exception de l'Ile de France- sous l'appellation Fonds de Dveloppement des PMI (FDPMI). A partir de cette date, le Fonds de Dveloppement des PMI s'est substitu aux mesures antrieures d'aide l'investissement matriel, notamment aux PPR et au FRI. La circulaire du 13 janvier 1994, qui dfinit les modalits de mise en place du FDPMI, prcise que ce fonds "sera orient prioritairement vers les zones dfavorises (zones en conversion industrielle, zones rurales, quartiers sensibles)". La circulaire prcise par ailleurs que le FDPMI est destin favoriser l'lvation technologique et la comptitivit des PMI. Seuls les programmes s'inscrivant dans un projet global de dveloppement sont ligibles. Le FDPMI est contractualis, au titre du XIme plan, avec toutes les collectivits rgionales, sauf l'Ile de France. Dans les zones ligibles aux fonds structurels europens, le Fonds Europen de Dveloppement Economique Rgional (FEDER) co-finance le FDPMI. L'aide consiste en une subvention d'quipement dont le taux varie en fonction de la localisation de l'entreprise et, ventuellement, de sa taille. Le taux d'aide maximal est de 30% en zone de Prime l'Amnagement du Territoire (PAT). Il est de 75% dans les D.O.M. X plan, 1989 -1993 1830 # 5000 MF 757 MF 429 MF 328 MF

78

Le budget prvisionnel global du FDPMI s'tablit comme suit : toutes rgions, sauf Ile de France priode nombre de dossiers montant des programmes montant des aides alloues dont Etat dont rgion + U.E. 3 - rsultats attendus de l'etude Le cahier des charges embrasse un champ volontairement vaste afin d'apprhender les divers aspects du dispositif tudi. Nanmoins il est prcis au consultant que le coeur de l'tude doit tre consacr aux effets des dispositifs d'aide l'investissement matriel des PMI, notamment aux effets directs sur les entreprises, aux cots globaux de ces dispositifs et aux effets moyen terme du FDPMI. Les lments globaux sur l'investissement et les aides (4.2.1.) ainsi que la comparaison internationale (4.2.8.) doivent tre traits comme des lments de contexte et de situation. 3.1 Au titre de l'valuation des procdures passes : L'tude doit valuer les effets micro-conomiques et macro-conomiques des mesures de soutien l'investissement matriel des PMI mises en oeuvre depuis 1984 (PPR et FRI), sur fonds publics (Etat, Union europenne et, dans la mesure du possible, rgions). Les rsultats obtenus seront notamment compars aux objectifs affichs, aux moyens mis en oeuvre et au cot du dispositif. Le degr de ralisation de chacun des objectifs initiaux des mesures d'aide sera caractris. Les consquences connexes sur les PMI et sur les conomies locales seront mises en vidence. Le cot global moyen terme de ces mesures d'aide, tant pour les finances publiques que pour l'conomie sera valu l'chelle nationale et l'chelle locale. Le dispositif de mise en oeuvre des aides sera tudi afin de dgager les points forts rutiliser et des pistes ventuelles d'amlioration. 3.2 Au titre des propositions pour le dispositif actuel : L'tude prsentera une simulation des effets prvisibles, micro et macro-conomiques, court et moyen terme, du FDPMI. Elle valuera l'investissement de l'Etat moyen terme ncessaire sa mise en oeuvre. A l'exprience des conclusions de l'valuation des PPR et du FRI, mais en tenant compte des incidences dues des contextes conomiques et des structures d'aide diffrents, l'tude mettra en vidence les points forts et les points faibles de la procdure FDPMI (tant dans ses effets que dans sa mise en oeuvre). Des pistes seront recherches pour amliorer les diffrents ratios : rsultats/objectifs, rsultats/moyens. Le cot global et les effets prvisibles du FDPMI seront compars ceux pouvant tre attendus d'une mesure gnrale sur l'environnement des entreprises, notamment une baisse de l'impt sur les socits, de la taxe professionnelle et une baisse des charges sociales. # 5 400 MF # 1 900 MF # 3 500 MF XI plan, 1994 -1998

79

4 - dfinition des paramtres de l'tude

4.1. Champ de l'tude, lments mthodologiques : Afin d'apprcier l'apport spcifique, pour les entreprises, du dispositif d'aide, l'tude comparera les mthodes de dcision et les effets des investissements d'un chantillon d'entreprises aides ceux d'un chantillon d'entreprises non aides ayant cependant investi. Pour certains aspects, des comparaisons complmentaires avec un chantillon d'entreprises n'ayant pas investi et un chantillon d'entreprises dont la demande d'aide a t refuse, seront ncessaires. Pour la partie de l'tude recherchant les effets conomiques locaux, le consultant comparera l'tat et l'volution des bassins et des rgions ligibles avec des bassins et des rgions talons non ligibles. Une attention particulire sera apporte aux biais qui peuvent tre introduits par la qualit intrinsque de la zone (infrastructure, dispositifs de formation, densit du dispositif d'aide, attractivit du climat...). Dans tous les cas, le consultant rapprochera les effets constats sur les PMI et sur le tissu industriel des effets recherchs par l'action publique. Il recherchera les causes des carts mis en vidence et proposera des pistes pour les rduire. Les effets "autonomes" ou "pervers", induits indpendamment de la volont publique, y compris hors du champ industriel, pourront tre identifis et caractriss. Toutes les questions devront tre traites de manire dgager une typologie des effets et des comportements. La restitution des conclusions sera valide par le comit de pilotage.

4.1.1. Echantillonnage Les diffrents chantillons seront reprsentatifs du tissu des PMI nationales potentiellement ligibles au dispositif. Ils devront permettre de caractriser les diffrents effets des aides sur ces entreprises. L'chantillon final des entreprises aides sera constitu d'environ 500 entreprises ayant bnfici entre 1984 et 1994, d'une ou plusieurs aides l'investissement matriel (PPR ou FRI). Ces entreprises seront localises dans plusieurs rgions dont le Nord-Pas-de-Calais, la Lorraine, le Limousin, l'Auvergne, la ChampagneArdenne, Midi-Pyrnes, Rhne-Alpes, les Pays de la Loire, la Franche-Comt. Il appartiendra au consultant de proposer un chantillon de rfrence , constitu de PMI investissant de manire autonome, sans aide publique. Cet chantillon devra tre cohrent avec l'chantillon des entreprises aides afin de permettre notamment des comparaisons par taille d'entreprise, par secteur d'activit, par rgion et par principaux ratios micro-conomiques. Pour traiter la partie macro-conomique de l'tude, le consultant proposera une ou plusieurs "rgions ou bassins talons" sur lesquelles le dispositif d'aide tait faible ou inexistant qui devront tre compars de manire cohrente avec un chantillon de bassin sur lesquels l'implication du dispositif tait maximal. La taille et la dfinition des chantillons tudis par chaque mthode relve de la responsabilit du consultant. Il devra s'engager sur leurs reprsentativits en considration des contraintes dfinies par le prsent cahier des chages. Les chantillons seront valids par le comit de pilotage. 4.1.2. Methodologie et faisabilite La mthode d'investigation fera appel des dispositifs d'enqutes complmentaires dont les rsultats devront tre croiss. Dans tous les cas, des entretiens approfondis de validation avec quelques membres des chantillons devront tre prvus pour confirmer les tendances des enqutes systmatiques. Sous rserve des propositions du consultant, les enqutes auprs des chefs d'entreprises seront compltes par des enqutes auprs des partenaires et des acteurs conomiques entourant l'entreprise. Le cas chant, dans un cadre de stricte confidentialit, des analyses de dossiers typiques d'entreprises pourront s'avrer ncessaires pour confirmer des axes de conclusion.

80

Les ventuelles divergences dans les conclusions des diffrentes mthodes d'investigation (enqutes, analyses de dossiers...) devront tre commentes et expliques. Pralablement au lancement de l'valuation proprement dite, le consultant testera sa mthode et ses questionnaires sur un chantillon tmoin d'entreprises. La validit de la mthode d'investigation auprs de l'environnement des entreprises (banques, lus, institutionnels...) sera teste dans les mmes conditions. Les rsultats des tests seront prsents aux comit de pilotage pour validation des mthodes. Toute investigation au titre de la prsente tude est soumise l'approbation pralable du comit de pilotage. Les mthodes d'analyse, de recoupement, de modlisation prospective... envisages par le consultant seront prsentes au comit de pilotage. Les recherches prospectives ne se limiteront pas une prolongation des tendances constates par le pass. Elles devront prendre en compte les dynamiques industrielles mergentes et les volutions prvisibles et/ou supposes de l'environnement conomique des PMI. L'tude prsentera des conclusions dans le cadre de scnarios dont la prvisibilit sera value. Compte tenu des multiples aspects abords par l'tude ( rtrospectif/prospectif, micro/macro-conomique, effets/mise en oeuvre...) le consultant devra veiller maintenir en permanence une forte cohrence entre les diffrentes parties de l'tude qui doivent se conforter mutuellement et, surtout, ne pas constituer une juxtaposition d'lments disparates..

4.1.3.Typologies Le consultant devra rechercher des typologies mettant en relation des groupes d'entreprises homognes (au titre d'un ou plusieurs caractres) avec les principaux effets du systme d'aide. Sur certains aspects, des typologies seront recherches en fonction des ractions et attitudes des entreprises. Le consultant comparera les classes d'entreprises ainsi rvles avec des regroupements d'entreprises communment admis, notamment des regroupements fonction de la localisation gographique, des principaux secteurs d'activit, des tranches d'effectif et des principaux ratios conomiques (VA/eff., Investissement/eff., CA export, Rsultat/CA...). Le consultant tudiera la concordance des typologies rvles ou confirmes par l'tude, avec les typologies dgages dans des tudes antrieures (par exemple MEI 92, FRAC, ARC, PMI 93...).

4.2. Contenu minimum du rapport final : 4.2.1. Des lements situant l'investissement et les aides aux PMI Cette partie de l'tude doit prsenter des lments de rfrence permettant de caractriser la matire sur laquelle intervient le dispositif d'aide valu. Il s'agit essentiellement pour le consultant de recueillir et d'homogniser les donnes existantes. 4.2.1.1. Caractrisation de l'investissement des PMI franaises La prsentation des chiffres globaux sera complte par une analyse effectue par segment (notamment par taille d'entreprise, par secteur d'activit, par rgion et par principaux ratios micro-conomiques). L'tude pourra notamment rpondre aux questions suivantes : - Quels sont le niveau et l'volution, sur la priode, de l'investissement productif des PMI franaises? - Dgager une typologie et une rpartition de ces investissements par grands thmes industriels, par degr de modernit et intensit technologique et par fourchette de cots. - Dgager une typologie des motivations de l'investissement (remplacement, stratgie moyen-long terme, rponse court-terme une commande ponctuelle, opportunit ...).

81

4.2.1.2. Bilan quantitatif global du dispositif Cette partie doit prsenter une synthse gnrale quantitative et des lments statistiques globaux sur le dispositif. L'tude pourra notamment rpondre aux questions suivantes : - Quelle est la pntration des aides l'investissement matriel par rgion? Nombre de dossiers proposs, aids, refuss? Montant des aides alloues, montant des assiettes ligibles et des assiettes retenues, montant des programmes? - Quelle est la part respective d'entreprises en cration et d'entreprises en dveloppement dans les entreprises aides? Quelle est la part d'entreprises sous-traitantes plus de 70% dans les entreprises aides ? - Caractriser les entreprises aides en fonction de leur taille, de leur secteur d'activit, de leur march (dclin, expansion, export ...), de leur positionnement dans leur secteur (plutt performantes ou non).

4.2.2. Une valuation des effets micro-conomiques de l'aide sur les PMI. L'tude montrera en quoi l'octroi d'une aide l'investissement matriel modifie la comptitivit globale d'une entreprise ralisant un programme d'investissement. Elle valuera l'effet de l'aide sur le dclenchement de la dcision, sur le contenu des projet et, plus gnralement, sur le fonctionnement de l'entreprise. Au-del de l'aspect strictement financier, cette partie de l'tude caractrisera la "valeur ajoute qualitative" d'une aide pour une entreprise bnficiaire. L'tude ne se limitera pas aux seul effets positifs du dispositif d'aide, elle recherchera si le dispositif introduit des effets pervers et, le cas chant, elle les caractrisera. 4.2.2.1. Effet sur la dcision d'investir Cette partie de l'tude doit valuer le caractre incitatif du dispositif. Elle doit apprcier dans quelle mesure le dispositif modifie les anticipations des chefs d'entreprise. L'tude pourra notamment rpondre aux questions suivantes : - L'aide est-elle une condition ncessaire l'investissement, est-elle un lment de dclenchement de la prise de dcision d'investir? L'aide modifie-t-elle le calendrier d'investissement? Les entreprises n'ayant pas investi auraient-elles investi si elles avaient bnfici d'une aide ? Quel type de mesure aurait emport leur dcision d'investir ? Quelle est la motivation du recours une aide ? - Sans aide, le projet tait-il conomiquement rentable? Sans aide, sa rentabilit financire tait-elle suffisante pour emporter la dcision d'investir? - Qui sont les demandeurs et les dcideurs des investissements dans l'entreprise (direction, cadres, matrise, ouvriers)? Sont-ils les mmes dans le cas d'un projet aid ou non aid ? 4.2.2.2. Effet sur le contenu du programme Cette partie de l'tude doit caractriser le contenu des programmes d'investissement aids par rapport aux programmes non aids. Elle doit mettre en vidence l'apport du dispositif sur la mthode de dfinition d'un programme d'investissement, ainsi que sur le contenu qualitatif et quantitatif de celui-ci. L'tude pourra notamment rpondre aux questions suivantes : - La typologie des investissements aids et non aids est-elle diffrente ? - L'aide modifie-t-elle le contenu du programme ? Le niveau technologique des projets aids est-il diffrent

82

des autres ? - La notion de projet stratgique d'entreprise est-elle prsente des degrs diffrents suivant que l'entreprise est aide ou non? - L'investissement entrane-t-il un dveloppement global de l'entreprise plus important lorsque celle-ci est aide? - L'aide incite-t-elle un cot d'investissement plus important ? Le surplus est-il chiffrable? - La prise en compte des contraintes de protection de l'environnement est-elle modifie par l'octroi d'une aide ? - Les programmes aids et les programmes non aids diffrent-ils dans leur volet formation et adaptation des salaris ? caractriser cette diffrence (contenu, montant,...). - Le mode de dfinition d'un programme d'investissement est-il diffrent suivant que l'entreprise est aide ou non (cahier de charge, recours un conseil extrieur, mise en concurrence...) ? Le dlai de dfinition est-il diffrent ? - Le dlai de mise au point du matriel est-il diffrent suivant que l'entreprise est aide ou non ? Le mode de suivi du projet est-il diffrent ? - L'aide modifie-t-elle le volume et la qualit des projets futurs ? Le taux d'investissement des entreprises aides volue-t-il diffremment de celui des entreprises non aides ? La dmarche mthodologique impose l'occasion d'un dossier d'aide est-elle reprise lors d'investissements ultrieurs? - L'origine gographique des matriels est-elle diffrente suivant que l'investissement est aid ou non ? - La dimension commerciale est-elle apprhende diffremment dans un projet aid ou non aid ?

4.2.2.3. Effet sur le montage financier du programme Cette partie de l'tude doit mettre en vidence si un accompagnement public entrane une modification significative du plan de financement du programme.

L'tude pourra notamment rpondre aux questions suivantes : - Indpendamment des subventions alloues, les plans de financement des projets aids et des projets non aids prsentent-ils des caractristiques diffrentes ? Quelles sont les parts d'autofinancement, de prt bancaire, de capital risque, de crdit-bail ? - Dans le cas o l'aide publique s'impute sur une opration finance en crdit-bail, distinguer les interventions sous forme de reversement immdiat des interventions en rduction de loyer. - L'aide cre-t-elle un effet de levier significatif pour l'obtention des prts bancaires et des prise de garanties ? L'aide modifie-t-elle les taux pratiqus par les banquiers ?

4.2.2.4. Degr de russite des programmes d'investissement Cette partie de l'tude doit mettre en vidence si un programme d'investissement aid atteint avec plus de prcision ses objectifs qu'un programme quivalent non aid. Par ailleurs, elle doit montrer si les effets globaux sont diffrents suivant qu'il y a ou non aide. Le consultant devra proposer des lments pertinents pour caractriser l'efficacit des programmes d'investissement, indpendamment de leurs objectifs initiaux (VA/effectif, CA, ...). Les biais introduits par les

83

rgles d'ligibilits des procdures (bonne sant financire,...) seront corrigs. L'tude pourra notamment rpondre aux questions suivantes : - Suivant que le programme est aid ou non, le degr de ralisation des objectifs initiaux est-il diffrent? Les effets globaux des programmes sont-ils diffrents d'une population l'autre? Quels en sont les motifs ? - Y-a-t-il une typologie des causes d'chec des programmes d'investissement? Y-a-t-il des populations particulirement exposes aux checs? Y-a-t-il un taux (post-investissement) de dfaillance d'entreprise diffrent suivant que le projet est aid ou non? - L'apport (en terme de C.A. identifiable induit par l'investissement) est-il diffrent entre un programme aid et un autre ? Mesurer cet apport. - Le gain de performance d un investissement est-il plus important lorsque l'entreprise est aide? Les handicaps de comptitivit sont-ils mieux rsolus lors d'un accompagnement public? - L'volution des ratios conomiques de l'entreprise, notamment du rapport "valeur ajoute/effectif", est-elle diffrente suite un investissement est aid ou non ?

4.2.2.5. Effet sur les marchs de l'entreprise Cette partie de l'tude doit montrer si l'aide de l'Etat favorise une volution qualitative des marchs de l'entreprise. L'tude pourra notamment rpondre aux questions suivantes : - Les entreprises faisant appel l'aide publique sont-elles positionnes sur des marchs captifs ou concurrentiels ? sur des marchs en dclin, stables, en dveloppement, en redveloppement (recherche d'une part importante de marchs nouveaux) ? L'volution de la position de l'entreprise sur ses marchs est-elle diffrente dans le cas d'un investissement aid ou non aid ? - Quel est le positionnement export des entreprises aides ? Ce positionnement volue-t-il diffremment suite un investissement aid ou non aid ? - La structure du carnet de commande d'une entreprise aide (nombre de clients, poids respectifs, localisation rgionale, nationale ou internationale des clients...) volue-t-elle diffremment de celle d'une entreprise non aide? 4.2.2.6. Effet sur les ressources humaines Cette partie de l'tude doit montrer si l'aide de l'Etat favorise une modification quantitative et/ou qualitative du facteur travail dans l'entreprise. L'tude pourra notamment rpondre aux questions suivantes : - L'investissement matriel entrane-t-il des incidences directes et indirectes sur l'emploi dans l'entreprise (structure d'effectif, niveau d'effectif, politique de formation,...)? Ces incidences sont-elles diffrentes suivant que l'investissement est aid ou non ? - L'incidence des programmes d'investissement sur le mode d'organisation de l'entreprise est-elle diffrente d'un groupe l'autre ? 4.2.2.7. Effet sur la structure financire de l'entreprise Cette partie de l'tude doit montrer si l'octroi d'une aide lors d'un programme d'investissement modifie de manire significative la structure financire immdiate et future de l'entreprise.

84

L'tude pourra notamment rpondre aux questions suivantes : - L'aide modifie-t-elle significativement les ratios financiers de l'entreprise? Modifie-t-elle sa cotation Banque de France ou SFAC? L'incidence d'un investissement sur ces ratios est-il significativement diffrent suivant que celui-ci est aid ou non? - Les aides ont-elles touch des entreprises plutt performantes dans leur catgorie (taille - secteur - ratios) ou non ? A l'issue du programme les entreprises sont-elles mieux classes dans leur segment? - L'aide a-t-elle un effet significatif sur la trsorerie de l'entreprise ? 4.2.2.8. Effet sur l'environnement de l'entreprise Cette partie de l'tude doit apprcier les effets induits d'une aide sur les relations de l'entreprise avec son environnement. Sur ce chapitre, l'environnement de l'entreprise devra obligatoirement tre interrog.

85

L'tude pourra notamment rpondre aux questions suivantes : - L'aide est-elle un lment modifiant sensiblement les dcisions des partenaires financiers (banquiers, actionnaires,...) ? Quels lments de l'aide facilitent plus particulirement la mobilisation de ces partenaires? - L'investissement, suivant qu'il est aid ou non, a-t-il une incidence diffrente sur les clients, sur les fournisseurs,... ? - La communication externe et interne de l'entreprise sur son programme d'investissement est-elle diffrente suivant que le programme est aid ou non ? - L'octroi d'une aide est-il connu des salaris, des clients, des concurrents, des institutionnels? La perception d'une entreprise par ses salaris, les institutionnels locaux, ... est-elle diffrente suivant qu'elle fait appel ou non l'aide publique ? - L'investissement aid incite-t-il la concurrence investir? Est-il facteur de transfert de technologie? La raction de la concurrence est-elle identique dans le cas d'un projet non aid? - L'investissement entrane-t-il des effets significatifs sur le recours la sous-traitance par l'entreprise, notamment la sous-traitance de service? Ces effets sont-ils diffrents si l'investissement est aid ou non?

4.2.3. Une valuation des effets macro-conomiques de l'aide Cette partie de l'tude doit permettre de qualifier l'efficacit de l'aide l'investissement matriel comme dispositif de redveloppement local. Le consultant proposera des indicateurs permettant d'valuer le degr et la qualit du redveloppement local. 4.2.3.1. Effets locaux : emploi et dveloppement Cette partie de l'tude doit permettre d'apprcier si le dispositif induit localement une dynamique aboutissant diminuer la fragilit du tissu industriel, le renforcer de manire significative ou encore limiter ou inverser une tendance la dsindustrialisation. Les effets des aides l'investissement matriel devront tre isols de ceux dcoulant directement d'autres types d'aides, notamment des procdures d'aide l'emploi. Le consultant mettra en vidence les synergies entre le dispositif d'aide l'investissement et les autres aides. Il recherchera les effets amplificateurs que cre ce dispositif sur les autres aides. Le cas chant, le consultant identifiera et caractrisera les effets "pervers" induits par le dispositif d'aide. L'tude pourra notamment rpondre aux questions suivantes : - Les courbes d'volution de l'emploi industriel local et de l'emploi total sont-elles modifies par l'ligibilit de la zone une aide l'investissement ? La structure d'emploi (quantit, qualit, dure) et son volution sont-elles modifies ? Combien d'emplois crs, combien d'emplois consolids par les investissements aids ? - L'aide favorise-t-elle plutt la cration d'entreprises ou le dveloppement d'units existantes? - Peut-on valuer les emplois induits par les emplois industriels crs et/ou soutenus ? - Y-a-t-il globalement une substitution capital/travail ? - Quel est le dlai ncessaire l'apparition d'inflexions sensibles (emploi local, richesse locale...) ? Y-at-il un seuil critique de volume d'accompagnement (montant d'aide et nombre d'agents chargs du dveloppement) au dessous duquel les effets ne sont plus significatifs?- Quel est l'incidence d'un

86

investissement sur la sous-traitance de proximit (S/T capacit, S/T savoir-faire,...) ? Est-il diffrent dans le cas d'un investissement aid ou non ? - Quelle coordination existe-t-il entre les aides l'investissement matriel et d'une part les autres aides locales la conversion, d'autre part les aides l'emploi ? Existe-t-il une synergie particulire entre ces dispositifs? Le dispositif d'aide l'investissement amplifie-t-il les effets des autres aides ? - Apprcier l'incidence du dispositif d'aide sur l'conomie locale notamment en examinant les effets du dispositif sur les indicateurs conomiques locaux comme le PIB, l'emploi, la FBCF, les rentres fiscales (taxes professionnelles, mutations immobilires..), le volume des transactions immobilires, les statistiques du commerce local, etc. ? -L'efficacit relative d'une aide en terme de dveloppement local est-elle significativement diffrente suivant la "richesse" initiale du territoire" (en terme d'amnagement du territoire)? - Le dispositif prnise-t-il des dsquilibres structurels ou favorise-t-il, mme indirectement, un dveloppement territorial quilibr ? 4.2.3.2. Retombes nationales Cette partie de l'tude doit permettre d'apprcier les consquences globales du dispositif sur quelques thmes importants comme la comptitivit des PMI, le march intrieur, l'emploi, la richesse nationale... L'tude pourra notamment rpondre aux questions suivantes : - Les investissements aids sont-ils crateurs de richesse nationale ou influencent-ils seulement la rpartition de celle-ci (CA gagn sur un concurrent national) ? Les investissements aids sont-ils facteurs d'ouverture du march ? - Quel est le bilan national des emplois crs et des volutions de CA par secteur et par tranche d'effectif rapports aux montants des investissements aids d'une part et non aids d'autre part (exclure ventuellement l'Ile de France) ? - Un mme investissement est-il plus crateur d'emploi global lorsqu'il est aid ? - Un mme investissement influe-t-il plus sur le PIB national lorsqu'il est aid ? - L'effet global de l'aide l'investissement matriel sur le tissu des PMI (rentabilit, C.A. l'exportation, parts de marchs, poids des charges dans la V.A. ...) est-il significatif ? - L'aide stimule-t-elle l'offre nationale de bien d'quipement industriel ? Dans quels secteurs ? - L'aide entrane-t-elle une spcialisation de l'investissement diffrente de ce qui serait observ en l'absence de soutien public?

4.2.4. Une valuation du cot global moyen terme pour l'etat Cette partie de l'tude doit permettre d'apprcier le cot final pour les finances publiques (comprises au sens large). L'analyse moyen terme portera sur le niveau national et sur l'chelon local. Le calcul du cot devra tenir compte des emplois financiers directs (montants des aides, frais de promotion, frais de gestion des organismes relais,...), indirects (cot administratifs Etat, collectivits et partenaires, cots de dysfonctionnement,...) et des recettes induites (impts et taxes, conomies/dpenses ASSEDIC, URSSAF,....). Les cots de gestion des procdures feront l'objet d'une valuation prcise qui distinguera les cots

87

fixes des cots variables.

88

4.2.5. Une valuation du dispositif de mise en oeuvre des mesures d'aide Cette partie de l'tude doit permettre d'apprcier l'efficacit du dispositif d'instruction. Les points forts et les points faibles des procdures doivent tre identifis. Des pistes d'amlioration seront dgages. Chacun des points soulevs dans ce chapitre fera l'objet de proposition d'amlioration. L'tude pourra notamment rpondre aux questions suivantes : - Quel est l'apport qualitatif du dispositif d'instruction et de dcision? Les chefs d'entreprises sont-ils prts de nouveaux contacts avec les chargs de mission ? - Quelles sont les attentes des chefs d'entreprise en matire d'information l'occasion d'un projet d'investissement ? Les chefs d'entreprises considrent-ils les avis des chargs de mission suffisants ou ressentent-ils le besoin d'une expertise indpendante pour apprcier le bien fond du choix technologique et/ou valider les performances des quipements choisis ? Les chefs d'entreprise ressentent-ils le besoin d'un accompagnement particulier lors du droulement d'un programme d'investissement? Ce service ressort-il de l'Etat ou d'un conseil extrieur? - Les chefs d'entreprise considrent-ils les dossiers d'instruction adapts? Dans quelle mesure et qui ont-ils eu ventuellement recours pour constituer le dossier ? Y-a-t-il une corrlation avec les cas de recours un organisme extrieur pour la dfinition du projet ? Combien cote l'entreprise un dossier d'instruction (cot interne + cot externe) ? Dans les cas des aides aux taux les plus faibles (par exemple infrieures 10% de l'assiette), serait-il pertinent d'allger le contenu des dossiers ? - L'existence du dispositif d'aide est-elle connue? ses objectifs sont-ils connus, compris et admis (par les chefs d'entreprise, les banques, ...)? Le fonctionnement du dispositif est-il connu (point d'entre, mode d'instruction,...)? les chefs d'entreprises peuvent-ils citer les financeurs publiques, les organismes chargs de l'instruction ? - Les "non-clients" prsentent-ils des caractristiques particulires ? Sont-ils isols de l'administration, des organismes consulaires...? Existe-t-il une typologie des "clients" du dispositif d'aide ? Des classes "d'attentes" des entreprises peuvent-elles tre identifies ? - Par quels vecteurs d'information les chefs d'entreprise ont-ils connu le dispositif et son fonctionnement? Comment informer les chefs d'entreprise isols? - Quels sont les moyens mis en place pour promouvoir les procdures (y compris par les collectivits locales partenaires) et valoriser les oprations exemplaires? - Le dispositif d'aide l'investissement matriel est-il un lment positif (et substantiel) de l'image des DRIRE, du MIPTCE, des collectivits locales, auprs des chefs d'entreprise PMI ? (des banques ?). - Comment le dispositif est-il peru par ses acteurs (chargs de mission, administration locale, y compris TPG, collectivits locales, centrale, budget)? 4.2.6. Une simulation des effets du FDPMI Cette partie de l'tude doit valuer le effets court et moyen termes du Fonds de dveloppement des PMI. Par ailleurs, l'clairage des conclusions dgages par les chapitre prcdents, elle proposera des pistes d'amlioration de ce dispositif. Le consultant proposera en outre une mthodologie de suivi de l'efficacit du FDPMI base sur quelques indicateurs simples et ractifs court terme.

89

L'tude pourra notamment rpondre aux questions suivantes : - Les effets micro et macro-conomiques du dispositif PPR + FRI sont-ils transposables au FDPMI? Esquisser des prvisions d'effet moyen et long termes du FDPMI. - Existe-t-il un seuil de taux d'aide au dessous duquel les effets diminuent fortement? Est-ce qu'il existe une corrlation entre le niveau de l'aide et ses effets? - La modulation des taux d'aide du FDPMI peut-elle avoir un effet significatif sur la localisation des crations d'entreprises ?

- La dure d'existence d'un systme d'aide a-t-elle une influence sur ses effets? Y a-t-il une dure de vie du dispositif au-dessous duquel celui-ci devient inoprant? - Quelles sont les conditions essentielles pour qu'une mesure d'aide la modernisation des entreprises soit efficace? - Quelles dispositions seraient de nature accrotre l'efficacit du FDPMI? 4.2.7. Une appreciation du FDPMI Cette partie de l'tude doit permettre d'une part d'apprcier dans quelle mesure le FDPMI correspond aux attentes des chefs d'entreprises, d'autre part, de comparer le FDPMI d'autres outils publics, cot global gal pour l'Etat. 4.2.7.1. Adhsion au FDPMI Le consultant mettra en vidence l'intrt des chefs d'entreprises et des acteurs locaux du dveloppement industriel pour le dispositif d'aide l'investissement matriel, en comparaison d'autres aides publiques. Il dgagera les attentes prioritaires des chefs d'entreprises en matire gnrale d'aide publique. 4.2.7.2. Prsentation comparative du FDPMI Cette partie de l'tude sera valuative. Dans les conditions d'un cot global gal pour l'Etat, elle fera une comparaison entre le FDPMI et des mesures gnrales de soutien l'environnement des entreprises comme une baisse gnralise de l'impt sur les socits, de la taxe professionnelle ou des charges sociales des entreprises et l'instauration d'un crdit-impt investissement. Les thmes de performance tudis seront le volume d'investissement, l'emploi industriel et la balance industrielle. Une comparaison avec les dispositifs attendus, dgags des rponses au paragraphe 4.2.7.1., pourra tre demande au consultant. 4.2.8. Une tude comparative des dispositifs quivalents dans les principaux pays industrialiss Cette partie de l'tude doit permettre de positionner de manire quantitative le dispositif franais de soutien la modernisation des entreprises par rapport ceux en place dans les principaux pays industriels. Les pays tudis seront notamment la Grande-Bretagne, l'Allemagne, l'Italie, les USA et le Japon. L'tude pourra notamment rpondre aux questions suivantes :

90

- Quel est le niveau (et l'volution) de l'investissement des PMI, par pays? - Identifier les aides, prciser les moyens financiers allous. - Prsenter ces dispositifs de manire homogne et comparable. 5 - documents finals : Le consultant fournira : . un rapport final dtaill, . un document de synthse ayant vocation tre diffus auprs des dcideurs publics et privs, . un document de large communication prsentant en un maximum de quatre pages le bilan des mesures d'aide tudies et les conclusions caractristiques de l'valuation. Le consultant remettra l'ensemble des documents-sources permettant la reprographie des 0documents ci-dessus.

6 - suivi de l'tude L'valuation est place sous la responsabilit directe de la DARPMI-SDDITR qui fait appel en tant que de besoin Comit de pilotage pluridisciplinaire d'une dizaine de membres. Le consultant tiendra rgulirement inform la DARPMI-SDDITR et ventuellement le comit de pilotage de l'avancement de l'tude. Les mthodes, les chantillons et les questionnaires crits sont soumis l'approbation de la DARPMI-SDDITR 7 - dure de l'tude Le candidat proposera des dlais pour la ralisation des diffrents items de l'tude. Un calendrier de prsentation des lots sera propos. La dure globale de l'tude ne dpassera pas huit mois. 8 - cout de l'tude Le prix total de l'tude sera de l'ordre de 1.5 million de francs. Les propositions devront chiffrer individuellement chacun des items 4.2.1 4.2.8 9 - conditions de paiement Le candidat proposera des clefs de paiement compatibles avec le Code des Marchs Publics et notamment le Cahier des Clauses Administratives Gnrales (prestations intellectuelles). 10 - proprit de l'tude Tous les droits sur l'tude, y compris la valorisation et l'exploitation des fichiers de donnes brutes et des rsultats, sont la proprit exclusive du ministre de l'industrie, des postes et tlcommunications et du commerce extrieur. 11 - contenu de l'offre

91

Le candidat devra faire ressortir dans sa proposition le maximum d'ides et de propositions d'actions concrtes qu'il conviendrait d'exploiter dans le cas o il serait slectionn. Il doit prsenter un projet homogne dans lequel les diffrents aspects tudis doivent se conforter mutuellement. Le projet respectera les priorits annonces au paragraphe 3 du prsent cahier des charges. Le candidat prcisera quels seront les intervenants pour chacune des phases, fonctions ou actions qu'il sera amen traiter ou proposer. Il prcisera l'organisation qu'il entend donner son quipe en termes de coordination technique et temporelle.

Les offres prsentes doivent comprendre au minimum : - un plan de travail dtaill indiquant sparment le travail requis pour les paragraphes 4.2.1 4.2.8 ainsi que les experts intervenants sur chacun de ces items, - une prsentation des mthodes d'enqute, d'analyse et des techniques de discrimination que le consultant envisage utiliser, - une valuation des documents finals qui seront prsents en fin de l'tude, - une liste complte des experts qui devraient participer l'tude, assortie d'une explication sur le rle qu'ils doivent y jouer. Pour chaque expert, il sera joint : un curriculum vitae complet et une prsentation de ses motivations par rapport au sujet de l'tude. - une valuation dtaille exposant toutes les dpenses , ventiles pour chacun des paragraphes 4.2.1 4.2.8 en frais de personnel (nombre de jours par catgorie de consultants et de secrtariats associs,...), frais de dplacement et de sjours, frais techniques (tlphone,reprographie...), frais de traitement informatiques, frais d'accs des bases de donnes,...Les salaires seront rpartis en salaires nets et charges sociales. Le budget sera prsent hors taxes et toutes taxes comprises. 12 - confidentialit Tout consultant ou expert participant l'tude devra signer un engagement de stricte confidentialit, notamment sur l'ensemble des informations relatives aux entreprises qu'il sera amen connatre dans le cadre de l'tude.

92

EVALUATION DE LA POLITIQUE "TOURISME RURAL" ET DE SON INCIDENCE SUR LES ZONES ELIGIBLES AUX PROGRAMMES EUROPEENS

Cahier des charges

1 - Prambule La consultation a pour but de slectionner un cabinet, un laboratoire de recherche universitaire ou toute structure d'tude, pour conduire l'valuation de la politique en faveur du Tourisme rural mene dans le cadre du contrat de Plan Etat-Rgion et de son incidence sur les zones ligibles aux programmes europens. Le prsent document doit aider la formulation des modalits de l'tude. 2 - Champ d'valuation Il s'agit d'valuer une politique dveloppe depuis 1984 dans le cadre des contrats de 9me et 10me plan Etat-rgion et qui s'appuie largement sur la structure des "Pays d'Accueil", entit gographique homogne de la taille de quelques cantons, qui s'est organise de manire mettre en valeur son potentiel touristique. Il existe 19 pays d'Accueil en Bretagne qui sont regroups au sein de la Fdration Rgionale des Pays d'Accueil dont le sige est Bourbriac (22). Dans les zones ligibles aux financements europens (dites "zones Morgane" ou "zone OID" avant 1991), certaines actions bnficient de modalits d'intervention particulires. 4 Pays d'Accueil sont situs en zone "Morgane" 8 Pays d'Accueil sont hors zone "Morgane" 7 comprennent des communes situes en zone "Morgane" et hors zone "Morgane".

3 - Description de la politique valuer

a) Objectifs de la politique "Tourisme Rural" - Contribuer la diversification des activits conomiques - Renforcer le professionnalisme des acteurs locaux - Moderniser l'offre touristique Politique de qualit Amlioration de l'accueil Ralisation d'quipements de loisirs structurants Modernisation de l'hbergement

93

- Dvelopper la mise en place d'outils de gestion et d'observation - Amliorer la commercialisation des produits touristiques.

b) Bnficiaires - Hteliers - Communes - Prestataires de loisirs - Groupements de communes. c) Procdure d'instruction et modalits d'intervention Le pays d'accueil tablit un programme pluriannuel d'actions qui hirarchise ses propositions et prcise les actions prioritaires pour lesquelles il souhaite le concours de l'Etat et de la Rgion. Celles-ci concernent les domaines suivants : - Investissements immatriels Assistance technique : Animation et coordination d'oprations touristiques par un professionnel Cration promotion, commercialisation de produits touristiques. C'est ce titre qu'un poste de conseiller technique a t financ depuis 1988 dansle cadre de l'opration Intgre de Dveloppement (OID) et prolong par Morgane Formation des professionnels du tourismes et implication dans l'organisation du Pays d'Accueil Connaissance technique et conomique des produits, marchs, rsultants Elaboration et utilisation d'outils de gestion du Pays d'Accueil. - Investissements matriels Modernisation ou cration d'quipements d'hbergement Equipements de loisirs structurants. 3 mesures bnficient de modalits d'intervention spcifiques dans le cadre du programme Morgane, qui prolonge jusqu'en 1993 le programme OID (1988-91). - Assistance la cration et la promotion de produits touristiques - Aide au conseil et l'innovation touristique (FACIT) - Aide la cration et la mode - Modernisation des quipements d'hbergements et de loisirs. 4 - Motifs du projet d'valuation L'valuation par une meilleure connaissance des rsultats et de l'impact de cette politique, mais aussi des conditions de sa mise en oeuvre, doit permettre l'Etat et la Rgion d'en amliorer le contenu et d'en faire voluer les priorits dans l'optique de la prparation du futur Contrat de Plan-Etat-Rgion. L'valuation doit galement permettre une mesure des rsultats et des effets propres la zone Morgane

94

afin d'en dtecter les spcificits ventuelles et de rpondre aux futures exigences d'valuation de la Commission Europenne. Cette tude s'inscrit, en outre, dans le cadre de la dmarche du Comit Rgional d'Evaluation des politiques publiques, qui vise dvelopper et coordonner les initiatives d'valuation conduites localement. A ce titre le CRE mettra un avis sur le projet d'valuation et ses rsultats. 5 - Mthodes d'valuation

Contexte gnral de l'tude

L'tude comportera trois phases qui pourront faire l'objet de rponses spcifiques et dont les conclusions devront tre regroupes dans une synthse finale. Celle-ci devra permettre de rpondre la question suivante : A-t'on russi organiser une vritable offre touristique de qualit rpondant la demande des clientles d'aujourd'hui et de demain ? 1re phase : tude statistique des aides accordes depuis 1984 Il s'agit de rendre compte de la ralit des investissements matriels et immatriels financs par l'Etat et la Rgion et du degr d'excution des objectifs de la politique "Tourisme Rural". Les informations concernant la politique "Pays d'Accueil" sont contenues dans une base de donnes constitue par la Rgion partir de 1986, qui sera complt pour les annes antrieures et qui comprend les renseignements suivants : - Anne de financement - Pays d'Accueil - Localisation (Bretagne Centrale ou pas) - Canton - Commune - Matre d'ouvrage - Libell de l'opration - Type d'opration - Nombre de lits prvus (quipements d'hbergements) - Cot total de l'opration - Financement : . Fidar . Etat . Feder . Rgion - Date de notification de la subvention au bnficiaire

95

- Crdits Rgion consomms - Date du dernier paiement Rgion - Observations Rgion Les informations financires concernant la politique FACIT (Aide au conseil) sont localises notamment dans le fichier informatique de suivi financier de la Rgion. A partir de ces bases il conviendra d'examiner le contenu des aides accordes depuis 1984 et en particulier d'analyser les ratios et indicateurs suivants en indiquant pour chacun leur valeur dans les zones ligibles aux financements europens : - Evolutions annuelle des aides (Nombre, cots rel, cot prvisionnel) - Rpartition gographique des aides - Typologie et rpartition des aides par matre d'ouvrage (une typologie plus prcise devra tre dfinie) - Nature et rpartition des aides par type d'opration - Nombre de lits prvus et volution annuelle - % participation des diffrents financeurs y compris dpartements et autofinancement - % consommation des crdits - Nombre d'tudes suivies de ralisation - Effet de levier des tudes. Cette tude statistique doit galement permettre de constituer un chantillon reprsentatif des aides accordes, dans leur ensemble mais aussi sur les zones Morgane, qui permettra de dlimiter 2 ou 3 pays d'accueil servant de rfrences pour la suite de l'valuation. L'chantillon choisi sera complt par un certain nombre d'informations quantitatives disponibles dans les dossiers de demande ou chez les bnficiaires, qui permettent de mesurer l'impact de cette politique. - Variation de chiffre d'affaire (prvu-ralis) due l'investissement - Variation de la frquentation due l'investissement - Variation du rsultat d'exploitation (prvu-ralis) due l'investissement - Crations d'emplois lies l'investissement.

2me phase : tude des effets de la politique Il s'agit dans cette phase, d'valuer par une enqute qualitative de terrain, les effets directs ou indirects (impact sur l'environnement conomique) de l'ensemble des politiques en faveur du tourisme sur 2 ou 3 pays d'accueil tests, ainsi que l'adquation des investissements raliss et des dispositifs mis en place avec la demande de tourisme "vert". Cette enqute s'adressera aux bnficiaires identifis dans l'chantillon, mais aussi aux responsables techniques des Pays d'Accueil, des professionnels du tourisme ou des lus locaux des zones concernes.

96

Elle doit permettre de rpondre notamment aux questions suivantes : - Les investissements raliss ont-ils eu un impact sur la frquentation et le chiffre d'affaire des bnficiaires, sur leur rentabilit, sur l'emploi ou d'autres effets ?
- Comment les bnficiaires, les lus, les professionnels, peroivent-ils la politique publique en faveur du tourisme ?

- Peroivent-ils des volutions du secteur touristique qu'il serait ncessaire d'accompagner ou d'anticiper par une action des pouvoirs publics ? - Dans quelle mesure ces aides ont-elles gnr ou acclr les investissements raliss ? - Comment les bnficiaires, les lus peroivent-ils l'action des pays d'accueil ? . sur le plan de l'assistance technique . sur le plan de la commercialisation des produits touristiques . sur le plan de l'animation du secteur touristique .(etc...). - Existe t-il une vritable collaboration entre acteurs du tourisme ? - Ont-ils le sentiment d'oeuvrer pour un objectif commun ? - Les actions des pays d'accueil s'adaptent-elles la demande touristique ? - La politique touristique mise en oeuvre a-t-elle permis de renforcer le professionnalisme des acteurs, la qualit des produits, l'accueil ? 3me phase : analyse du fonctionnement des structures Les pays d'Accueil est le vecteur principal de la politique "Tourisme Rural", l'objectif est ici de mieux comprendre la manire dont fonctionnent ses structures, quels sont les moyens qu'elles mettent en oeuvre et en faire ressortir les caractristiques principales. Cette tude pourra s'appuyer sur les donnes financires et comptables concernant chacun des Pays d'Accueil, qui sont transmises rgulirement la Dlgation Rgionale du Tourisme puis complte par entretien portant sur l'activit de ces structures. a) Donnes financires et comptables

- Nature de la structure juridique - Budget total - Part assistance technique/Budget Total - Part masse salariale/Budget Total - Part autres charges/Budget Total - Structures des autres charges - Part subventions Etat-Rgion, Dpartement/Budget Total - Part cotisations communales/Budget

97

Total - Part cotisations professionnelles/Budget Total - Par autofinancement/Budget Total - Structure de l'autofinancement - Relations avec les structures dpartementales et rgionales - Nombre de personnes salaries b) Activits des structures - communication interne - Communication vers les marchs - Commercialisation de produits - Crations d'hbergements - Equipements - Accueil - animation - Autres activits - Relations entre les Payas d'accueil. 6 - Dispositif d'valuation a) Suivi de l'valuation Un groupe de suivi de l'valuation sera form, compos de : SGAR Conseil Rgional Dlgation rgionale du Tourisme Comit Rgional du Tourisme Un comit Dpartemental du Tourisme (Ex : Finistre) Fdration Rgionale des Pays d'Accueil Chambre Rgionale des Comptes Celui-ci sera charg :

D'laborer le cahier des charges dfinitif de l'valuation De lancer une consultation auprs des structures d'tudes susceptibles d'y rpondre De proposer le choix d'une quipe d'valuation l'issue de la consultation

98

 De suivre et d'orienter ventuellement les travaux d'orientation De faciliter les contacts entre les valuateurs et le terrain De valider le rapport final d'valuation De prconiser des rorientations pour la mise en oeuvre future de la politique. b) Rle de l'Instance Rgionale d'Evaluation - Comit Rgional d'Evaluation Dcide de l'engagement dfinitif de l'valuation, aprs accord des personnes publiques dont les politiques sont values et aprs avis de la commission scientifique Dcide, en accord avec collectivits concernes, de la publicit ventuelle donner aux rapports d'valuation et des modalits de cette publicit. - Commission scientifique Donne un avis sur le projet d'valuation (Composition de l'quipe d'valuation, mthode propose) Donne un avis sur le rapport final d'valuation.

c) Chargs d'valuations La structure d'tude rpondant la consultation pourra proposer selon ses comptences, d traiter tout ou partie du cahier des charges, le groupe se rservant la possibilit de choisir une quipe d'valuation croisant plusieurs propositions afin d'aboutir la meilleure rponse possible. Dans cette hypothse les structures d'tudes retenues devront se rapprocher afin d'laborer en commun une synthse de leurs travaux comme prcis plus haut (Contexte gnral de l'tude). Elles devront tmoigner dans une note annexe leur rponse d'expriences acquises dans les domaines traits. L'quipe d'valuation avec sa tte un rapporteur devra runir les comptences suivantes : Connaissance du milieu du tourisme Capacit faire de l'analyse statistique Capacit laborer un chantillon reprsentatif Capacit l'analyse conomique et financire Aptitude mener une enqute de terrain Capacit faire de l'analyse statistique

d) Coordination des travaux d'valuation La mise en oeuvre de l'valuation ncessite des contacts troits et une coordination entre le charg d'valuation et le comit de suivi, dans ce but, un des membres du comit de suivi sera l'interlocuteur direct du charg d'valuation.

99

100

e) Calendrier Juillet 1992 Elaboration du cahier des charges 15 Septembre 1992 Date limite de rponse la consultation 15 Octobre 1992 Dbut des travaux 15 Dcembre 1992 Remise d'un rapport intermdiaire prsentant les rsultats des phases et 3 31 Mars 1992 Fin de l'tude et remise du rapport dfinitif d'valuation.

f) Matrise d'ouvrage et financement

Chacune des phases de l'valuation pourra tre conduite par un matre d'ouvrage diffrent. Le financement de cette opration sera assur conjointement par l'Etat (Ministre du Tourisme) et la Rgion Bretagne. Les matres d'ouvrages respectifs ainsi que la part de chacun des financeurs seront dtermins l'issue de la consultation.

101

ANNEXE II Liste des membres et des rapporteurs du Conseil scientifique de l'valuation

Jean LECA (Prsident) Maurice M. BASL Michel CALLON Jacques FREYSSINET Frdric JENNY Christian JOIN-LAMBERT Danile LAMARQUE Jean-Paul MARCHETTI Claude SEIBEL Andr TANTI Jean-Claude THOENIG

Rapporteur gnral : Bernard PERRET Rapporteur gnral adjoint : Claire GUIGNARD-HAMON

102

Sommaire
1. Introduction 1.1. But poursuivi par le prsent guide 1.2. Un vantail de pratiques administratives et cognitives 1.3. Les spcificits de l'valuation 1.4. Commentaire sur quelques dfinitions 1.5. Evaluation, recherche, contrle, audit 1.6. Les fonctions et finalits sociales de l'valuation 1.7. Classement des "qualits" d'une politique value 1.8. Actualit et avenir de l'valuation

Premire partie : Conception et pilotage de l'valuation

2. Vue d'ensemble sur une opration d'valuation 2.1. L'valuation comme procdure formalise 2.1.1. Produire des connaissances appropriables 2.1.2. Deux niveaux de mthode 2.2. Caractristiques gnrales d'une opration d'valuation 2.2.1. Qui demande l'valuation, et pourquoi ? 2.2.2. Des objets de nature diverse 2.2.3. Temps de l'valuation et "cycle de vie" de la politique value 2.3. Mandat, projet, cahier des charges 2.4. L'importance du travail prparatoire 3. Le projet d'valuation

3.1. Les tapes du projet 3.1.1. Dfinition du champ de l'valuation 3.1.2. Reprage des objectifs, officiels ou implicites. 3.1.3. Identification des finalits et enjeux de l'valuation 3.1.4. Hypothses de dpart 3.1.5. L'laboration d'un rfrentiel 3.1.6. Thmatiques et des registres de l'valuation

103

3.1.7. Le questionnement 3.1.8. Le dispositif d'valuation 3.1.9. Le bilan informationnel 3.1.10. Le programme d'tude 3.1.11. Le choix des oprateurs 3.2. Retour sur l'orientation et la structure du questionnement 3.2.1. Mise en vigueur (implementation) de la politique 3.2.2. Quels rsultats observer et mesurer ? 3.2.3. L'tude des mcanismes d'action 3.2.4. Contexte de la mise en oeuvre et conditions de gnralisation 3.3. Ds le projet, penser aux destinataires de l'valuation 3.3.1. L'explicitation des choix, des prsupposs, et donc des limites de l'valuation 3.3.2. Nature des informations rassembles et statut des arguments 4. Conduite de l'valuation et valorisation des rsultats

4.1. L'instance d'valuation 4.1.1. Rle de l'instance 4.1.2. Composition et fonctionnement 4.1.3. Les phases du travail de l'instance 4.1.4. Rles possibles d'une instance de rgulation scientifique 4.2. Valorisation des rsultats 4.3. Le rapport d'valuation 4.4. Les critres d'une bonne valuation 4.4.1. Dfinition et usages des critres de qualit 4.4.2. Les avis rendus par le Conseil scientifique de l'valuation sur les valuations interministrielles 4.4.3. Les cinq critres retenus par le CSE

Deuxime partie : Les outils de l'valuation

5. Nature des informations mobilises et registre de l'argumentation 5.1. Le dbat quantitatif/qualitatif

104

5.2. Le statut des assertions : description, dmonstration et opinion 5.2.1. Le registre du constat 5.2.2. Le registre dmonstratif et interprtatif 5.2.3. Le registre de l'opinion 6. Les techniques de collecte de l'information 6.1. Mobiliser l'information prexistante 6.2. Des enqutes et investigations spcifiques 6.3. Etudes documentaires et historiques 6.4. Les enqutes 6.4.1. Structure et prsentation du questionnaire. 6.4.2. Le suivi d'un "panel" 6.5 L'entretien 6.6. Les tudes de cas 6.7. Les groupes d'acteurs et d'experts 6.7.1. Finalits 6.7.2. Les diffrentes techniques 6.8. La perspective ethno-sociologique

7. Le traitement des informations par la statistique 7.1. Dfinitions et principes mthodologiques 7.1.1. Description rsume des donnes 7.1.2. Analyse des donnes et typologies 7.1.3. Techniques d'infrence et vrification probabiliste des hypothses 7.2. Les cadres de rangement de l'information 7.2.1. Nomenclatures et concepts. 7.2.2. Cohrence des nomenclatures, "triangulation" des donnes.

8. Le problme de la causalit et l'analyse des systmes complexes 8.1. Les difficults de l'exprimentation 8.1.1. Position du problme 8.1.2. Les limites de la mthode exprimentale dans les sciences de l'homme et

105

de la socit 8.1.3. Protocoles pseudo-experimentaux 8.2. Causalit et modlisation 8.2.1. L'estimation d'un modle 8.2.2. Les piges de la modlisation 8.3. Les limites de l'approche causale et l'analyse des systmes sociaux 8.3.1. Le problme de la circularit 8.3.2. L'analyse des systmes d'action Index des principaux termes technique Rfrences des exemples cits Ouvrages gnraux sur l'valuation des politiques publiques Annexe I : Trois cahiers des charges d'valuation Annexe II: Liste des membres et rapporteurs du Conseil scientifique de l'valuation

106