L'évaluation multicritère des systèmes d'élevage pour accompagner leurs évolutions

14 Pages·2017·1.92 MB·French

INRA Prod. Anim., L’évaluation multicritère des systèmes
2017, 30 (3),255-268
d’élevage pour accompagner leurs
évolutions : démarches, enjeux
et questions soulevées
J. LAIREZ1, P. FESCHET2, R. BOTREAU3, C. BOCKSTALLER4,
L. FORTUN-LAMOTHE5, I. BOUVAREL6, J. AUBIN7
1CIRAD, UR AIDA, TA B 115/02, Avenue Agropolis, 34398, Montpellier, France
2CIRAD, UPR GECO, Campus agro-environnemental Caraïbe, 97285, Le Lamentin, Martinique
3Université Clermont Auvergne, INRA, Vetagro Sup, UMR Herbivores, 63122, Saint-Genès-Champanelle, France
4UMR LAE, INRA, Université de Lorraine, 68000, Colmar, France
5GenPhySE, Université de Toulouse, INRA, INPT, INP-ENVT, 31320, Castanet Tolosan, France
6ITAVI, UMT, BIRD, 37380, Nouzilly, France
7SAS, Agrocampus Ouest, INRA, 35000, Rennes, France
Courriel: [email protected]
La mise en place de démarches d’évaluation multicritère est une étape indispensable pour guider
les systèmes d’élevage dans une dynamique de développement plus durable. Il existe aujourd’hui
un foisonnement d’initiatives et d’outils d’évaluation ce qui rend difficile le choix d’une méthode
pour l’évaluateur. Cet article relève un certain nombre de points clés pour la conception et la
conduite d’évaluations multicritères des systèmes d’élevage.
L’élevage est un composant moteur santé environnementale, et une équité vie permet au consommateur de dévelop-
de la durabilité de l’agriculture, du fait sociale et économique. Comme pour per de nouvelles attentes. Ce contexte
de ses externalités, positives et négatives l’ensemble des secteurs de productions, impose aujourd’hui à l’élevage d’évoluer
sur les écosystèmes, les économies natio- la déclinaison du concept de développe- vers des systèmes de production plus éco-
nales et locales, et les sociétés. Il est ment durable à l’agriculture a rapidement nomes en intrants et plus en accord avec
reconnu pour fournir une alimentation suscité de nombreuses interprétations et l’évolution du statut de l’animal, reconnu
de haute qualité nutritionnelle concer- propositions (Hansen 1996, Zahm et al comme un être sensible, tout en assurant
nant les apports en protéines et en acides 2015). Un consensus s’est rapidement des performances économiques viables.
aminés, et est une source de revenu ou dégagé sur la nécessité de disposer de Il s’agit, d’une part, de revoir le fonction-
d’épargne. Par ailleurs, il contribue à méthodes d’évaluation prenant en compte nement des ateliers d’élevages, en allant
maintenir l’emploi dans certaines régions les différents enjeux du développement vers une écologisation des pratiques
rurales isolées et peut concourir à la durable, donc de nature multicritère comme l’application des principes de
reconnaissance d’un terroir à travers des (encadré 1). l’agroécologie (Dumont et al2012), et/ou
appellations telles que les IGP et les AOP. d’autre part, de revoir son intégration
Les productions animales jouent aussi Malgré ces nombreux bénéfices, les territoriale, en considérant par exemple,
un rôle majeur dans le fonctionnement productions animales sont aussi contro- l’atelier d’élevage comme un des maillons
des systèmes de productions végétales versées car impliquées dans des problé- d’un réseau d’échanges de matières et de
en apportant de la matière organique aux matiques environnementales, comme les services entre activités humaines au sein
sols agricoles et en recyclant les nutri- marées vertes, le réchauffement clima- d’un territoire (figure 1) comme le pro-
ments de leurs effluents, réduisant ainsi tique, ou encore les risques sur la santé pose l’écologie industrielle et territoriale
leur dépendance aux intrants chimiques. humaine (zoonoses, antibio-résistance). (Erkman 2004, Buclet 2011). Plus récem-
En cela, l’élevage s’accorde à la défini- L’augmentation de la consommation des ment, l’application des notions de services
tion d’une agriculture durable telle que produits animaux (viande, lait, œufs et écosystémiques à l’élevage (Ryschawy
définie par la FAO (2015), qui indique produits transformés) au niveau mon- et al2015) ouvrent de nouvelles perspec-
que l’agriculture durable doit favoriser dial amplifie ces préoccupations. Tous tives pour la définition des rôles multi-
des écosystèmes sains et une gestion ces éléments ont conduit à des exigences ples de l’élevage (encadré 2).
durable de la terre, de l’eau et des res- sociétales croissantes, que ce soit vis-à-
sources naturelles, tout en garantissant vis du bien-être animal ou dans l’utilisa- Cependant, toutes ces démarches néces-
une sécurité alimentaire mondiale. L’agri- tion de modes d’élevage plus respectueux sitent une clarification, notamment pour
culture durable doit également répondre de l’environnement. Ceci est tout particu- passer des enjeux et objectifs généraux
aux besoins des générations présentes et lièrement vrai dans les pays occidentaux énoncés à des critères déclinés en indi-
futures quant aux produits et aux services, où la demande quantitative en produits cateurs permettant de faire un diagnos-
tout en garantissant une rentabilité, une animaux est satisfaite et où le niveau de tic. Tout l’enjeu de l’accompagnement
INRAProductions Animales, 2017, numéro 3
256 / J. LAIREZ et al
Encadré1.L’évaluation multicritère.
Par opposition à l’évaluation monocritère, ne reposant que sur un seul critère (ex. la rentabilité économique), l’évaluation
multicritère s’impose quand on cherche à comparer, hiérarchiser ou évaluer des options (par ex. des exploitations d’élevage)
en prenant en compte plusieurs critères (ex. la rentabilité économique, la qualité de vie, la contribution au réchauffement
climatique…). L’enjeu de l’évaluation multicritère est donc de fournir un jugement global sur la base d’une combinaison de
différents éléments.
Figure 1.Exemple de l’écologie industrielle appliquée à l'élevage (adapté de Dumont et al2012).
Encadré2.Les services écosystémiques rendus par l’élevage.
L’évaluation des services rendus par l’élevage replace l’activité dans son contexte et l’associe à la perception des avantages
(ou désavantages) pour l’homme, par les différents niveaux d’acteurs. Cette approche permet de considérer également les
aspects positifs de l’élevage dans les contextes évalués. Le Millennium Ecosystem Assessment (2005) a défini les services
rendus par les écosystèmes à l’Homme. Une application de ce concept à l’agriculture, et notamment à l’élevage, est donc une
adaptation par le fait qu’elle ne concerne plus un écosystème naturel mais un système anthropisé. Dans le MEA, les services
sont déclinés en 4 groupes distincts : Approvisionnement (s’appuyant sur un bénéfice-produit), Support (couvrant les fonctions
d’habitat, de recyclage des nutriments, protection de faune et flore…), Régulation (régulations hydrologiques, biologiques,
climat…) et Culturels (éducation, inspiration, attractivité, récréation…).
À partir de ce canevas, Ryschawy et al(2015) ont construit une approche participative pour quantifier et cartographier les
services rendus par l’élevage en France métropolitaine. Les 4 groupes de services sont devenus : Vitalité territoriale,
Approvisionnement, Qualité environnementale, Patrimoine et qualité de vie. Les services ont été déclinés en critères puis une
sélection d’indicateurs a ensuite été réalisée afin de quantifier des bouquets de services associés à des territoires d’élevage
(échelle du département). Ce travail a permis d’identifier des bouquets de services pour différentes zones d’élevage. Cette
démarche s’est cependant heurtée à l’absence d’indicateurs quantifiables et à la disponibilité des informations pour renseigner
les indicateurs. Au-delà de la spécificité du point de vue, celui des services, ce sont bien les mêmes défis méthodologiques
que l’évaluation multicritère présentés dans cet article : système d’indicateurs, leur mesure, l’agrégation et la représentation
des résultats.
INRAProductions Animales, 2017, numéro 3
L’évaluation multicritère des systèmes d’élevage pour accompagner leurs évolutions…/ 257
par une démarche d’évaluation multicri- 1 / Mettre de la rigueur dans (étape A) consiste à identifier les
tère va reposer sur la capacité à produire acteurs de l’évaluation et circonscrire
la démarche d’évaluation
un système d’évaluation cohérent, en la problématique et le besoin d’évalua-
adéquation avec les objectifs fixés par tion. La deuxième étape (étape B) est
les porteurs d’enjeux et autres acteurs, une étape de choix puisqu’elle doit
L’évaluation multicritère est un domai-
et s’appuyant sur un ensemble de don- déterminer les objectifs et les attentes
neen pleine effervescence. Les outils et
nées mesurables. Une des difficultés vis à vis de cette évaluation, c’est-à-
les méthodes d’évaluation se dévelop-
de telles démarches d’évaluation est la dire les finalités, ainsi que l’utilisation
pent abondamment, se différenciant sur
disponibilité des outils de mesure et des qui sera faite des résultats. Dès lors, il
le plan des enjeux traités et des critères
données pour les renseigner. évalués, des systèmes étudiés, des acteurs est possible d’identifier l’objet et le
impliqués ou encore de la représentation périmètre de l’évaluation. Enfin, il faut
En France, les systèmes de culture ont des résultats. Certaines méthodes s’affi- déterminer la stratégie d’évaluation
intégré depuis longtemps la dimension chent comme étant très génériques (ex. (recours à une méthode existante ou
multicritère dans leurs évaluations (Bock- IDEA, Vilain et al2008) alors que d’au- développement d’une nouvelle), ceci
staller et al2008). La prise en compte des tres revendiquent un développement par étant conditionné par des contraintes
rotations, avec les interactions qu’elles et pour des acteurs dans un contexte très de ressources (financières, humaines,
supposent dans le temps et l’espace, a localisé (ex. Laurent et al 2017, avec temporelles) et de données (disponibi-
notamment permis d’intégrer de nom- une co-construction d’une grille d’éva- lité, accessibilité). La troisième étape
breux critères pour évaluer la performance luation appliquée aux élevages laitiers en (étape C) porte sur la définition du cadre
des systèmes de culture. Les travaux sur zone AOP Cantal). Avant de s’engager conceptuel et méthodologique qui
l’élevage ont abordé l’échelle du «sys- dans une stratégie d’évaluation, il convient structure les critères et les indicateurs,
tème » plus tardivement (Landais et d’adopter une démarche d’évaluation en lien avec la méthode utilisée ou créée.
Balent 1993) et donc la question de l’éva- claire et transparente plutôt que de déci- Enfin la dernière étape (étape D) dési-
luation multicritère également. L’élevage, der immédiatement d’utiliser une méthode gne la phase d’évaluation proprement
comme objet d’évaluation multicritère, existante ou d’en construire une nouvelle dite. Le contenu de ces étapes a été pré-
représente pourtant un niveau d’intégra- (Bockstaller et al2013). senté en détail par Lairez et al (2015).
tion systémique élevé, notamment parce Nous proposons de revenir ci-après sur
qu’il intègre les productions végétales Cette démarche se déroule en quatre certains éléments fondamentaux de cette
pour l’alimentation animale et qu’il joue étapes (figure 2). La première étape démarche.
un rôle central dans le fonctionnement
des cycles (carbone, azote, phosphore, Figure 2.Démarche générale d'évaluation d’après Lairez et al(2015).
eau…). Pour toutes ces raisons, l’éva-
luation multicritère des systèmes d’éle-
vage, représente un enjeu à la fois pour
les scientifiques, les acteurs du dévelop-
pement et la société. En effet, différents
types d’acteurs, agriculteurs, conseillers,
chercheurs, gestionnaires des territoires,
citoyens et politiques sont en demande
d’outils d’évaluation pour comprendre
et décider. Ceci a conduit à un foisonne-
ment d’initiatives comme des listes
d’indicateurs ou des méthodes plus struc-
turées et l’utilisateur est souvent démuni
pour faire son choix (Bockstaller et al
2009, Schader et al 2014). Par ailleurs
malgré cette multiplicité d’initiatives,
des questions fondamentales subsistent
encore au niveau scientifique: Comment
évaluer les lacunes et points forts et la
dynamique d’un système au regard de la
durabilité ? Pour aller plus loin, com-
ment traduire ces mesures en une infor-
mation synthétique ? Comment, à partir
de ces informations, prendre des déci-
sions pour faire des choix opérationnels,
puis faire évoluer les systèmes d’élevage?
En outre, il est parfois difficile de com-
prendre le domaine de validité et la
robustesse des conclusions. Ces consta-
tations ont conduit à l’édition d’un guide
sur l’évaluation multicritère des systèmes
de grandes cultures et d’élevage (Lairez
et al2015). À la suite de cet ouvrage, il
nous a paru nécessaire de présenter les
points méthodologiques clefs liés à
l’évaluation multicritère et d’aborder les
questions spécifiques de son application La démarche est ici présentée de manière très linéaire, mais dans les faits, en avançant
aux systèmes d’élevage pour l’accompa- dans la démarche, le concepteur peut être amené à revenir sur des choix faits à des
gnement de leur transition. étapes préalables.
INRAProductions Animales, 2017, numéro 3
258 / J. LAIREZ et al
1.1 / Identification des finalités de al2012). La difficulté de ce type d’éva- b) L’évaluation multicritère pour aider à
l’évaluation multicritère luations prospectives est de prendre en la décision et accompagner l’innovation
compte les effets de changement de et la transition
Il existe trois principales finalités géné- contexte de la production sur l’évolution
riques à l’évaluation, qu’elle soit multi- des systèmes d’élevage. Certaines étu- L’enjeu de l’accompagnement de la
critère ou non : connaître/s’informer, des évaluent les effets de l’évolution du transition des systèmes d’élevage, est de
aider à la décision et communiquer; ces contexte extérieur sur différents indica- maintenir ou d’augmenter leur durabilité
trois finalités pouvant se combiner. teurs de durabilité des exploitations dans le cadre de changements de contexte
Suivant les finalités de l’évaluation, dif- (Belhouchette et al 2011, Viaggi et al (changement climatique, fluctuation des
férentes démarches peuvent être adop- 2013, Reidsma et al 2015, Wolf et al prix, nouvelles politiques) ou d’évolu-
tées, ce qui détermine les outils à mobi- 2015). Belhouchetteet al(2011) ont par tion d’objectifs tactiques et stratégiques
liser et le niveau de précision des infor- exemple utilisé un modèle bioécono- de l’agriculteur (par exemple autonomie
mations à agréger. En fonction du contexte mique pour évaluer les effets de la direc- fourragère, introduction d’un robot de
une évaluation pourra être descriptive et tive Nitrate sur trois types d’exploitation. traite). Dans ce cas, l’évaluation multi-
informer sur un état ou sur une trajectoire, Les indicateurs évalués étaient le revenu critère est utilisée en vue d’une adapta-
normative et informer sur l’adéquation agricole, la lixiviation des nitrates, l’éro- tion/évolution des systèmes d’élevage à
par rapport à un référentiel, ou encore sion et la consommation d’eau. Viaggiet ces changements. Pour accompagner
prescriptive avec un objectif de recom- al(2013) ont quant à eux évalué les effets l’innovation dans les systèmes de pro-
mandation ou d’injonction sous-jacente. du découplage des aides de la PAC sur 3 duction, deux niveaux sont à différen-
Les trois finalités sont illustrées ci- indicateurs (le revenu agricole, l’emploi cier selon que l’innovation porte sur un
dessous. et l’utilisation des fertilisants chimiques changement technique isolé ou un chan-
à l’échelle des exploitations). gement global du système évalué.
a) L’évaluation multicritère pour connaître
les systèmes et dresser un diagnostic D’autres échelles d’évolution nécessi- Dans le cas d’évolutions techniques,
tent aussi un accompagnement par des l’évaluation dressera un bilan des effets
Pour les systèmes agricoles, le carac- évaluations multicritères. À l’échelle des positifs et négatifs ainsi que des avan-
tère multicritère d’une évaluation est territoires et des filières, les évaluations tages et contraintes des systèmes actuels
devenu incontournable. Il s’agit certes, multicritères sont utilisées dans le cadre afin de définir des objectifs opérationnels
d’aborder les différents piliers du déve- de diagnostics et peuvent aussi rensei- pour la mise en œuvre du changement
loppement durable, mais aussi d’appor- gner sur les attentes des parties prenan- de technique. Ce peut être le cas dans un
ter une vision structurée des caracté- tes. La méthode OVALI permet ainsi changement dans le mode de distribu-
ristiques du système. Cette évaluation d’exprimer les attentes de la filière avi- tion des aliments par exemple.
descriptive peut alors être appliquée cole et de la société et d’identifier des
directement sur des systèmes existants pistes d’amélioration. Par exemple, sur Certaines évolutions techniques ont
et permettre un diagnostic. Le choix des la base d’un cas-type de la filière Poulet pour conséquences la reconfiguration de
indicateurs doit alors permettre de rendre standard en Pays de la Loire, un scéna- l’ensemble du système de production.
compte d’un état. Aujourd’hui la plupart C’est le cas pour les ruptures technolo-
rio combinant rénovation et construction
des évaluations multicritères sont syn- giques comme l’installation d’un robot
des bâtiments, évolutions des caractéris-
chroniques, avec par exemple des don- de traite qui peut conduire à revoir la
tiques nutritionnelles des aliments et de
nées collectées sur une année comptable conduite de l’alimentation, le parcellaire
la gestion du lot et l’approvisionnement
agricole pour la comparaison de plusieurs ou la génétique du troupeau. Pour ac-
local en matières premières indique une
exploitations à un instant «t» (Lairez compagner l’évolution du système de
possible amélioration des coûts de pro-
et al 2015). Ces évaluations définissent production, il faudra prendre en compte
duction et des performances environne-
des seuils relatifs, il peut s’agir par exem- dans l’évaluation la reconfiguration de
mentales, et une amélioration de l’image
ple des meilleures valeurs prises pour l’ensemble des techniques, mettre en
du produit (Dusart et al2015).
chaque indicateur par un ensemble évidence les synergies et compromis et
d’exploitations d’une région agricole. évaluer les gains et risques potentiels
Dans la pratique ces évaluations posent
Le système le plus durable sera celui qui liés à ces évolutions de pratiques. C’est
un grand nombre de problèmes métho-
se rapproche le plus de ces valeurs. Il est le cas des transferts d’impacts souvent
dologiques, notamment lors d’évolutions
plus rare d’évaluer la durabilité des tra- abordés en Analyse du Cycle de Vie
en continu qui interrogent sur les valeurs
jectoires d’évolution des systèmes d’éle- (ACV), qui montrent par exemple que si
de référence permettant d’interpréter les
vage, car celle-ci nécessite des données le traitement des lisiers a un effet béné-
indicateurs. Dans tous les cas, l’évalua-
sur plusieurs années ou fait appel à la fique sur la qualité de l’eau, il peut in-
modélisation. Le développement dura- tion descriptive constitue la base néces- duire une augmentation des émissions
ble étant un processus continu, la dura- saire à toute évaluation multicritère et de gaz à effet de serre. Cette évaluation
bilité des systèmes d’élevage doit s’ap- peut être complétée pour aller vers une à l’échelle du système se conduit aussi
préhender plutôt à travers l’analyse de évaluation normative voire prescriptive. lors de changements globaux du système
leurs trajectoires d’évolution. Ces trajec- Une évaluation normative vise à produire de production, comme ceux associés à
toires peuvent s’infléchir sous la pres- un résultat synthétique se basant sur la un changement d’objectif de l’élevage
sion de différentes contraintes comme le comparaison à un référentiel (norme) par exemple dans le cas du passage d’un
changement climatique (Dong et al2015), permettant de savoir si le résultat est bon système de production dit convention-
la variation des prix agricoles, ou encore ou mauvais en termes de durabilité. Ce nel au cahier des charges de l’agriculture
des choix politiques. Au travers d’une type d’évaluation est utilisé lorsque l’on biologique ou d’un système de type
analyse multicritère, il est possible de veut produire une note de durabilité, un « maïs-concentré » à un système dit « tout
mettre en évidence des modèles d’évo- classement sur une échelle de notation à l’herbe » en production laitière.
lution qui allient un ensemble de carac- ou encore une certification pour un label.
téristiques des systèmes, comme le mon- Cette évaluation peut se faire à l’échelle Pour accompagner la transition, une
trent (García-Martínez et al2008) pour d’une exploitation mais aussi à des échel- première approche est celle «pas à pas»
les élevages de montagne en Europe, ou les plus vastes, comme par exemple celle de diagnostic/action, où chaque année
pour les systèmes de polyculture-élevage de la filière quand l’évaluation porte sur des indicateurs/critères de performances
des coteaux de Gascogne (Ryschawy et le produit vendu au consommateur. et impacts du système d’élevage sont
INRAProductions Animales, 2017, numéro 3
L’évaluation multicritère des systèmes d’élevage pour accompagner leurs évolutions…/ 259
évalués et des changements techniques dicateurs adaptés localement et de débat- cation en interne ou vers des tiers et
ou plus globaux sont mis en place sur tre des valeurs et coefficients à attribuer conduire à des labellisations. Le projet
l’exploitation pour améliorer progressi- à chaque indicateur. L’évaluation multi- AgriBalyse de l’ADEME d’inventaire
vement les résultats de l’évaluation d’an- critère permet ici d’engager l’action. du cycle de vie des produits agricoles
née en année. Une seconde approche est Pour les bénéficiaires, il s’agit d’innover français visant à l’affichage environne-
d’imaginer des systèmes d’élevage inno- pour maximiser les intérêts de l’intégra- mental entre dans ce cadre (Koch et Salou
vants, en rupture avec les systèmes ac- tion culture-élevage. Pour les instances 2014). Grâce à cet affichage, les consom-
tuels. La pertinence de ces innovations de gouvernance, il s’agit d’accompagner mateurs pourraient, s’ils le souhaitent,
est évaluée de manière ex ante à l’aide la transition en pensant l’intégration choisir lors de leurs achats des produits
d’indicateurs. Giller et al (2011) ont culture-élevage dans un cadre socio- plus respectueux de l’environnement et
développé un cadre d’analyse participatif écologique et en définissant des indica- ainsi permettre de favoriser les systèmes
pour la mise en place de boucles de co- teurs de suivi de ces nouvelles formes d’élevage dont ces produits sont issus.
innovation : l’approche DEED (« des- de coordination territoriale. Par exem- Ainsi, l’évaluation multicritère peut être
cribe, explain, explore and design »). ple, dans un territoire du sud-ouest de la utilisée pour orienter ces transforma-
Elle consiste en une première étape de France, un diagnostic initial a fait appa- tions et pour accompagner la transition
description du contexte (climat, sol, raître que, dans la zone amont (Ségala), de l’élevage vers des systèmes plus
économie) et des systèmes de produc- les systèmes d'élevage sont très dépen- durables en s’appuyant sur des démarches
tion (typologie). Une seconde étape d’ex- dants des ressources alimentaires exter- de communication auprès des consom-
plication pour analyser les problèmes nes alors que, dans la zone aval (plaine mateurs.
existants. Ensuite, ils explorent diffé- de Montauban), les systèmes de culture
rents scénarios de changement, puis ils (maïs, blé/tournesol) sont très dépendants
1.2 / Définition du périmètre de
mettent en œuvre les alternatives en réali- de la fertilisation azotée et sensibles au
l’évaluation
sant un suivi-évaluation chez les agricul- déficit hydrique. Les acteurs impliqués
teurs. Un autre exemple d’approche pour (agriculteurs, conseillers de chambres
La détermination du périmètre de l’éva-
accompagner les transitions de l’élevage d'agriculture, de coopératives, responsa-
luation est délicate (cf. encadré 3) car
est le «RAMI fourrager» développé par bles d'agences de l'eau) ont conçu un
elle implique de définir plusieurs élé-
l’INRA. Il s’agit d’un jeu de plateau à scénario de mise en place d'une filière
ments (frontières du système, flux
faire avec un groupe d’éleveurs pour la de luzerne dans la zone aval qui permet
entrants, flux sortants, effets…). Dans
conception de systèmes fourragers pour de limiter l’utilisation des engrais azotés,
la plupart des méthodes d’évaluation
atteindre de nouveaux objectifs (se de réguler les bioagresseurs, d'améliorer
multicritère, ces éléments ne font pas
convertir au biologique, autonomie four- la fertilité des sols, et de réduire les be-
l’objet d’une réflexion particulière. Ils
ragère, nouveau cahier des charges à soins en eau. Elle permet en plus aux
sont parfois partiellement explicites
respecter) ou pour s’adapter à des chan- systèmes d'élevage de la zone amont
(ex : IDEA, Vilain et al2008), mais le
gements de contexte (changement cli- d’être moins dépendants des approvision-
matique, sécheresse) (Martin 2015). Un nements étrangers et ainsi d’améliorer plus souvent le système étudié est réduit
ensemble d’indicateurs de performance leur bilan carbone. au « processus central de production »
est fourni pour chaque changement afin sans prendre en compte les processus
d’accompagner le processus décisionnel c) L’évaluation multicritère pour com- impliqués en amont et en aval de la pro-
des agriculteurs. muniquer duction (ex. matières premières, trans-
port, utilisation des produits). Par exem-
Pour redéfinir de nouvelles modalités C’est le troisième objectif générique ple, l’évaluation se focalisera sur l’atelier
d’intégration culture-pâture-élevage à de l’évaluation. Il est souvent associé à bovin d’une exploitation laitière, sans
l’échelle des territoires, Moraine et al l’un des deux précédents. Il est possible prendre en compte les émissions de gaz
(2014) proposent d’utiliser une méthode de différencier deux grands types d’éva- à effet de serre issues du transport du
de co-construction avec les acteurs en luation associés à la communication, lait jusqu’à la coopérative. Dans certai-
trois étapes : diagnostic (définition des ceux qui s’appuient sur une promotion nes méthodes comme IDEA ou INDIGO,
enjeux), brainstorming (identification sans but directement marchand et qui où les indicateurs sont prédéfinis par la
de pistes) et évaluation (analyse multi- permettent de promouvoir une image ou méthode, les processus en amont ne sont
critère). La troisième étape permet de des valeurs (ex : campagne télévisuelle pris en compte que pour la consomma-
mettre en évidence les points de blocage sur la viande de bœuf) ; et ceux qui ont tion énergétique (Bockstaller et al2013).
à la mise en place de nouvelles pratiques un objectif de positionnement sur un Dans les méthodes plus génériques,
et d’identifier les principaux compromis marché et qui vont s’appuyer sur des comme l’Analyse du ACV(van der Werf
à trancher et verrouillages à lever. L’éva- normes, des chartes ou des démarches et Petit 2002), la phase de définition du
luation multicritère est donc considérée de certification. Les organisations des périmètre de l’évaluation constitue la
ici comme une des étapes à part entière filières ont par exemple recours aux première étape.
de la conception participative. L’inté- évaluations multicritères pour évaluer
gration culture-élevage peut en effet leurs performances (économiques, socia- Le système étudié se définit à partir
prendre différentes formes d’intensité et les, environnementales) et mettre en d’un ensemble de processus (e.g.alimen-
d’étendue spatiale croissantes : de la évidence les maillons à renforcer. Ces tation, gestion des effluents) qui néces-
simple complémentarité entre voisins à éléments peuvent servir à la communi- sitent des flux entrants (e.g.ressources
la synergie territoriale. Lorsque l’on se
place à l’échelle du territoire, les évolu- Encadré3.De la complexité de la définition du périmètre de l’évaluation.
tions engagent une grande diversité d’ac-
teurs aux intérêts, mode de fonction- Il existe aujourd’hui de nombreuses questions qui restent en suspens concernant
nement et/ou dynamique divergents la définition du périmètre de l’évaluation: comment faire pour déterminer le péri-
(producteurs, coopératives, conseillers, mètre de l’évaluation lorsque les processus à considérer sont pertinents pour
gestionnaires…). Les méthodes de
une dimension du développement durable mais pas pour une autre ? Comment
conception participative intégrant une
choisir un niveau d’évaluation (exploitation, parcelle, atelier) pertinent pour tous
phase d’évaluation multicritère permet-
les effets du système ? Comment faire pour déterminer le périmètre de l’évaluation
tent aux acteurs impliqués de définir des
lorsque les effets considérés se situent à de multiples niveaux ?
objectifs communs, de proposer des in-
INRAProductions Animales, 2017, numéro 3
260 / J. LAIREZ et al
naturelles, infrastructures, intrants) et qui à l’échelle d’un territoire alors que la 1.3 / Définition du cadre conceptuel
génèrent des flux sortants (e.g. émissions comparaison de systèmes de production et méthodologique
gazeuses, polluants, revenus). Ces flux dans le cadre d’un diagnostic se fera à
engendrent des effets, c’est-à-dire des l’échelle d’une exploitation ou de l’ate- Comme évoqué précédemment, le déve-
perturbations et modifications d’un lier d’élevage. La dimension temporelle loppement durable est un concept poly-
milieu naturel ou socio-économique. Le est également délicate à déterminer à morphe. Les évaluations des contributions
système étudié est lui-même composé cause de la validité des données et des de l’agriculture au développement dura-
de sous-systèmes en interaction et s’ins- indicateurs dans le temps puisque l’agri- ble résultent de nombreux choix : choix
crit dans des systèmes plus larges, un sys- culture est en constante évolution (mar- des critères, de leur organisation et de
tème local (e.g. exploitation, bassin ver- chés, climat, organisation des acteurs…). leur importance relative, choix des indi-
sant, région) et un système global (ex. Il convient de s’assurer de la validité des cateurs pertinents pour rendre compte
continent, planète). Ainsi il est source données utilisées, c'est-à-dire de leur des critères et des valeurs de référence
d’effets qui l’affectent lui-même tout en représentativité (vis-à-vis du système, pour les interpréter.
contribuant également aux enjeux des du temps et de l’espace), leur précision,
systèmes locaux (e.g. contribution à la et leur «date de péremption». Les critères pris en compte peuvent
qualité de l’eau vial’émission de nitrate) varier d’une évaluation à l’autre, le résul-
et globaux (e.g.contribution au réchauf- b) Étape 2: Le choix des flux sortants tat final insiste donc plus ou moins sur
fement climatique mondial vial’émission du système et des effets à évaluer une problématique donnée suivant les
de méthane). Le système et les effets se critères considérés par la méthode. La
caractérisent par une dimension spatiale Il s’agit ici de prendre en compte les manière dont est traitée une même pro-
(délimitation physique), temporelle (pé- changements d’état à l’extérieur et au sein blématique peut également varier. Par
riode d’analyse) et organisationnelle du système, dans les différentes dimen- exemple la problématique de l’azote en
(acteurs concernés). sions spatiale, temporelle et organisation- élevage englobe de nombreux niveaux:
nelle du système. En ACV environnemen- l’efficacité de rétention de l’azote par les
La réalité étant par nature impossible à tale, des règles de décision, dénommées animaux, les émissions associées à la
appréhender dans toute sa complexité, il «critères de coupure», permettent d’évi- production des intrants, la gestion et le
n’est pas envisageable de rendre compte ter de choisir arbitrairement les flux et les stockage des effluents et leurs émissions
intégralement de l’ensemble du système effets à évaluer. Par exemple, si chacun associées, la lixiviation du nitrate au
%
et de ses effets. Le système évalué est des flux sortants ne dépasse pas 1 du champ après épandage et les émissions
donc une représentation la plus objective total des im%pacts et que leur somme n’ex- gazeuses NH3, NOx associées, etc. Le
possible de cette réalité au regard des cède pas 5 , ces derniers ne sont géné- choix des critères d’évaluation n’est donc
finalités étudiées. Dans l’élaboration ralement pas comptabilisés. Le choix pas anodin. De plus, pour un même cri-
d’une démarche d’évaluation, il est donc des flux sortants et des effets à évaluer tère, de nombreux indicateurs existent,
nécessaire de bien identifier au préala- se fait souvent a priori, en s’appuyant sur ainsi qu’une multitude de valeurs de réfé-
ble les finalités de l’évaluation car selon des hypothèses établies à partir d’autres rence possibles pour les interpréter, qui
les besoins, les échelles spatio-temporel- situations similaires préalablement éva- peuvent être dépendantes du contexte
les, définies par le grain (niveau de détail luées. Le niveau pertinent pour évaluer local et modulées en fonction de la sen-
de l’information) et l’étendue de l’éva- à la fois les effets sociaux, économiques sibilité du milieu (caractéristiques éco-
luation (limites spatiale ou temporelle ou environnementaux n’est pas obligatoi- logiques, biophysiques, économiques
étudiées, et nombre d’effets mesurés), rement le même pour ces trois dimensions. ou sociales) dans lequel l’évaluation est
seront plus ou moins fines ou larges. La Les effets évalués peuvent s’observer à conduite.
détermination du périmètre de l’évalua- un niveau supérieur à celui auquel les
tion consiste ensuite à réaliser deux éta- données sont collectées. C’est le cas par a) Le cadre conceptuel
pes: exemple d’une évaluation des effets d’un
atelier d’élevage sur le changement cli- Il permet d’expliciter la vision du déve-
a) Étape 1 : Le choix des frontières du matique, sur la perte de biodiversité, ou loppement durable retenue (figure3). Il
système évalué encore sur la revitalisation des espaces fait le lien entre les dimensions du déve-
ruraux. Une solution est d’évaluer la «con- loppement durable, leur déclinaison en
Il s’agit ici de définir les frontières c’est- tribution» des niveaux inférieurs (ici, critères, et l’élaboration et l’organisation
à-dire les processus évalués et leurs flux l’atelier d’élevage) à ces effets plus larges. des indicateurs. Son élaboration doit être
entrants, ainsi que les dimensions spa- Il faut néanmoins se méfier des conclu- claire et transparente de sorte que les
tiale, temporelle et organisationnelle du sions hâtives. Par exemple, l’effet de la indicateurs puissent être mis en relation
système. Cette étape est souvent délicate demande en travail d’un atelier sur la avec les enjeux et objectifs (critères) et
étant donné que les processus pertinents fatigue et le stress d’un agriculteur, n’a ainsi garantir que l’interprétation des
pour une évaluation sociale ne le sont pas de sens que si celle-ci est remise en per- résultats d’évaluation ne soit pas erronée.
forcément pour une évaluation environ- spective avec la demande globale en Deux types de démarches peuvent être
nementale. Par exemple, le désaisonne- travail sur l’ensemble de l’exploitation. utilisées pour définir le cadre conceptuel
ment d’un lot de brebis est en partie béné- La dimension temporelle des effets est (Clément et Rey-Valette 2008): la démar-
fique car il permet d’étaler les mises bas également différente de celle des données che descendante (ou substantielle) ou la
et donc de mieux valoriser la ressource collectées relatives aux flux entrants de démarche ascendante (participative ou
en herbe. Néanmoins, la gestion de l’ali- l’étape 1 car il existe bien souvent un procédurale). La première repose sur des
mentation de deux lots ayant à un instant décalage temporel entre les causes et les experts (recherche, institutions interna-
t des besoins différents et le dédouble- effets, certains effets sont immédiats, tionales) qui s’appuient sur des référen-
ment des périodes de pic d’activité, notam- d’autres sont plus longs à observer. Par tiels connus. L’intérêt de cette démarche
ment au moment des agnelages, influen- exemple, l’impact d’un système d’élevage est de profiter d’une normalisation anté-
cent la charge de travail de l’éleveur. sur l’état de santé d’une population ou rieure, de cadres extérieurs robustes ayant
Aussi, le choix de la dimension spatiale le changement climatique se manifeste fait leurs preuves, de faire référence à
du système se fait en fonction des fina- à long terme, alors que les nuisances des normes internationales. Son risque
lités de l’évaluation. Par exemple, il est (odeurs, bruits…) occasionnées dans le réside dans la légitimité démocratique
possible, mais pas exclusif, de rendre voisinage d’une exploitation d’élevage et l’appropriation par les acteurs en cas
compte des effets d’une politique agricole sont instantanées. de non-adaptation aux réalités locales.
INRAProductions Animales, 2017, numéro 3
L’évaluation multicritère des systèmes d’élevage pour accompagner leurs évolutions…/ 261
Figure 3.Cadres conceptuels et méthodologiques en évaluation multicritère appliqué à l’élevage laitier.
Cadre conceptuel: vision du développement durable déclinée en dimensions, critèreset indicateurs.
Cadre méthodologique: organisation des calculs (comment un indicateur est calculé,comment l’agrégation est réalisée).
La seconde démarche repose sur les rence, transformation et normalisation trop restreints ou trop éloignés de celui
acteurs eux-mêmes, qui se constituent des variables, pondération, sélection des des acteurs, que les indicateurs et les
en collectif. Cette démarche est souvent modes d’agrégation et des éventuels valeurs de références ne conviennent pas,
initiée à partir d’une demande sectorielle, niveaux intermédiaires d’agrégation, post- ou encore que la méthode d’agrégation
territoriale ou pour un but de certifica- analyse (analyse de sensibilité), présen- des indicateurs, si elle est nécessaire, ne
tion. Elle présente l’avantage d’être basée tation des résultats). Sa transparence correspond pas à ce qui est souhaité par
sur les perceptions locales des problèmes garantit la reproductibilité de la méthode les acteurs et/ou concepteurs. Construire
et donc d’être plus facilement appro- (figure 3). Une partie clé de ce cadre sa propre méthode c’est aussi offrir aux
priable par les acteurs. Le risque associé méthodologique: l’agrégation, est déve- groupes sociaux concernés par le système
est celui d’une faible validité en raison loppée dans la partie 3. évalué l’opportunité de partager leur
d’un accès limité de ces acteurs aux con- vision du développement durable (déve-
naissances scientifiques sur les systèmes 2 / Choisir ou construire sa loppement du cadre conceptuel) et de
et les processus en jeu, ou au manque de
s’approprier la méthode d’évaluation.
moyens pour les utiliser.À l’inverse, une méthode
Par contre, le processus est chronophage
méthode descendante peut aussi porter
et plus complexe, il nécessite de suivre
le risque d’une méconnaissance de la
une certaine démarche afin d’assurer une
complexité des problématiques locales. 2.1 / Définir sa stratégie d’évaluation
cohérence globale de l’évaluation.
Se pose également la question de la com-
parabilité des résultats et de la recon- Conduire une évaluation multicritère
Avant de s’engager dans une stratégie
naissance par des parties prenantes non peut consister à avoir recours à une
d’évaluation particulière et afin d’éviter
associées. Les démarches participatives méthode existante ou bien à développer
de faire un choix inadapté, il est indispen-
ne sont pas simples à conduire et présen- une nouvelle méthode. Chacune de ces
sable de s’interroger sur un certain nom-
tent un certain nombre d’écueils. Slocum stratégies d’évaluation présentent des
bre d’éléments qui vont conditionner la
et al (2006) ont présenté les modalités avantages et des inconvénients. Par exem-
démarche à adopter.
de mise en œuvre de ces démarches par- ple l’utilisation d’une méthode existante
ticipatives. Des approches combinant peut permettre de réaliser des comparai-
préoccupations des acteurs et prise en sons entre différents systèmes d’élevage 2.2 / Utiliser une méthode existante
compte des connaissances scientifiques, précédemment évalués ou d’échanger
basées sur des échanges entre chercheurs entre évaluateurs utilisant la même mé- Il est important que le choix d’une
et acteurs locaux sont aussi envisageables. thode. En revanche, il est justifié de méthode ne soit pas uniquement dicté
construire sa propre méthode d’évalua- par des conditions contingentes (acces-
b) Le cadre méthodologique tion lorsque les méthodes existantes ne sibilité, simplicité…), mais surtout par
prennent pas en compte les besoins ou sa pertinence vis-à-vis des objectifs de
Il définit l’ensemble des choix métho- les contraintes des acteurs concernés. l’évaluation (Bockstaller et al2013).
dologiques essentiels permettant de pas- Le choix de construire une autre métho-
ser des données disponibles aux résultats de peut aussi être motivé par le fait que Lors du choix d’une méthode, il est
obtenus (ex. choix des valeurs de réfé- les cadres conceptuels existants sont nécessaire de vérifier la compatibilité des
INRAProductions Animales, 2017, numéro 3
262 / J. LAIREZ et al
finalités de l’évaluation avec celles annon- tats, format et représentation des résul- les données (existence, disponibilité, qua-
cées par les méthodes existantes. Ces tats…) pour construire sa propre méthode lité). Ces contraintes n’affectent pas les
finalités des méthodes existantes sont d’évaluation, il faut définir (figure4): finalités mais elles façonnent l’évalua-
nombreuses (cf. § 1.1), quelques ques- tion en ayant une influence sur le péri-
tions peuvent guider le choix, faisant réfé- i) le cadre conceptuel qui définit la mètre d’évaluation et le choix des indi-
rence aux étapes A et B de la figure 2: vision du développement durable sous- cateurs. En effet, les ressources vont
tendue par la méthode d’évaluation et le influencer l’étendue (dimension spatiale
i) Quelle est l’audience ou le public visé lien entre les dimensions du développe- et nombre d’effets pris en compte) et le
par la méthode? ment durable, les critères, et les indica- grain (niveau de détail de l’information)
teurs (cf. § 1.3); de l'évaluation. De même, le type d’effet
Chaque méthode a été construite pour à évaluer nécessite des indicateurs de
un public particulier. Il peut s’agir d’agri- ii) le cadre méthodologique qui défi- natures différentes qui sont plus ou
culteurs pour du conseil individuel, de nit l’ensemble des choix qui permettent moins complexes et qui requièrent donc
groupes d’acteurs d’une filière, de déci- de passer des données disponibles aux plus ou moins de ressources et de com-
deurs politiques, etc. Identifier précisé- résultats obtenus (c.f. § 1.3 et partie 3); pétences.
ment l’audience et le public visé par la
méthode permet de s’assurer que les ter- iii)le mode de représentation des résul- Être transparent.Il faut que les choix
mes employés par la méthode, et la tats, qui peut couvrir différentes formes. réalisés lors de la conception de la métho-
manière dont sont présentés les résultats de soient transparents et clairement expli-
sont adaptés. b) Les points de vigilance à respecter cités. La transparence concerne notam-
ment i)le périmètre de l’évaluation, ii)les
ii) Quelle est la facilité de mise en Cette démarche de conception d’une modalités de passage des données brutes
nouvelle méthode est délicate et néces- en indicateurs et, éventuellement, de leur
œuvre et de prise en main de la méthode
site de la rigueur. Plusieurs points de transformation en scores, et iii)des choix
par l'applicateur?
vigilance doivent être gardés à l’esprit. réalisés en cas d’agrégation des données
(cf. partie 3). En effet, l’agrégation s’ac-
Certaines méthodes sont conçues pour
Être clair sur les contraintes de l’éva- compagne généralement de transforma-
être vulgarisées à un très large public,
luation. Il est nécessaire de considérer tion des indicateurs, de pondération et de
d’autres nécessitent un haut niveau d’ex-
les contraintes suivantes: le temps et les compensation entre critères, qui ont une
pertise et peuvent impliquer le recours à
ressources financières et humaines (com- forte influence sur les résultats et rendent
des données difficiles d’accès.
pétences, effectif) disponibles pour cons- cette étape subjective. Le résultat va
truire et réaliser l’évaluation, ainsi que dépendre des objectifs du groupe concep-
iii) Quels sont les enjeux qui ont guidé
la création de la méthode?
Figure 4.Les étapes nécessaires à l’élaboration d’une méthode d’évaluation.
Il est important de connaître le contexte
spécifique dans lequel la méthode a été
créée afin de s’assurer que sa réutilisa-
tion est adaptée et non biaisée par des
objectifs particuliers des concepteurs.
iv) La vision du développement dura-
ble sous-tendue par la méthode est-elle
compatible avec les enjeux définis dans
l’évaluation?
v) Quel est le système évalué par la
méthode?
La plupart des méthodes n’explicitent
pas clairement les limites du système
évalué (cf. § 1.2).
vi) Quelles sont les bases scientifiques
et méthodologiques?
Les cadres conceptuel et méthodolo-
gique de la méthode identifiée doivent
être compatibles avec ceux de l’évalua-
tion (cf. § 2.3).
2.3 / Construire une méthode
a) La démarche
Après avoir précisé l’objet de l’évalua-
tion (les finalités et le système évalué)
et clarifié les contraintes (temps dispo-
nible, ressources financières et humaines,
type d’informations nécessaires et dispo-
nibles, niveau de complexité des résul-
INRAProductions Animales, 2017, numéro 3
L’évaluation multicritère des systèmes d’élevage pour accompagner leurs évolutions…/ 263
teur et cette étape de l’agrégation doit
Encadré4.Qu’est- ce qu’un indicateur ?
donc être totalement transparente pour
l’utilisateur de la méthode.
Un indicateur est une variable mesurable qui fournit des renseignements sur une
autre variable plus difficile d’accès (Gras et al1989). Un indicateur peut être de
Être complet. Il est nécessaire de véri-
nature très diverse : quantitatif (cardinal) ou qualitatif (nominal ou ordinal) ; des-
fier que la méthode évalue l’ensemble
des objectifs/critères définis dans le cadre criptif ou prédictif ; élémentaire (constitué de données brutes) ou élaboré (calculé
conceptuel, même s’il est parfois diffi- à partir de plusieurs données brutes) ; mesuré/estimé (calcul simple ou à partir
cile de choisir un (des) indicateur(s) qui d’un modèle) ou observé/déclaré (indicateur subjectif).
présente(nt) les qualités requises (cf.
encadré 4). Si l’exhaustivité ne peut être Un bon indicateur doit remplir les qualités suivantes selon les finalités de l’évalua-
atteinte, il est alors nécessaire de docu- tion : transparent et clairement défini (méthode, source des données, hypothèses
menter les choix réalisés pour que l’uti- sous-jacentes, périmètre) ; validé et reconnu scientifiquement (bases théoriques
lisateur soit informé et qu’il prenne du
solides) et statistiquement (précis, fiable, robuste) ; reproductible dans des
recul sur les résultats qu’il a obtenu.
contextes différents (comparabilité dans le temps et l’espace) ; sensible au chan-
gement lorsque le système change évolue ou lorsqu’il y a une rupture d’équilibre;
Être sensible mais robuste.Il est impor-
couvrant le problème qu’il mesure et mesurant réellement ce qu’il est supposé
tant d’avoir un équilibre entre ces deux
détecter ; évite les mauvaises prises de décisions ; facile à renseigner et à inter-
qualités complémentaires. D’un côté, la
préter (accessibilité des données) ; simple à calculer (temps et coût de mise en
méthode doit mesurer correctement les
modifications attendues (méthode sensi- œuvre) ; adapté aux utilisateurs visés (niveau de qualification, réponse aux besoins,
ble). C’est-à-dire qu’une modification de résultat compréhensible, facilement communicable).
la valeur des indicateurs dans leur gamme
de variations au sein du (des) système(s) taux de mortalité est généralement utilisé complète (jusqu’à une note globale de
évalué(s) doit se traduire dans le résultat comme indicateur du bien-être animal. durabilité) ou non, peut s’avérer néces-
de l’évaluation, et doit donc changer la Malgré ses qualités, pertinence et facilité saire. Par exemple, dans le cadre d’une
conclusion de l’évaluation. Cette qualité d’accès, l’utilisation de ce même indica- procédure de certification, l’évaluation
permettra de distinguer les systèmes au teur dans chacune des trois dimensions doit finir par conclure sur la labellisa-
regard de leur performance de durabilité, reviendrait à affaiblir l’évaluation en tion ou non de l’exploitation ou du pro-
d’évaluer les marges de progrès, etc. D’un limitant plutôt qu’en élargissant l’analyse duit. Il s’agit d’une agrégation complète
autre côté, une légère modification des du système. Le choix d’utiliser ou non conduisant à une réponse binaire: label-
données brutes utilisées, correspondant plusieurs fois le même indicateur doit lisé vs non labellisé. Dans le cas où
par exemple à leur gamme d’incertitude, alors être le résultat d’un compromis entre l’agrégation formalisée n’est pas néces-
ne doit modifier que très peu la conclu- redondance et pertinence. Il peut arriver saire et où une simple évaluation des-
sion de l’évaluation (méthode robuste). qu’un même indicateur puisse être utilisé criptive est requise, l’utilisateur final va
Notons, qu’il est parfois préférable d’uti- plusieurs fois dans une évaluation mais généralement utiliser les résultats désa-
liser des échelles pour l’attribution des avec une interprétation différente en fonc- grégés pour émettre un jugement global.
scores d’indicateurs qui sont moins sen- tion des critères auxquels ils se rapportent. Par exemple, dans le cadre d’une éva-
sibles mais plus robustes. Par exemple, luation pour aider à concevoir des systè-
il peut dans certains cas être plus perti- Valider la méthode d’évaluation. La mes innovants, une conclusion sera for-
nent d’utiliser une échelle discrète plu- validation de la méthode concerne diffé- mulée sur le système innovant le plus
tôt que continue, ou d’utiliser une échelle rents points et peut être réalisée de plu- performant. Cette conclusion est en fait
avec moins de niveaux ; mais le risque sieurs manières. Elle peut engager un le fruit d’une agrégation complète, mais
d’avoir des effets de seuils importants groupe d’experts extérieurs au groupe non formalisée puisque réalisée par l’uti-
est alors à prendre en considération. des concepteurs ou mobiliser un groupe lisateur sur la base de l’évaluation des-
d’acteurs concernés par la méthode qui criptive. Les étapes de raisonnement sui-
Éviter la redondance.Il faut éviter que vérifie si la méthode respecte les points vies pour réaliser cette agrégation ne sont
certains critères ne soient représentés précédents (transparence, complétude, généralement pas explicitées, rendant
plusieurs fois dans le cadre conceptuel, sensibilité, robustesse, redondance). Il est l’évaluation peu transparente. Dans tous
et que le même indicateur ne soit utilisé aussi possible de réaliser une ou plusieurs les cas, que l’agrégation soit formalisée
plusieurs fois pour évaluer des critères évaluations test sur des cas connus pour (viaun calcul mathématique) ou non (à
différents. Il faut aussi parfois éliminer vérifier i) si la méthode respecte les dire d’experts sur la base de l’évaluation
des critères ou indicateurs trop corrélés contraintes identifiées au départ (temps descriptive), cette dernière repose sur
entre eux. En effet, ces redondances peu- nécessaire, budget, qualification humai- deux raisonnements différents et com-
vent donner plus de poids à une compo- ne, complexité, format et représentation plémentaires : d’une part la gestion des
sante particulière du développement des résultats), ii) si les indicateurs ont pondérations, et d’autre part celle des
durable et biaiser les résultats de l’éva- les qualités requises (mesurables, sensi- compensations entre critères.
luation. Par exemple, le taux de mortalité bles, pertinents…) en tenant compte de
des animaux est généralement une don- la situation actuelle et des changements Les pondérations interviennent quand
née facile d’accès en élevage et est un prévisibles et iii) si (le cas échéant) la un critère est jugé plus important qu’un
indicateur pertinent pour évaluer certai- transformation des données en scores autre. Par exemple, si on évalue la dura-
nes dimensions dans le pilier économi- couvre l’amplitude des réponses et con- bilité environnementale d’un système
que, environnemental et social. En effet, serve une variabilité suffisante et perti- d’élevage, la préservation de la biodiver-
le taux de mortalité affecte directement nente. sité est-elle plus ou moins importante
la rentabilité des ateliers puisque le chif- que la limitation du réchauffement cli-
fre d’affaire est proportionnel aux pro- 3 / Les enjeux de l’agrégation matique? Il s’agit du raisonnement que
duits vendus. Mais, il est également lié à nous avons tous instinctivement en tête,
l’ensemble des impacts environnementaux même si répondre à la question n’est pas
car la mortalité représente des intrants qui En fonction de la finalité de l’éva- forcément évidente. Pour ce faire, plu-
sont consommés «inutilement» sans pro- luation, l’agrégation formalisée des indi- sieurs cas de figure existent. Tout d’abord,
duction finale. Dans le pilier social, le cateurs puis des critères, qu’elle soit l’utilisation de connaissances scientifiques
INRAProductions Animales, 2017, numéro 3
264 / J. LAIREZ et al

Table!au 1.Méthode OVALI – exemple des pondérations entre les trois piliers de la durabilité et les critères qui les composent
%
établies par les acteurs en nombre de points et retranscrites ici en pour plus de lisibilité.
Pilier Critères
Nom Points Poids (%%) Nom Points Poids (%%)
Créer de la valeur sur le territoire 73 41
Economique 180 33 Connecter les filières au marché 67 37
Participer à l'autosuffisance alimentaire française 40 22
Répondre aux attentes des citoyens 84 47
Social 180 33 Favoriser l'acceptabilité sociale de la filière 62 34
Renforcer le lien avec le territoire 34 19
Optimiser la gestion des ressources 69 38
Environnemental 180 33 Maîtriser les impacts environnementaux 68 38
Préserver les milieux naturels sur les sites 43 24

Figur!e 5. Les différentes logiques de compensation, de la plus sévère à la plus généreuse.
permet dans certains cas de mettre en l’opinion d’experts, de décideurs ou de diversité domestique peut-il être com-
évidence des équivalences entre les dif- groupes sociaux concernés par le système pensé par le bon niveau de biodiversité
férents éléments à agréger. C’est la évalué. Dans cette approche, les poids sauvage sur l’exploitation?), «spatiales»
démarche qui est par exemple utilisée peuvent être attribués en référence aux (par exemple à l’échelle d’un territoire:
pour pondérer les émissions de CO2, de réglementations en vigueur, aux objectifs les mauvaises performances de quelques
CH4et de N2O pour leur contribution au des agriculteurs ou encore aux enjeux exploitations sont-elles compensées par
réchauffement climatique, avec des poids du territoire. Dans la méthode OVALI les bonnes performances des autres ?),
respectifs de 1, 25 et 298 qui sont utilisés d’évaluation de la filière avicole, une pon- ou encore «temporelles» (par exemple
pour calculer l’indicateur sur la contri- dération permet de refléter l’importance les mauvaises performances économi-
bution au changement climatique (en accordée par le groupe participatif aux ques d’une exploitation une année peu-
équivalent CO2). Cette approche ne peut différents objectifs, critères et indicateurs. vent-elles être compensées par les per-
cependant s’appliquer qu’à l’agrégation Ainsi, le choix a été fait d’attribuer un formances des années précédentes et
d’indicateurs (et non à l’agrégation de même nombre de points à chacun des suivantes?). Différentes logiques de com-
critères), et même plus précisément d’in- trois piliers de la durabilité (180 points), pensations existent (figure 5), de la plus
dicateurs pour lesquels il est scientifique- de façon à pouvoir apprécier la stabilité sévère, la logique conjonctive, dans
ment possible d’établir des équivalences. du « trépied » pour le système étudié. Ces laquelle il faut être bon partout pour être
Une autre démarche consiste à se baser 180 points sont ensuite répartis entre les bon au global, à la plus souple, la logique
sur des analyses statistiques, notamment objectifs puis les critères et les indicateurs disjonctive, dans laquelle il suffit d’être
d’analyse des données (ex. Analyse en (Dusart et al2015, voir tableau 1 pour les bon quelque part pour être bon au global.
Composantes Principales, ACP) pour pondérations des piliers et des critères). En fonction de ce qu’on cherche à éva-
déterminer les poids de différents fac- luer, il faut donc identifier où l’on sou-
teurs dans le calcul d’un indicateur. Dans Les réflexions sur les compensations haite se positionner sur ce continuum.
le cas d’une ACP, la part de variabilité ob- entre critères sont généralement moins Pour ce faire, la démarche consiste à se
servée sur le premier axe peut servir à fréquentes et pourtant elles sont tout aussi baser sur l’opinion d’experts, de déci-
pondérer les différents indicateurs. Les importantes dans la procédure d’éva- deurs ou de groupes sociaux concernés.
pondérations sont alors uniquement luation. La gestion des compensations Dans le cas de l’évaluation de la durabi-
dépendantes de la variabilité des indica- consiste à savoir jusqu’à quel point nous lité des systèmes d’élevage, la pondéra-
teurs observée sur le jeu de données. souhaitons compenser la mauvaise per- tion des piliers économique, social et
Cette démarche peut être discutable, et formance obtenue sur un critère par une environnemental va dépendre du point
les pondérations ainsi obtenues sont vala- bonne performance sur un autre. Lors de de vue des experts ou acteurs consultés,
bles uniquement sur le jeu de données l’évaluation, les compensations peuvent entre « durabilité forte » (où le capital
utilisé. Enfin, la dernière démarche pou- être «thématiques» (par exemple, pour naturel n’est pas substituable par du
vant être utilisée consiste à se baser sur la biodiversité, le mauvais niveau de bio- capital manufacturé et où les compensa-
INRAProductions Animales, 2017, numéro 3