L’évaluation par les pairs au Conseil des Arts du Canada : comment sont prises les décisions
Introduction
ASL / LSQ
Le Conseil des Arts du Canada a été créé par une loi du Parlement
en 1957 pour favoriser et promouvoir l’étude et la diffusion des arts,
ainsi que la production d’œuvres d’art. À titre d’organisme
national de soutien aux arts du Canada, sa principale activité est de fournir
des subventions et des services aux artistes et aux organismes artistiques professionnels
canadiens, en plus de leur accorder des prix, et ce, dans une vaste gamme de disciplines
et de pratiques artistiques.
Le travail du Conseil repose sur deux principes de base :
- sa relation d’autonomie avec le gouvernement fédéral, qui lui permet
de prendre des décisions artistiques libres de toute ingérence politique;
- l’évaluation par les pairs, grâce à laquelle la majorité
de ses décisions sont prises quant au choix des artistes, des projets ou des
organismes artistiques qui seront subventionnés.
Le principe d’autonomie
ASL / LSQ
Le Conseil des Arts du Canada est une société d’État autonome.
Lorsque la Loi sur le Conseil des Arts du Canada a été adoptée,
le Parlement a reconnu la nécessité de conférer au nouvel organisme
culturel un important degré d’autonomie par rapport au gouvernement,
ce qui préserverait la capacité du Conseil à porter des jugements
et à fonder ses décisions en matière de subventions sur l’évaluation
de la qualité artistique. Le Parlement reconnaissait aussi que la structure
de gouvernance du Conseil devait tenir compte de la nature et la portée de
son mandat et de son rôle.
Dans le cadre de cette relation, le Parlement établit la politique publique
et détermine le montant des crédits alloués au Conseil. Le cabinet
fédéral nomme, pour une période déterminée, les membres
du conseil d’administration et le directeur du Conseil des Arts. Conformément
à la Loi sur le Conseil des Arts du Canada et aux Règlements
administratifs du Conseil, les membres du Conseil d’administration
sont responsables de l’administration et de la bonne conduite des activités
du Conseil. Ils régissent les opérations du Conseil et établissent
ses orientations stratégiques. Ces fonctions de gouvernance et de régie
amènent le conseil d’administration à conseiller la direction, à
débattre les plans, orientations et budgets proposés et à les approuver.
À titre de société d’État administrant des fonds publics,
le Conseil doit rendre compte de ses activités, et ce, en toute transparence.
Le Conseil des Arts du Canada respecte la réglementation fédérale
et est assujetti à des vérifications régulières menées
par le vérificateur général du Canada. Chaque année, il fait
rapport de ses activités au Parlement par le truchement du ministre du Patrimoine
canadien.
Pour remplir le mandat qui lui est confié, le Conseil a le pouvoir d’établir
ses propres priorités, orientations stratégiques, budgets et pratiques
opérationnelles. Il peut en toute indépendance créer de nouveaux
programmes de subventions et prendre des décisions en matière de subventions
librement et sans ingérence politique.
Le principe de l’évaluation par les pairs
ASL / LSQ
Au Canada et ailleurs dans le monde, l’évaluation par les pairs est une
méthode respectée permettant d’évaluer le mérite de réalisations
créatrices et intellectuelles. C’est la méthode d’évaluation
privilégiée au sein des organismes de soutien aux arts, aux sciences et
autres sciences humaines. Elle est utilisée pour évaluer les textes soumis
à des revues spécialisées et les demandes d’accréditation
professionnelle. Les organismes de renommée mondiale, comme la Fondation Nobel,
s’en servent pour attribuer leurs prix.
Avec les années, les divers processus d’évaluation par les pairs
utilisés au Conseil des Arts ont évolué, pour devenir la pierre angulaire
des décisions du Conseil en matière de subventions. Le Conseil a élaboré
des politiques pour régir le rôle des pairs évaluateurs – artistes
qui ont une pratique active et autres professionnels du domaine des arts –
dans leur évaluation des demandes de subventions et des mises en candidature
aux différents prix du Conseil.
L’engagement du Conseil des arts à l’égard de l’évaluation
par les pairs est fondé sur la conviction que :
- même si aucun système n’est parfait, l’évaluation par
les pairs est la meilleure méthode pour cerner les habiletés exceptionnelles
et le mérite artistique dans le domaine des arts;
- la liberté de pensée et d’expression est favorisée par un système
décisionnel faisant appel à une vaste gamme d’expertises professionnelles;
- le recours, chaque année, à un grand nombre de pairs évaluateurs
fournit la meilleure garantie de responsabilisation et de transparence dans les
décisions du Conseil.
À titre de dépositaire de fonds publics, le Conseil doit utiliser ses
ressources le plus judicieusement possible. Grâce au processus d’évaluation,
les pairs peuvent attester de l’intégrité, de la crédibilité
et de l’équité des procédures du Conseil, et la communauté
artistique peut ainsi participer directement au travail du Conseil.
Processus décisionnels du Conseil des Arts du Canada en matière de subventions
ASL / LSQ
Actuellement, le Conseil des Arts reçoit environs 15 000 demandes de subventions
ou mises en candidature chaque année, et accorde environ 6 000 subventions
et prix. Quelque 750 évaluateurs font partie chaque année de 120 comités
ou jurys, qui à leur tour font appel à plusieurs centaines d'évaluateurs
externes.
Différents processus sont utilisés pour en arriver aux décisions
en matière de subventions.
Comité d’évaluation par les pairs : Il s’agit
de la méthode utilisée pour la plupart des programmes de subventions du
Conseil des Arts; un nouveau comité de pairs est habituellement formé
pour chaque concours. Les comités d’évaluation par les pairs peuvent
être spécialisés dans une discipline ou être multidisciplinaires.
Comité permanent de pairs : Un comité permanent de pairs se
réunira régulièrement tout au long de l’année afin d’offrir
une certaine continuité dans un domaine spécialisé, comme l’administration
ou la recherche. Les pairs sont nommés pour des mandats allant jusqu’à
trois ans, et dont les dates d’échéance sont échelonnées
dans le temps. Le Conseil utilise ce processus d’évaluation pour le programme
La Brigade volante, les Prix Killam et les bourses de recherche Killam,
par exemple.
Les comités d’évaluation par les pairs et les comités permanents
de pairs permettent qu’une diversité de points de vue vienne éclairer
un processus décisionnel collectif. Chaque comité se compose d’au
moins trois personnes qui travaillent ensemble pour évaluer les demandes, sélectionner
un lauréat ou recommander l’achat d’œuvres d’art. Les
décisions sont prises par consensus ou par décision majoritaire. La durée
des rencontres des comités dépend du nombre et du type de demandes à
évaluer.
Évaluateurs externes : Le Conseil des Arts fait régulièrement
appel à des évaluateurs externes pour leur expertise dans un domaine spécialisé,
afin de soutenir et de compléter le travail des comités d’évaluation
par les pairs ou de fournir directement des conseils au personnel du Conseil des
Arts relativement à des demandes de subventions précises ou à des
mises en candidature pour un prix. Ils peuvent fournir des évaluations écrites
de pièces de théâtre, de productions en danse, de projets de recherche
ou de candidatures à un prix, entre autres choses, mais ils ne participent
pas aux délibérations des jurys. Ces évaluateurs sont sélectionnés
selon le type d’expertise nécessaire.
Évaluation interne : Dans un petit nombre de cas, comme pour les
programmes de subventions de voyage et le programme de visites d’artistes
étrangers, le Conseil des Arts accorde des subventions en se fondant sur une
évaluation interne effectuée par son personnel. Dans le cadre des pratiques
du Conseil, ni le personnel ni les membres du conseil d’administration ne
sont considérés comme pairs évaluateurs.
Sélection des pairs évaluateurs
ASL / LSQ
Dans le choix des personnes appelées à participer à son processus
d’évaluation par les pairs, le Conseil recherche des gens qui ont l’expérience,
les connaissances et l’ouverture d’esprit nécessaires pour faire
une évaluation juste et compétente du mérite comparatif de chaque
demande ou candidature à une subvention ou à un prix. Ces personnes sont
respectées au sein de leur communauté artistique ou académique.
Leur expérience et compétences sont directement reliées aux critères
d’évaluation du programme ou du prix, ainsi qu’aux types de demandes
ou de candidatures présentées à chaque concours.
Le choix des pairs évaluateurs est l’une des principales responsabilités
du personnel du Conseil des Arts. Pour trouver les pairs évaluateurs qui conviennent
le mieux, le personnel consulte la banque de données du Conseil des Arts, de
même que les collègues et la communauté en général. Le
Conseil des Arts s’est engagé à faire appel à une proportion
importante de nouveaux évaluateurs chaque année. Les pairs évaluateurs
peuvent être proposés par d’autres artistes, des organismes artistiques,
le public, et eux-mêmes.
Le Conseil des Arts veut s’assurer que son système d’évaluation
par les pairs soit représentatif d’un large éventail d’expériences
et de perspectives. C’est pourquoi il a déterminé une période
d’attente pour les pairs participant aux différents comités d’évaluation :
la règle générale veut qu’une personne ne puisse faire partie
d’un comité d’évaluation plus d’une fois tous les 24
mois. Toutefois, la composition d’un comité peut parfois exiger que des
exceptions soient faites pour des évaluateurs qui, par exemple :
- ont une expérience professionnelle dans plus d’une discipline;
- ont une expertise spécialisée dont a besoin le comité;
- offrent une continuité entre deux comités d’évaluation pour
des subventions de projet ou de fonctionnement;
- font partie d’un comité permanent de pairs;
- font partie de comités d’évaluation pour des prix importants comme
les Prix littéraires du Gouverneur général, les Prix Molson, etc.
Toute exception à la période d’attente de 24 mois requiert
l’approbation du directeur de la division concernée.
Avec les années, le Conseil des Arts du Canada a mis au point certaines pratiques
visant à optimiser l’efficacité de son système d’évaluation
par les pairs. Par exemple, pour assurer une certaine uniformité et une certaine
efficience d’un comité à l’autre,
- le même comité peut être chargé d’évaluer les demandes
de plus d’une composante d’un programme, ou de programmes connexes;
- un ou deux membres d’un jury précédent peuvent être invités
à faire partie de comités apparentés subséquents (aux côtés
de nouveaux membres);
- différents sous-comités peuvent évaluer des groupes distincts de
demandes dans les concours où le nombre de demandes est très élevé
et lorsqu’il est important de recourir à une expertise précise.
L’évaluation par les pairs au Conseil des Arts : un système
équitable et efficace
ASL / LSQ
Pour être équitable et efficace, tout système d’évaluation
doit reposer sur des politiques et des procédures cohérentes ayant fait
l’objet d’un examen attentif. Cette réalité se vérifie
particulièrement dans le cas d’évaluations qualitatives, comme celles
utilisées dans le domaine des arts, et qui ne peuvent se réduire à
de simples formules. Le Conseil s’est doté d’outils importants
pour favoriser la bonne marche du processus d’évaluation par les pairs :
- un engagement à utiliser des comités bien équilibrés;
- des politiques, directives et documents clairs;
- des lignes directrices et des critères d’évaluation précis
concernant les prix et les programmes;
- des procédures transparentes et uniformes en cas de conflit d’intérêts;
- des lignes directrices et des politiques précises concernant la confidentialité
des renseignements.
Le Conseil offre une formation continue à son personnel afin de s’assurer
qu’il comprend et respecte les procédures et politiques liées à
l’évaluation par les pairs au Conseil.
Comités équilibrés
ASL / LSQ
Le recours à des comités équilibrés favorise une meilleure compréhension
du mérite artistique dans une multiplicité de contextes. Lorsqu’il
sélectionne les membres de ses comités, le Conseil des Arts du Canada
s’efforce de former des comités d’évaluation par les pairs
qui soient à la fois compétents et représentatifs. Pour ce faire,
il cherche à assurer un juste équilibre des facteurs suivants dans
la sélection des membres de ces comités :
- Pratique artistique – artistes et professionnels des arts de différents
styles et différentes conceptions artistiques, capables de placer les discussions
dans un contexte esthétique.
- Spécialisation professionnelle – artistes et professionnels des
arts qui occupent différentes fonctions professionnelles dans le milieu des
arts : créateurs, interprètes, administrateurs, metteurs en scène,
producteurs, éditeurs, galeristes, conservateurs, critiques, enseignants, etc.
- Langue – artistes et professionnels des arts provenant des deux communautés
de langues officielles du Canada, de même que des communautés de langues
officielles en situation minoritaire comme les anglophones vivant au Québec
et les francophones vivant à l’extérieur du Québec.
- Diversité culturelle – artistes et professionnels des arts qui
sont d’origine africaine, asiatique, latino-américaine, mixte ou moyen-orientale.
- Artistes et professionnels des arts autochtones – artistes et professionnels
des arts des communautés inuites, métisses et des Premières nations.
- Régions – artistes et professionnels des arts de différentes
régions géographiques et communautés du Canada.
- Sexe – hommes et femmes.
- Âge – artistes et professionnels des arts de différentes
générations.
Le Conseil reconnaît qu’aucun comité ne peut présenter toutes
ces caractéristiques à la fois, mais, à plus long terme, il veille
à ce que ses comités satisfassent le plus possible ce principe de représentation
équilibrée. Il surveille annuellement la composition de tous ses comités
de pairs et présente un rapport au conseil d’administration.
Politiques, directives et documents clairs
ASL / LSQ
Avant chaque évaluation, le Conseil des Arts fournit des renseignements détaillés
aux pairs évaluateurs, afin qu’ils puissent bien se préparer à
l’importante tâche qui leur a été confiée. Chacun des
membres du comité reçoit ce qui suit :
- les Lignes directrices destinées aux membres des comités d’évaluation;
- les lignes directrices du programme ou du prix concerné, les critères
d’évaluation et la documentation pertinente;
- toutes les demandes admissibles qui doivent être évaluées (en format
numérique ou papier), le cas échéant;
- le matériel d’appui accompagnant ces demandes, le cas échéant;
- s’il y a lieu, les comptes rendus des évaluateurs externes.
Le document intitulé Lignes directrices destinées aux membres des comités
d’évaluation décrit les rôles et les responsabilités
des pairs évaluateurs et souligne les processus et politiques du Conseil des
Arts qui s’appliquent. Il contient également des lignes directrices,
procédures et pratiques claires concernant les conflits d’intérêts
et la protection des renseignements confidentiels.
Objectifs des programmes et critères d’évaluation précis
ASL / LSQ
Chaque programme et prix vise des buts particuliers : les critères d’évaluation
reposent sur ces objectifs. Les critères sont souvent pondérés, c’est-à-dire
qu’ils ont une importance différente dans l’évaluation globale,
conformément à ce que précisent les lignes directrices. Les comités
d’évaluation doivent évaluer chaque demande ou candidature en fonction
des critères d’évaluation et de la description du programme ou du
prix, de même qu’en fonction des politiques et orientations du Conseil.
Le mérite artistique et l’excellence artistique demeurent l’aspect
le plus important de la décision d’accorder une subvention.
Procédures transparentes et uniformes en cas de conflits d’intérêts
ASL / LSQ
Pour tous ses processus d’évaluation, le Conseil des Arts compte sur
des procédures claires pour gérer les conflits d’intérêts
potentiels de façon éthique. Lorsqu’il choisit des pairs évaluateurs
qui sont activement impliqués dans le champs d’expertise des candidats
à un prix ou une subvention, le Conseil cherche à identifier leurs liens
avec les candidats afin d’éviter les conflits d’intérêt.
Avant chaque réunion des comités d’évaluation par les pairs,
les membres des comités reçoivent le Formulaire de déclaration de
conflit d’intérêts qui définit, selon le Conseil, ce
qu’est un conflit d’intérêts réel ou perçu. Les
membres des comités doivent remplir ce formulaire et déclarer tout conflit
d’intérêts potentiel avant le début des délibérations.
Ils doivent remplir ce formulaire même s’ils n’ont rien à
déclarer, afin d’indiquer qu’ils ont bien réfléchi à
la question. Il en est de même pour les évaluateurs externes et les membres
de comités permanents de pairs.
Un conflit d’intérêts existe ou peut exister lorsqu’un pair
évaluateur, un évaluateur externe ou un membre de comité permanent
de pairs doit évaluer une demande de subvention, une candidature à un
prix, une œuvre d’art ou une production artistique :
- provenant de son employeur, d’un client ou d’un organisme dont il fait
partie du conseil d’administration.
- provenant d’un organisme dont il a été le conseiller dans le cadre
du programme La Brigade volante du Conseil des Arts;
- alors qu’il a des intérêts financiers directement liés au succès
ou à l'échec de la demande ou de la nomination;
- alors que le ndidat est son conjoint (ou sa conjointe) ou un membre de sa famille
immédiate;
- alors que son conjoint (ou sa conjointe) ou un membre de sa famille immédiate
est cadre supérieur ou siège au conseil d’administration de l’organisme
candidat, ou entretient des liens contractuels avec cet organisme;
- alors que lui-mme et le candidat ont été impliqués dans des poursuites
judiciaires intentées l’un contre l’autre.
De plus, les pairs évaluateurs peuvent juger qu’ils ne sont pas en mesure,
pour toute autre raison, d’évaluer une demande, une candidature ou une
production artistique de façon objective.
Pour les prix littéraires, en plus des points énumérés plus
haut, un conflit d’intérêts existe si l’évaluateur a
participé au processus de publication d’un des livres en nomination.
Un conflit d’intérêts peut exister pour les prix littéraires
si :
- l’évaluateur a directement contribué au développement du contenu
de l’un des livres en nomination;
- l’évaluateur a rédigé un texte promotionnel ou fait la revue
de l’un des livres en nomination;
- le nom de l’évaluateur apparaît dans la section des remerciements
de l’un des livres en nomination, d’une manière qui sous-entend
une contribution directe au livre.
Programme Killam. En plus des points énumérés plus haut, le contexte
scientifique et de recherche de ce programme exige des lignes directrices particulières.
Un conflit d’intérêts existe si les évaluateurs externes, ou
les membres d’un comité permanent de pairs,
- appartiennent à la même unité de recherche ou au même département
universitaire que le candidat;
- entretiennent des liens administratifs avec le candidat (p. ex., le chef d’un
département, le doyen d’une faculté, etc.);
- ont collaboré avec le candidat ou avec un membre de l’équipe de
recherche du candidat au cours des cinq dernières années;
- ont corédigé une publication avec le candidat au cours des cinq dernières
années
Les membres des comités qui ont ou qui pourraient avoir un conflit d’intérêts
doivent communiquer immédiatement avec l’agent de programme afin de discuter
de la situation. Les situations de conflit d’intérêts sont examinées
au cas par cas afin de déterminer si le membre du comité peut faire partie
du comité en question ou contribuer à l’évaluation de la demande
de subvention.
Dans le cas des prix, le Conseil des Arts n’invite que les évaluateurs
qui n’ont, selon l’avis du Conseil, aucun conflit d’intérêts
avec les candidats, de sorte que tous les membres du comité puissent être
présents pendant toute la rencontre. Le comité permanent du programme
Killam fait exception à cette règle; les situations de conflit d’intérêts
sont traitées de la même façon que pour les comités des programmes
de subventions.
Pour les comités qui accordent des subventions, les pairs évaluateurs
qui déclarent un conflit d’intérêts doivent se retirer du processus
pendant que la demande qui les concerne est traitée. Les autres membres du
comité ne doivent en aucun temps discuter de cette demande avec le pair évaluateur
ayant déclaré un conflit d’intérêts. Les membres
de comités d’achat de la Banque d’œuvres d’art doivent
quitter la pièce ou simplement s’abstenir de voter, selon l’importance
du conflit d’intérêt.
Les employés du Conseil des Arts doivent également déclarer tout
conflit d’intérêts potentiel relativement à l’une ou
l’autre des demandes présentées au Conseil. Ils doivent en informer
le chef de leur service et le directeur de leur division, de façon que le Conseil
puisse garantir l’intégrité de son processus d’évaluation.
Ils doivent se retirer du processus d’évaluation du dossier visé
ou de l’ensemble du processus, selon les circonstances.
Le Conseil des Arts reconnaît qu’il existera toujours une possibilité
de conflit d’intérêts quand il faut recourir à l’expertise
et aux compétences de contemporains pour l’évaluation de propositions
qui se font concurrence. Tenter de définir des règles qui élimineraient
tout conflit d’intérêts potentiel risquerait de ramener un processus
fondé sur la vision, l’expertise et le jugement des pairs, à un
exercice bureaucratique. Le défi consiste à reconnaître que le conflit
est toujours possible, à l’éviter dans la mesure du possible, et
à être prêt à le gérer lorsqu’il survient, pour que
le résultat soit dans le meilleur intérêt du public.
À la fin de la réunion, tous les membres du comité d’évaluation
doivent signer le formulaire intitulé Comité d’évaluation par
les pairs – Formulaire accompagnant la liste finale, afin de confirmer
la liste des recommandations finales du comité et les mesures prises concernant
les conflits d’intérêts. Ce formulaire contient également une
déclaration indiquant que le pair évaluateur consent à se conformer
aux dispositions sur la confidentialité des renseignements.
Lignes directrices et pratiques régissant la confidentialité des renseignements
ASL / LSQ
Les pairs évaluateurs doivent traiter les documents qu’ils examinent
et le contenu de leurs délibérations comme étant confidentiels. Ils
ne doivent pas divulguer les renseignements que renferment les dossiers des candidats.
Ils ne doivent pas discuter des noms des candidats, des recommandations, ou de tout
autre commentaire fait par les autres pairs évaluateurs durant une réunion.
Les pairs évaluateurs sont informés des lignes directrices et des pratiques
du Conseil au moment où ils reçoivent l’information relative aux
candidats, leurs projets et leurs réalisations. Ils doivent signer un
Formulaire de déclaration de conflit d’intérêts. À
la fin d’une réunion ou d’une évaluation individuelle, les
pairs évaluateurs doivent remettre toutes les copies des demandes, sur support
papier ou numérique, ainsi que les documents d’appui au président
du comité. Ces documents ainsi que tout autre document de travail seront ensuite
déchiquetés ou détruits d’une autre manière.
Lorsqu’il divulgue des renseignements, le Conseil des Arts du Canada se conforme
aux lois fédérales :
- La Loi sur l’accès à l’information établit que
les citoyens canadiens, les artistes et les organismes ont le droit de demander
l’information conservée dans les dossiers du Conseil. Le dépôt
d’une demande ne garantit pas un accès complet à tous les dossiers;
certaines exceptions ont été établies afin de protéger les renseignements
d’intérêt public ou privé particulier, et constituent l’unique
raison pour laquelle une demande d’accès à l’information puisse
être refusée.
- La Loi sur la protection des renseignements personnels protège les informations
de nature personnelle et interdit la divulgation ou l’usage de ces renseignements
à des fins autres que celles indiquées au moment où ces renseignements
ont été fournis. En général, toute information qui
identifie un individu est considérée comme un renseignement personnel.
Ces renseignements peuvent être divulgués seulement si l’individu
a donné son accord, ou s’il est établi que ceux-ci sont d’intérêt
public. La loi confère aux candidats le droit d’accéder à
l’information les concernant dans les dossiers du Conseil.
Le Conseil ne divulgue pas les noms des individus dont la demande n’a pas
été retenue. Toutefois, il publie la liste des bénéficiaires
de subventions et des lauréats des différents prix, et les noms des membres
des comités concernés. Ces listes sont affichées chaque année
sur le site Internet du Conseil. De plus, des communiqués sont publiés
sur de nombreux prix, dans lesquels sont indiqués les noms des lauréats
de même que les noms des membres des comités d’évaluation par
les pairs ou des comités permanents de pairs.
Processus : durant la réunion d’un comité
ASL / LSQ
Un agent de programme préside habituellement la réunion du comité
d’évaluation par les pairs. À l’occasion, le chef d’un
service ou le coordonnateur d’un bureau peut jouer ce rôle. À la
Banque d’œuvres d’art, le directeur assume cette fonction.
Le président commence la réunion en renseignant les évaluateurs sur
leurs responsabilités et sur la façon dont se déroulera la réunion;
il passe ensuite en revue le mandat et les orientations du Conseil, puis souligne
les politiques sur le conflit d’intérêts et la confidentialité
des renseignements. Il discute ensuite de l’objectif et du contexte du programme
ou du prix, et passe en revue les critères d’évaluation.
Après cette introduction, les membres du comité évaluent chacune
des demandes en fonction des critères d’évaluation, de la description
du programme ou du prix, et des politiques et orientations du Conseil. S’il
y a lieu, les pairs tiennent compte des documents soumis par les évaluateurs
externes. Dans certaines formes d’art, le matériel d’appui ne peut
pas être reproduit et envoyé aux pairs évaluateurs avant la réunion
du comité; en quel cas ce matériel est joué, projeté ou présenté
pendant la réunion. Une fois que chacune des demandes a été évaluée,
le comité s’entend pour établir un ordre de priorité pour l’attribution
des subventions ou pour la sélection des finalistes (le cas échéant)
et du lauréat du prix.
De nombreuses pratiques permettent de faciliter le déroulement du processus
et l’obtention d’un consensus parmi les membres du comité. En plus
de se préparer avant la réunion – en rédigeant notamment des
commentaires ou en accordant une note préliminaire à chacune des demandes
– les pairs évaluateurs prennent part à un processus participatif
dynamique animé par le président du comité. Leurs commentaires et
le résumé de leurs délibérations peuvent être consignés
de différentes façons. Les notes préliminaires sont fréquemment
utilisées pour faire progresser le débat. On peut aussi en venir
à des décisions par vote à main levée. Il arrive souvent que
les membres du comité examinent les demandes et les candidatures plus d’une
fois durant leurs délibérations. Les réflexions des membres du comité
doivent s’amalgamer à la fin du processus, lorsque le comité adopte
ses recommandations finales. Chaque réunion des comités est unique à
cet égard; la priorité du président est de laisser chaque personne
exprimer son point de vue et d’encourager le respect, l’équité
et l’efficacité au cours du processus collaboratif d’évaluation.
Les compétences en animation de réunion sont hautement appréciées
chez les employés du Conseil des Arts. Une solide tradition orale prévaut
au Conseil, tradition renforcée par un programme de mentorat et des séances
de formation structurées.
Le processus d’évaluation se déroule habituellement en présence
de tous les membres du comité dans une salle au Conseil des Arts, à la
Banque d’œuvres d’art ou par téléconférence. Ces
réunions peuvent durer quelques heures, quelques jours ou, à l’occasion,
quelques semaines. Pour certains programmes de subventions, il faut évaluer
des centaines de demandes au cours d’une seule réunion. C’est pourquoi
différentes variantes ont été adoptées afin d’éviter
la fatigue, d’accroître l’efficacité du processus d’évaluation
et d’assurer un traitement équitable de toutes les candidatures. Entre
autres méthodes, les membres du comité peuvent procéder à une
notation préalable des demandes avant la réunion. Dans ce cas, ils peuvent
recevoir les documents à l’appui des demandes ou visionner ceux-ci sur
un site Internet à accès restreint. Ils inscrivent une note préliminaire
pour chaque demande sur le site Internet ou sur un formulaire commun. Un ordre de
priorité est établi sur la base de ces notes pour être présenté
au début de la réunion du comité. Cette méthode permet au comité
de diriger la plus grande partie de son attention vers les demandes ayant fait l’objet
d’une évaluation favorable au moment des notations préalables.
Pour d’autres programmes où les demandes sont très nombreuses, on
divise celles-ci en catégories, ou sous-groupes selon le genre, le type d’activité
ou autres caractéristiques partagées. Un comité d’évaluation
par les pairs distinct est formé pour chaque catégorie. Chaque comité
fait ses propres recommandations et établit la liste des demandes fortement
recommandées. Le processus nécessite une juste répartition des ressources
du programme (des subventions et des services) et une détermination judicieuse
du mérite relatif des demandes au sein de chaque catégorie comme entre
celles-ci.
Les pairs évaluateurs doivent protéger le caractère confidentiel
des délibérations. Les notes accordées et leurs commentaires sont
détruits et le président est la seule personne autorisée à discuter
des délibérations du comité. Les commentaires du comité d’évaluation
par les pairs ne sont consignés par écrit que pour quelques programmes
de subventions de fonctionnement, soit les programmes d’aide annuelle ou pluriannuelle
aux organismes, et certain programmes ciblés telles les subventions d’accroissement
de la capacité. Dans ces cas, le président consigne par écrit la
réponse du comité à chaque demande, en fonction des objectifs du
programme et des critères d’évaluation. Ces réponses sont transmises
aux candidats en même temps que les recommandations finales à propos des
subventions.
Une fois les recommandations finales déterminées, chaque membre du comité
doit signer le Formulaire accompagnant la liste finale.
Liste finale des recommandations
ASL / LSQ
Avant chaque concours de subventions, un budget est déterminé pour chaque
réunion des comités. Pour de nombreux comités, la liste finale des
recommandations contiendra des détails sur les montants des subventions à
accorder aux candidats retenus, ainsi qu’une liste des demandes fortement
recommandées. Les demandes fortement recommandées sont des demandes que
le comité estime grandement, mais qui ne peuvent faire l’objet d’une
subvention en raison des limites budgétaires du programme. Les demandes fortement
recommandées qui correspondent à un secteur de priorité établi,
comme l’équité, peuvent recevoir une subvention par le biais de
fonds dédiés. Toutes les demandes fortement recommandées pourront
faire l’objet d’une subvention à la fin d’un exercice budgétaire,
si des fonds sont disponibles. Le Conseil ne peut appuyer les demandes qui n’ont
pas été fortement recommandées.
Le programme de bourses de recherche Killam a recours à une variante de la
désignation « fortement recommandée » et utilise plutôt
le terme « de rechange ». Si l’un des projets de recherche
retenus ne peut être réalisé par le candidat choisi, une bourse sera
alors offerte au candidat de rechange ayant obtenu la plus haute cote. Semblablement,
à la Banque d’œuvres d’art, on identifie quelques pièces
qui pourront être achetées s’il advenait qu’une des œuvres
sélectionnées n’était plus disponible.
En raison de la diversité des pratiques relatives à l’évaluation
par les pairs, d’autres modèles de liste finale des recommandations peuvent
aussi être utilisés. Par exemple, lorsque le Conseil doit s’assurer
que le mérite artistique relatif est pris en considération par différents
comités d’évaluation participant à un même programme,
ou à travers différents concours tenus sur une même période,
la détermination finale des montants accordés s’établit une
fois que tous les comités ont terminé leurs délibérations et
établi leur classement par ordre de priorité, et suite à une revue
des budgets disponibles par les chefs des services concernés. C’est pourquoi
certaines listes finales de recommandations de comité contiendront parfois
des montants de subvention précis, alors que d’autres pourront indiquer
des fourchettes de financement, des listes de demandes fortement recommandées,
etc.
Évaluation des demandes soumises en français ou en anglais
ASL / LSQ
Des comités unilingues français ou anglais peuvent être formés
pour évaluer des prix, programmes ou pratiques pour chacune des langues, par
exemple pour les services des lettres et de l’édition, des arts médiatiques
et du théâtre.
Les autres comités d’évaluation par les pairs évaluent les
demandes reçues dans les deux langues officielles. Le Conseil des Arts veille
à la traduction des principaux éléments des demandes et des mises
en candidature selon les besoins des comités et la nature du prix ou du programme
de subventions. Au cours de la réunion, les évaluateurs sont libres de
travailler dans l’une ou l’autre des langues officielles; au besoin,
un des employés du Conseil présent à la réunion pourra traduire
les commentaires de certains membres. Des services d’interprétation simultanée
sont offerts pour les réunions de certains comités.
Rôles et responsabilités des évaluateurs
ASL / LSQ
Les membres des comités d’évaluation par les pairs ou des comités
permanents des pairs doivent :
- lire et analyser la description du programme ou du prix et les critères d’évaluation,
de même que toutes les demandes, les mises en candidature et les documents
connexes reçus avant ou durant une réunion d’un comité d’évaluation
par les pairs;
- se conformer en tout temps aux politiques du Conseil des Arts du Canada (conflit
d’intérêts, confidentialité des renseignements, etc.);
- fournir un avis spécialisé au Conseil;
- évaluer toutes les demandes ou mises en candidature d’un concours en
fonction des critères d’évaluation établis ainsi que la description
du programme ou du prix, et des politiques et orientations du Conseil des Arts;
- établir un ordre de priorité pour l’attribution des subventions
ou la sélection des lauréats des prix;
- déterminer et approuver la liste finale des recommandations et signer le
Formulaire accompagnant la liste finale.
Les membres des comités reçoivent une indemnité pour chaque jour
de réunion et pour leur temps de lecture, ainsi que le remboursement d’un
montant raisonnable pour leurs frais de transport, d’hébergement et de
repas.
Les évaluateurs externes peuvent avoir à fournir les documents
suivants :
- un rapport écrit sur les événements ou spectacles d’organismes
ou de compagnies ayant présenté une demande de subvention ou ayant été
mis en candidature pour un prix;
- un rapport écrit sur des œuvres littéraires rédigées dans
une autre langue que le français ou l’anglais;
- des évaluations écrites sur une demande de subvention ou la contribution
professionnelle d’un candidat à un prix;
- des commentaires sur certaines demandes ou mises en candidature, lorsque leur expertise
est requise.
Les évaluateurs externes doivent effectuer leur évaluation en fonction
des critères d’évaluation établis et de la description du programme
ou du prix, et des politiques et orientations du Conseil des Arts. Les évaluateurs
externes en danse et en théâtre doivent remplir le Formulaire de déclaration
de conflit d’intérêts. Ils ne peuvent agir comme évaluateur
externe pour l’évaluation d’une demande ou d’une mise en
candidature pour laquelle ils ont déclaré un conflit d’intérêts.
Tous les évaluateurs externes doivent signer une déclaration indiquant
qu’ils acceptent de se conformer à la réglementation sur la confidentialité
des renseignements.
Les évaluateurs externes reçoivent des honoraires professionnels pour
chaque rapport qu’ils préparent, sauf dans le cas du programme Killam,
qui s’adresse aux milieux académiques.
Personnel du Conseil des Arts : rôles et responsabilités
ASL / LSQ
L’adjoint de programme assume les responsabilités suivantes :
- travailler en étroite collaboration avec les agents de programme afin de préparer
les réunions des comités;
- organiser la présentation des documents d’appui et fournir son assistance
durant les réunions;
- se conformer en tout temps aux politiques du Conseil des Arts du Canada (conflit
d’intérêts, confidentialité des renseignements, etc.);
- apporter son aide aux membres des comités pour ce qui est des arrangements
pour les déplacements et l’hébergement;
- inscrire les résultats des réunions et préparer les lettres aux candidats
ou aux proposants, afin qu’elles puissent être approuvées et signées.
L’agent de programme assume les responsabilités suivantes :
- examiner les demandes de subventions, les mises en candidature pour un prix ou les
œuvres soumises à un programme d’achat de la Banque d’œuvres
d’art, et déterminer leur admissibilité;
- se conformer en tout temps aux politiques du Conseil des Arts du Canada (conflit
d’intérêts, confidentialité des renseignements, etc.);
- proposer les noms des membres des comités, en tenant compte de l’engagement
pris par le Conseil d’avoir des comités équilibrés;
- présider les réunions des comités. À titre de président
des comités, il doit :
- établir les conditions garantissant une évaluation sérieuse, équitable
et ouverte de chaque demande ou mise en candidature;
- s’assurer que chaque demande ou mise en candidature est évaluée
en fonction des critères d’évaluation établis et de la description
du programme ou du prix, et des politiques et orientations du Conseil des Arts;
- aider le groupe à en venir à un consensus final sur un ordre de priorité
pour l’attribution des subventions ou la sélection des finalistes (le
cas échéant) et des lauréats des prix;
- superviser l’approbation des recommandations finales et s’assurer que
tous signent le Formulaire accompagnant la liste finale;
- contribuer à la diffusion des résultats et s’assurer du suivi nécessaire,
le cas échéant.
Le chef de service ou le coordonnateur d’un des bureaux doit assumer
les responsabilités suivantes :
- se conformer en tout temps aux politiques du Conseil des Arts du Canada (conflit
d’intérêts, confidentialité des renseignements, etc.)
- présider à l’occasion les réunions des comités d’évaluation;
- examiner et approuver les listes préparées par les agents de programme
concernant la sélection des membres des comités (toute exception à
la période d’attente de 24 mois doit être approuvée au préalable
par le directeur concerné).
Le président peut avoir à fournir des renseignements factuels ou contextuels
durant une réunion. Toutefois, le personnel du Conseil des Arts n’a pas
à commenter le mérite artistique d’une demande.
À la Banque d’œuvres d’art, ces rôles et responsabilités
sont partagés entre différents employés.
Processus : après la réunion d’un comité
ASL / LSQ
Après la réunion d’un comité, le président du comité
doit préparer la documentation interne nécessaire pour obtenir l’approbation
des subventions, des prix et des achats d’œuvres d’art. L’approbation
des subventions et des prix est régie par la politique de délégation
d’autorité, approuvée par le conseil d’administration du Conseil
des Arts. Règle générale, les décisions du conseil d’administration
et du directeur reposent sur les recommandations des comités d’évaluation
et sont considérées comme étant finales.
Communication des résultats : Les candidats sont informés
des résultats des concours par écrit. Les candidats qui aimeraient recevoir
de plus amples renseignements sur un concours, obtenir des éclaircissements
sur la possibilité de présenter à nouveau une demande ou qui ont
des questions à propos des décisions en matière de subventions peuvent
communiquer avec l’agent de programme. Les pairs évaluateurs ne sont
pas autorisés à répondre à de telles demandes. Sauf pour la
plupart des programmes d’aide au fonctionnement et quelques programmes ciblés,
aucun commentaire écrit n’est fourni sur les demandes.
Observations des membres des comités d’évaluation par les pairs :
Les évaluateurs sont encouragés à fournir leurs observations au personnel
du Conseil des Arts concernant le concours auquel ils ont participé et la manière
d’améliorer le programme et le processus d’évaluation.
Processus d’appel : Si un candidat peut prouver qu’il y
a eu vice de procédure durant le processus d’évaluation (par exemple,
les documents d’appui ont été mal classés), il peut déposer
une plainte officielle, par écrit, au directeur de la Division des disciplines
artistiques. Le Conseil des Arts a besoin de 45 jours pour fournir une réponse
détaillée à ces requêtes officielles.
Conseil des Arts du Canada
350, rue Albert, C. P. 1047
Ottawa (Ontario) K1P 5V8
Site Internet : www.conseildesarts.ca
Téléphone : 613-566-4414 ou 1 800 263-5588 (sans frais)
septembre 2009