L’évaluation par les pairs au Conseil des Arts du CanadaComment sont prises les décisions

Introduction

Le Conseil des Arts du Canada a été créé par une loi du Parlement en 1957 pour favoriser et promouvoir l’étude et la diffusion des arts, ainsi que la production d’œuvres d’art. À titre d’organisme national de soutien aux arts du Canada, sa principale activité est de fournir des subventions et des services aux artistes et aux organismes artistiques professionnels canadiens, en plus de leur accorder des prix, et ce, dans une vaste gamme de disciplines et de pratiques artistiques.

Le travail du Conseil repose sur deux principes de base :

sa relation d’autonomie avec le gouvernement fédéral, qui lui permet de prendre des décisions artistiques libres de toute ingérence politique;
l’évaluation par les pairs, grâce à laquelle la majorité de ses décisions sont prises quant au choix des artistes, des projets ou des organismes artistiques qui seront subventionnés.

Le principe d’autonomie

Le Conseil des Arts du Canada est une société d’État autonome. Lorsque la Loi sur le Conseil des Arts du Canada a été adoptée, le Parlement a reconnu la nécessité de conférer au nouvel organisme culturel un important degré d’autonomie par rapport au gouvernement, ce qui préserverait la capacité du Conseil à porter des jugements et à fonder ses décisions en matière de subventions sur l’évaluation de la qualité artistique. Le Parlement reconnaissait aussi que la structure de gouvernance du Conseil devait tenir compte de la nature et la portée de son mandat et de son rôle.

Dans le cadre de cette relation, le Parlement établit la politique publique et détermine le montant des crédits alloués au Conseil. Le cabinet fédéral nomme, pour une période déterminée, les membres du conseil d’administration et le directeur du Conseil des Arts. Conformément à la Loi sur le Conseil des Arts du Canada et aux Règlements administratifs du Conseil, les membres du Conseil d’administration sont responsables de l’administration et de la bonne conduite des activités du Conseil. Ils régissent les opérations du Conseil et établissent ses orientations stratégiques. Ces fonctions de gouvernance et de régie amènent le conseil d’administration à conseiller la direction, à débattre les plans, orientations et budgets proposés et à les approuver.

À titre de société d’État administrant des fonds publics, le Conseil doit rendre compte de ses activités, et ce, en toute transparence. Le Conseil des Arts du Canada respecte la réglementation fédérale et est assujetti à des vérifications régulières menées par le vérificateur général du Canada. Chaque année, il fait rapport de ses activités au Parlement par le truchement du ministre du Patrimoine canadien.

Pour remplir le mandat qui lui est confié, le Conseil a le pouvoir d’établir ses propres priorités, orientations stratégiques, budgets et pratiques opérationnelles. Il peut en toute indépendance créer de nouveaux programmes de subventions et prendre des décisions en matière de subventions librement et sans ingérence politique.

Le principe de l’évaluation par les pairs

Au Canada et ailleurs dans le monde, l’évaluation par les pairs est une méthode respectée permettant d’évaluer le mérite de réalisations créatrices et intellectuelles. C’est la méthode d’évaluation privilégiée au sein des organismes de soutien aux arts, aux sciences et autres sciences humaines. Elle est utilisée pour évaluer les textes soumis à des revues spécialisées et les demandes d’accréditation professionnelle. Les organismes de renommée mondiale, comme la Fondation Nobel, s’en servent pour attribuer leurs prix.

Avec les années, les divers processus d’évaluation par les pairs utilisés au Conseil des Arts ont évolué, pour devenir la pierre angulaire des décisions du Conseil en matière de subventions. Le Conseil a élaboré des politiques pour régir le rôle des pairs évaluateurs – artistes qui ont une pratique active et autres professionnels du domaine des arts – dans leur évaluation des demandes de subventions et des mises en candidature aux différents prix du Conseil.

L’engagement du Conseil des Arts à l’égard de l’évaluation par les pairs est fondé sur la conviction que :

même si aucun système n’est parfait, l’évaluation par les pairs est la meilleure méthode pour cerner les habiletés exceptionnelles et le mérite artistique dans le domaine des arts;
la liberté de pensée et d’expression est favorisée par un système décisionnel faisant appel à une vaste gamme d’expertises professionnelles;
le recours, chaque année, à un grand nombre de pairs évaluateurs fournit la meilleure garantie de responsabilisation et de transparence dans les décisions du Conseil.

À titre de dépositaire de fonds publics, le Conseil doit utiliser ses ressources le plus judicieusement possible. Grâce au processus d’évaluation, les pairs peuvent attester de l’intégrité, de la crédibilité et de l’équité des procédures du Conseil, et la communauté artistique peut ainsi participer directement au travail du Conseil.

Processus décisionnels du Conseil des Arts du Canada en matière de subventions

Actuellement, le Conseil des Arts reçoit environs 15 000 demandes de subventions ou mises en candidature chaque année, et accorde environ 6 000 subventions et prix. Quelque 750 évaluateurs font partie chaque année de 120 comités ou jurys, qui à leur tour font appel à 900 autres évaluateurs externes.

Différents processus sont utilisés pour en arriver aux décisions en matière de subventions.

Comité d’évaluation par les pairs : Il s’agit de la méthode utilisée pour la plupart des programmes de subventions du Conseil des Arts; un nouveau comité de pairs est habituellement formé pour chaque concours. Les comités d’évaluation par les pairs peuvent être spécialisés dans une discipline ou être multidisciplinaires.

Comité permanent de pairs : Un comité permanent de pairs se réunira régulièrement tout au long de l’année afin d’offrir une certaine continuité dans un domaine spécialisé, comme l’administration ou la recherche. Les pairs sont nommés pour des mandats allant jusqu’à trois ans, et dont les dates d’échéance sont échelonnées dans le temps. Le Conseil utilise ce processus d’évaluation pour le programme La Brigade volante, les Prix Killam et les bourses de recherche Killam, par exemple.

Les comités d’évaluation par les pairs et les comités permanents de pairs permettent qu’une diversité de points de vue vienne éclairer un processus décisionnel collectif. Chaque comité se compose d’au moins trois personnes qui travaillent ensemble pour évaluer les demandes, sélectionner un lauréat ou recommander l’achat d’œuvres d’art. Les décisions sont prises par consensus ou par décision majoritaire. La durée des rencontres des comités dépend du nombre et du type de demandes à évaluer.

Évaluateurs externes : Le Conseil des Arts fait régulièrement appel à des évaluateurs externes pour leur expertise dans un domaine spécialisé, afin de soutenir et de compléter le travail des comités d’évaluation par les pairs ou de fournir directement des conseils au personnel du Conseil des Arts relativement à des demandes de subventions précises ou à des mises en candidature pour un prix. Ils peuvent fournir des évaluations écrites de pièces de théâtre, de productions en danse, de projets de recherche ou de candidatures à un prix, entre autres choses, mais ils ne participent pas aux délibérations des jurys. Ces évaluateurs sont sélectionnés selon le type d’expertise nécessaire.

Évaluation interne : Dans un petit nombre de cas, comme pour les programmes de subventions de voyage et le programme de visites d’artistes étrangers, le Conseil des Arts accorde des subventions en se fondant sur une évaluation interne effectuée par son personnel. Dans le cadre des pratiques du Conseil, ni le personnel ni les membres du conseil d’administration ne sont considérés comme pairs évaluateurs.

Sélection des pairs évaluateurs

Dans le choix des personnes appelées à participer à son processus d’évaluation par les pairs, le Conseil recherche des gens qui ont l’expérience, les connaissances et l’ouverture d’esprit nécessaires pour faire une évaluation juste et compétente du mérite comparatif de chaque demande ou candidature à une subvention ou à un prix. Ces personnes sont respectées au sein de leur communauté artistique ou académique. Leur expérience et compétences sont directement reliées aux critères d’évaluation du programme ou du prix, ainsi qu’aux types de demandes ou de candidatures présentées à chaque concours.

Le choix des pairs évaluateurs est l’une des principales responsabilités du personnel du Conseil des Arts. Pour trouver les pairs évaluateurs qui conviennent le mieux, le personnel consulte la banque de données du Conseil des Arts, de même que les collègues et la communauté en général. Le Conseil des Arts s’est engagé à faire appel à une proportion importante de nouveaux évaluateurs chaque année. Les pairs évaluateurs peuvent être proposés par d’autres artistes, des organismes artistiques, le public, et eux-mêmes.

Le Conseil des Arts veut s’assurer que son système d’évaluation par les pairs soit représentatif d’un large éventail d’expériences et de perspectives. C’est pourquoi il a déterminé une période d’attente pour les pairs participant aux différents comités d’évaluation : la règle générale veut qu’une personne ne puisse faire partie d’un comité d’évaluation plus d’une fois tous les 24 mois. Toutefois, la composition d’un comité peut parfois exiger que des exceptions soient faites pour des évaluateurs qui, par exemple :

ont une expérience professionnelle dans plus d’une discipline;
ont une expertise spécialisée dont a besoin le comité;
offrent une continuité entre deux comités d’évaluation pour des subventions de projet ou de fonctionnement;
font partie d’un comité permanent de pairs;
font partie de comités d’évaluation pour des prix importants comme les Prix littéraires du Gouverneur général, les Prix Molson, etc.

Toute exception à la période d’attente de 24 mois requiert l’approbation du directeur de la division concernée.

Avec les années, le Conseil des Arts du Canada a mis au point certaines pratiques visant à optimiser l’efficacité de son système d’évaluation par les pairs. Par exemple, pour assurer une certaine uniformité et une certaine efficience d’un comité à l’autre,

le même comité peut être chargé d’évaluer les demandes de plus d’une composante d’un programme, ou de programmes connexes;
un ou deux membres d’un jury précédent peuvent être invités à faire partie de comités apparentés subséquents (aux côtés de nouveaux membres);
différents sous-comités peuvent évaluer des groupes distincts de demandes dans les concours où le nombre de demandes est très élevé et lorsqu’il est important de recourir à une expertise précise.

L’évaluation par les pairs au Conseil des Arts : un système équitable et efficace

Pour être équitable et efficace, tout système d’évaluation doit reposer sur des politiques et des procédures cohérentes ayant fait l’objet d’un examen attentif. Cette réalité se vérifie particulièrement dans le cas d’évaluations qualitatives, comme celles utilisées dans le domaine des arts, et qui ne peuvent se réduire à de simples formules. Le Conseil s’est doté d’outils importants pour favoriser la bonne marche du processus d’évaluation par les pairs :

un engagement à utiliser des comités bien équilibrés;
des politiques, directives et documents clairs;
des lignes directrices et des critères d’évaluation précis concernant les prix et les programmes;
des procédures transparentes et uniformes en cas de conflit d’intérêts;
des lignes directrices et des politiques précises concernant la confidentialité des renseignements.

Le Conseil offre une formation continue à son personnel afin de s’assurer qu’il comprend et respecte les procédures et politiques liées à l’évaluation par les pairs au Conseil.

Comités équilibrés

Le recours à des comités équilibrés favorise une meilleure compréhension du mérite artistique dans une multiplicité de contextes. Lorsqu’il sélectionne les membres de ses comités, le Conseil des Arts du Canada s’efforce de former des comités d’évaluation par les pairs qui soient à la fois compétents et représentatifs. Pour ce faire, il cherche à assurer un juste équilibre des facteurs suivants dans la sélection des membres de ces comités :

Pratique artistique – artistes et professionnels des arts de différents styles et différentes conceptions artistiques, capables de placer les discussions dans un contexte esthétique.
Spécialisation professionnelle – artistes et professionnels des arts qui occupent différentes fonctions professionnelles dans le milieu des arts : créateurs, interprètes, administrateurs, metteurs en scène, producteurs, éditeurs, galeristes, conservateurs, critiques, enseignants, etc.
Langue – artistes et professionnels des arts provenant des deux communautés de langues officielles du Canada, de même que des communautés de langues officielles en situation minoritaire comme les anglophones vivant au Québec et les francophones vivant à l’extérieur du Québec.
Diversité culturelle – artistes et professionnels des arts qui sont d’origine africaine, asiatique, latino-américaine, mixte ou moyen-orientale.
Artistes et professionnels des arts autochtones – artistes et professionnels des arts des communautés inuites, métisses et des Premières nations.
Régions – artistes et professionnels des arts de différentes régions géographiques et communautés du Canada.
Sexe – hommes et femmes.
Âge – artistes et professionnels des arts de différentes générations.

Le Conseil reconnaît qu’aucun comité ne peut présenter toutes ces caractéristiques à la fois, mais, à plus long terme, il veille à ce que ses comités satisfassent le plus possible ce principe de représentation équilibrée. Il surveille annuellement la composition de tous ses comités de pairs et présente un rapport au conseil d’administration.

Politiques, directives et documents clairs

Avant chaque évaluation, le Conseil des Arts fournit des renseignements détaillés aux pairs évaluateurs, afin qu’ils puissent bien se préparer à l’importante tâche qui leur a été confiée. Chacun des membres du comité reçoit ce qui suit :

les Lignes directrices destinées aux membres des comités d’évaluation;
les lignes directrices du programme ou du prix concerné, les critères d’évaluation et la documentation pertinente;
toutes les demandes admissibles qui doivent être évaluées (en format numérique ou papier), le cas échéant;
le matériel d’appui accompagnant ces demandes, le cas échéant;
s’il y a lieu, les comptes rendus des évaluateurs externes.

Le document intitulé Lignes directrices destinées aux membres des comités d’évaluation décrit les rôles et les responsabilités des pairs évaluateurs et souligne les processus et politiques du Conseil des Arts qui s’appliquent. Il contient également des lignes directrices, procédures et pratiques claires concernant les conflits d’intérêts et la protection des renseignements confidentiels.

Objectifs des programmes et critères d’évaluation précis

Chaque programme et prix vise des buts particuliers : les critères d’évaluation reposent sur ces objectifs. Les critères sont souvent pondérés, c’est-à-dire qu’ils ont une importance différente dans l’évaluation globale, conformément à ce que précisent les lignes directrices. Les comités d’évaluation doivent évaluer chaque demande ou candidature en fonction des critères d’évaluation et de la description du programme ou du prix, de même qu’en fonction des politiques et orientations du Conseil. Le mérite artistique et l’excellence artistique demeurent l’aspect le plus important de la décision d’accorder une subvention.

Procédures transparentes et uniformes en cas de conflits d’intérêts

Pour tous ses processus d’évaluation, le Conseil des Arts compte sur des procédures claires pour gérer les conflits d’intérêts potentiels de façon éthique. Lorsqu’il choisit des pairs évaluateurs qui sont activement impliqués dans le champs d’expertise des candidats à un prix ou une subvention, le Conseil cherche à identifier leurs liens avec les candidats afin d’éviter les conflits d’intérêt. Avant chaque réunion des comités d’évaluation par les pairs, les membres des comités reçoivent le Formulaire de déclaration de conflit d’intérêts qui définit, selon le Conseil, ce qu’est un conflit d’intérêts réel ou perçu. Les membres des comités doivent remplir ce formulaire et déclarer tout conflit d’intérêts potentiel avant le début des délibérations. Ils doivent remplir ce formulaire même s’ils n’ont rien à déclarer, afin d’indiquer qu’ils ont bien réfléchi à la question. Il en est de même pour les évaluateurs externes et les membres de comités permanents de pairs.

Un conflit d’intérêts existe ou peut exister lorsqu’un pair évaluateur, un évaluateur externe ou un membre de comité permanent de pairs doit évaluer une demande de subvention, une candidature à un prix, une œuvre d’art ou une production artistique :

provenant de son employeur, d’un client ou d’un organisme dont il fait partie du conseil d’administration.
provenant d’un organisme dont il a été le conseiller dans le cadre du programme La Brigade volante du Conseil des Arts;
alors qu’il a des intérêts financiers directement liés au succès ou à l'échec de la demande ou de la nomination;
alors que le ndidat est son conjoint (ou sa conjointe) ou un membre de sa famille immédiate;
alors que son conjoint (ou sa conjointe) ou un membre de sa famille immédiate est cadre supérieur ou siège au conseil d’administration de l’organisme candidat, ou entretient des liens contractuels avec cet organisme;
alors que lui-mme et le candidat ont été impliqués dans des poursuites judiciaires intentées l’un contre l’autre.

De plus, les pairs évaluateurs peuvent juger qu’ils ne sont pas en mesure, pour toute autre raison, d’évaluer une demande, une candidature ou une production artistique de façon objective.

Pour les prix littéraires, en plus des points énumérés plus haut, un conflit d’intérêts existe si l’évaluateur a participé au processus de publication d’un des livres en nomination. Un conflit d’intérêts peut exister pour les prix littéraires si :

l’évaluateur a directement contribué au développement du contenu de l’un des livres en nomination;
l’évaluateur a rédigé un texte promotionnel ou fait la revue de l’un des livres en nomination;
le nom de l’évaluateur apparaît dans la section des remerciements de l’un des livres en nomination, d’une manière qui sous-entend une contribution directe au livre.

Programme Killam. En plus des points énumérés plus haut, le contexte scientifique et de recherche de ce programme exige des lignes directrices particulières. Un conflit d’intérêts existe si les évaluateurs externes, ou les membres d’un comité permanent de pairs,

appartiennent à la même unité de recherche ou au même département universitaire que le candidat;
entretiennent des liens administratifs avec le candidat (p. ex., le chef d’un département, le doyen d’une faculté, etc.);
ont collaboré avec le candidat ou avec un membre de l’équipe de recherche du candidat au cours des cinq dernières années;
ont corédigé une publication avec le candidat au cours des cinq dernières années

Les membres des comités qui ont ou qui pourraient avoir un conflit d’intérêts doivent communiquer immédiatement avec l’agent de programme afin de discuter de la situation. Les situations de conflit d’intérêts sont examinées au cas par cas afin de déterminer si le membre du comité peut faire partie du comité en question ou contribuer à l’évaluation de la demande de subvention.

Dans le cas des prix, le Conseil des Arts n’invite que les évaluateurs qui n’ont, selon l’avis du Conseil, aucun conflit d’intérêts avec les candidats, de sorte que tous les membres du comité puissent être présents pendant toute la rencontre. Le comité permanent du programme Killam fait exception à cette règle; les situations de conflit d’intérêts sont traitées de la même façon que pour les comités des programmes de subventions.

Pour les comités qui accordent des subventions, les pairs évaluateurs qui déclarent un conflit d’intérêts doivent se retirer du processus pendant que la demande qui les concerne est traitée. Les autres membres du comité ne doivent en aucun temps discuter de cette demande avec le pair évaluateur ayant déclaré un conflit d’intérêts. Les membres de comités d’achat de la Banque d’œuvres d’art doivent quitter la pièce ou simplement s’abstenir de voter, selon l’importance du conflit d’intérêt.

Les employés du Conseil des Arts doivent également déclarer tout conflit d’intérêts potentiel relativement à l’une ou l’autre des demandes présentées au Conseil. Ils doivent en informer le chef de leur service et le directeur de leur division, de façon que le Conseil puisse garantir l’intégrité de son processus d’évaluation. Ils doivent se retirer du processus d’évaluation du dossier visé ou de l’ensemble du processus, selon les circonstances.

Le Conseil des Arts reconnaît qu’il existera toujours une possibilité de conflit d’intérêts quand il faut recourir à l’expertise et aux compétences de contemporains pour l’évaluation de propositions qui se font concurrence. Tenter de définir des règles qui élimineraient tout conflit d’intérêts potentiel risquerait de ramener un processus fondé sur la vision, l’expertise et le jugement des pairs, à un exercice bureaucratique. Le défi consiste à reconnaître que le conflit est toujours possible, à l’éviter dans la mesure du possible, et à être prêt à le gérer lorsqu’il survient, pour que le résultat soit dans le meilleur intérêt du public.

À la fin de la réunion, tous les membres du comité d’évaluation doivent signer le formulaire intitulé Comité d’évaluation par les pairs – Formulaire accompagnant la liste finale, afin de confirmer la liste des recommandations finales du comité et les mesures prises concernant les conflits d’intérêts. Ce formulaire contient également une déclaration indiquant que le pair évaluateur consent à se conformer aux dispositions sur la confidentialité des renseignements.

Lignes directrices et pratiques régissant la confidentialité des renseignements

Les pairs évaluateurs doivent traiter les documents qu’ils examinent et le contenu de leurs délibérations comme étant confidentiels. Ils ne doivent pas divulguer les renseignements que renferment les dossiers des candidats. Ils ne doivent pas discuter des noms des candidats, des recommandations, ou de tout autre commentaire fait par les autres pairs évaluateurs durant une réunion. Les pairs évaluateurs sont informés des lignes directrices et des pratiques du Conseil au moment où ils reçoivent l’information relative aux candidats, leurs projets et leurs réalisations. Ils doivent signer un Formulaire de confidentialité et de non-divulgation. À la fin d’une réunion ou d’une évaluation individuelle, les pairs évaluateurs doivent remettre toutes les copies des demandes, sur support papier ou numérique, ainsi que les documents d’appui au président du comité. Ces documents ainsi que tout autre document de travail seront ensuite déchiquetés ou détruits d’une autre manière.

Lorsqu’il divulgue des renseignements, le Conseil des Arts du Canada se conforme aux lois fédérales :

La Loi sur l’accès à l’information établit que les citoyens canadiens, les artistes et les organismes ont le droit de demander l’information conservée dans les dossiers du Conseil. Le dépôt d’une demande ne garantit pas un accès complet à tous les dossiers; certaines exceptions ont été établies afin de protéger les renseignements d’intérêt public ou privé particulier, et constituent l’unique raison pour laquelle une demande d’accès à l’information puisse être refusée.
La Loi sur la protection des renseignements personnels protège les informations de nature personnelle et interdit la divulgation ou l’usage de ces renseignements à des fins autres que celles indiquées au moment où ces renseignements ont été fournis. En général, toute information qui identifie un individu est considérée comme un renseignement personnel. Ces renseignements peuvent être divulgués seulement si l’individu a donné son accord, ou s’il est établi que ceux-ci sont d’intérêt public. La loi confère aux candidats le droit d’accéder à l’information les concernant dans les dossiers du Conseil.

Le Conseil ne divulgue pas les noms des individus dont la demande n’a pas été retenue. Toutefois, il publie la liste des bénéficiaires de subventions et des lauréats des différents prix, et les noms des membres des comités concernés. Ces listes sont affichées chaque année sur le site Internet du Conseil. De plus, des communiqués sont publiés sur de nombreux prix, dans lesquels sont indiqués les noms des lauréats de même que les noms des membres des comités d’évaluation par les pairs ou des comités permanents de pairs.

Processus : durant la réunion d’un comité

Un agent de programme préside habituellement la réunion du comité d’évaluation par les pairs. À l’occasion, le chef d’un service ou le coordonnateur d’un bureau peut jouer ce rôle. À la Banque d’œuvres d’art, le directeur assume cette fonction. Le président commence la réunion en renseignant les évaluateurs sur leurs responsabilités et sur la façon dont se déroulera la réunion; il passe ensuite en revue le mandat et les orientations du Conseil, puis souligne les politiques sur le conflit d’intérêts et la confidentialité des renseignements. Il discute ensuite de l’objectif et du contexte du programme ou du prix, et passe en revue les critères d’évaluation.

Après cette introduction, les membres du comité évaluent chacune des demandes en fonction des critères d’évaluation, de la description du programme ou du prix, et des politiques et orientations du Conseil. S’il y a lieu, les pairs tiennent compte des documents soumis par les évaluateurs externes. Dans certaines formes d’art, le matériel d’appui ne peut pas être reproduit et envoyé aux pairs évaluateurs avant la réunion du comité; en quel cas ce matériel est joué, projeté ou présenté pendant la réunion. Une fois que chacune des demandes a été évaluée, le comité s’entend pour établir un ordre de priorité pour l’attribution des subventions ou pour la sélection des finalistes (le cas échéant) et du lauréat du prix.

De nombreuses pratiques permettent de faciliter le déroulement du processus et l’obtention d’un consensus parmi les membres du comité. En plus de se préparer avant la réunion – en rédigeant notamment des commentaires ou en accordant une note préliminaire à chacune des demandes – les pairs évaluateurs prennent part à un processus participatif dynamique animé par le président du comité. Leurs commentaires et le résumé de leurs délibérations peuvent être consignés de différentes façons. Les notes préliminaires sont fréquemment utilisées pour faire progresser le débat. On peut aussi en venir à des décisions par vote à main levée. Il arrive souvent que les membres du comité examinent les demandes et les candidatures plus d’une fois durant leurs délibérations. Les réflexions des membres du comité doivent s’amalgamer à la fin du processus, lorsque le comité adopte ses recommandations finales. Chaque réunion des comités est unique à cet égard; la priorité du président est de laisser chaque personne exprimer son point de vue et d’encourager le respect, l’équité et l’efficacité au cours du processus collaboratif d’évaluation. Les compétences en animation de réunion sont hautement appréciées chez les employés du Conseil des Arts. Une solide tradition orale prévaut au Conseil, tradition renforcée par un programme de mentorat et des séances de formation structurées.

Le processus d’évaluation se déroule habituellement en présence de tous les membres du comité dans une salle au Conseil des Arts, à la Banque d’œuvres d’art ou par téléconférence. Ces réunions peuvent durer quelques heures, quelques jours ou, à l’occasion, quelques semaines. Pour certains programmes de subventions, il faut évaluer des centaines de demandes au cours d’une seule réunion. C’est pourquoi différentes variantes ont été adoptées afin d’éviter la fatigue, d’accroître l’efficacité du processus d’évaluation et d’assurer un traitement équitable de toutes les candidatures. Entre autres méthodes, les membres du comité peuvent procéder à une notation préalable des demandes avant la réunion. Dans ce cas, ils peuvent recevoir les documents à l’appui des demandes ou visionner ceux-ci sur un site Internet à accès restreint. Ils inscrivent une note préliminaire pour chaque demande sur le site Internet ou sur un formulaire commun. Un ordre de priorité est établi sur la base de ces notes pour être présenté au début de la réunion du comité. Cette méthode permet au comité de diriger la plus grande partie de son attention vers les demandes ayant fait l’objet d’une évaluation favorable au moment des notations préalables.

Pour d’autres programmes où les demandes sont très nombreuses, on divise celles-ci en catégories, ou sous-groupes selon le genre, le type d’activité ou autres caractéristiques partagées. Un comité d’évaluation par les pairs distinct est formé pour chaque catégorie. Chaque comité fait ses propres recommandations et établit la liste des demandes fortement recommandées. Le processus nécessite une juste répartition des ressources du programme (des subventions et des services) et une détermination judicieuse du mérite relatif des demandes au sein de chaque catégorie comme entre celles-ci.

Les pairs évaluateurs doivent protéger le caractère confidentiel des délibérations. Les notes accordées et leurs commentaires sont détruits et le président est la seule personne autorisée à discuter des délibérations du comité. Les commentaires du comité d’évaluation par les pairs ne sont consignés par écrit que pour quelques programmes de subventions de fonctionnement, soit les programmes d’aide annuelle ou pluriannuelle aux organismes, et certain programmes ciblés telles les subventions d’accroissement de la capacité. Dans ces cas, le président consigne par écrit la réponse du comité à chaque demande, en fonction des objectifs du programme et des critères d’évaluation. Ces réponses sont transmises aux candidats en même temps que les recommandations finales à propos des subventions.

Une fois les recommandations finales déterminées, chaque membre du comité doit signer le Formulaire accompagnant la liste finale.

Liste finale des recommandations

Avant chaque concours de subventions, un budget est déterminé pour chaque réunion des comités. Pour de nombreux comités, la liste finale des recommandations contiendra des détails sur les montants des subventions à accorder aux candidats retenus, ainsi qu’une liste des demandes fortement recommandées. Les demandes fortement recommandées sont des demandes que le comité estime grandement, mais qui ne peuvent faire l’objet d’une subvention en raison des limites budgétaires du programme. Les demandes fortement recommandées qui correspondent à un secteur de priorité établi, comme l’équité, peuvent recevoir une subvention par le biais de fonds dédiés. Toutes les demandes fortement recommandées pourront faire l’objet d’une subvention à la fin d’un exercice budgétaire, si des fonds sont disponibles. Le Conseil ne peut appuyer les demandes qui n’ont pas été fortement recommandées.

Le programme de bourses de recherche Killam a recours à une variante de la désignation « fortement recommandée » et utilise plutôt le terme « de rechange ». Si l’un des projets de recherche retenus ne peut être réalisé par le candidat choisi, une bourse sera alors offerte au candidat de rechange ayant obtenu la plus haute cote. Semblablement, à la Banque d’œuvres d’art, on identifie quelques pièces qui pourront être achetées s’il advenait qu’une des œuvres sélectionnées n’était plus disponible.

En raison de la diversité des pratiques relatives à l’évaluation par les pairs, d’autres modèles de liste finale des recommandations peuvent aussi être utilisés. Par exemple, lorsque le Conseil doit s’assurer que le mérite artistique relatif est pris en considération par différents comités d’évaluation participant à un même programme, ou à travers différents concours tenus sur une même période, la détermination finale des montants accordés s’établit une fois que tous les comités ont terminé leurs délibérations et établi leur classement par ordre de priorité, et suite à une revue des budgets disponibles par les chefs des services concernés. C’est pourquoi certaines listes finales de recommandations de comité contiendront parfois des montants de subvention précis, alors que d’autres pourront indiquer des fourchettes de financement, des listes de demandes fortement recommandées, etc.

Évaluation des demandes soumises en français ou en anglais

Des comités unilingues français ou anglais peuvent être formés pour évaluer des prix, programmes ou pratiques pour chacune des langues, par exemple pour les services des lettres et de l’édition, des arts médiatiques et du théâtre.

Les autres comités d’évaluation par les pairs évaluent les demandes reçues dans les deux langues officielles. Le Conseil des Arts veille à la traduction des principaux éléments des demandes et des mises en candidature selon les besoins des comités et la nature du prix ou du programme de subventions. Au cours de la réunion, les évaluateurs sont libres de travailler dans l’une ou l’autre des langues officielles; au besoin, un des employés du Conseil présent à la réunion pourra traduire les commentaires de certains membres. Des services d’interprétation simultanée sont offerts pour les réunions de certains comités.

Rôles et responsabilités des évaluateurs

Les membres des comités d’évaluation par les pairs ou des comités permanents des pairs doivent :

lire et analyser la description du programme ou du prix et les critères d’évaluation, de même que toutes les demandes, les mises en candidature et les documents connexes reçus avant ou durant une réunion d’un comité d’évaluation par les pairs;
se conformer en tout temps aux politiques du Conseil des Arts du Canada (conflit d’intérêts, confidentialité des renseignements, etc.);
fournir un avis spécialisé au Conseil;
évaluer toutes les demandes ou mises en candidature d’un concours en fonction des critères d’évaluation établis ainsi que la description du programme ou du prix, et des politiques et orientations du Conseil des Arts;
établir un ordre de priorité pour l’attribution des subventions ou la sélection des lauréats des prix;
déterminer et approuver la liste finale des recommandations et signer le Formulaire accompagnant la liste finale.

Les membres des comités reçoivent une indemnité pour chaque jour de réunion et pour leur temps de lecture, ainsi que le remboursement d’un montant raisonnable pour leurs frais de transport, d’hébergement et de repas.

Les évaluateurs externes peuvent avoir à fournir les documents suivants :

un rapport écrit sur les événements ou spectacles d’organismes ou de compagnies ayant présenté une demande de subvention ou ayant été mis en candidature pour un prix;
un rapport écrit sur des œuvres littéraires rédigées dans une autre langue que le français ou l’anglais;
des évaluations écrites sur une demande de subvention ou la contribution professionnelle d’un candidat à un prix;
des commentaires sur certaines demandes ou mises en candidature, lorsque leur expertise est requise.

Les évaluateurs externes doivent effectuer leur évaluation en fonction des critères d’évaluation établis et de la description du programme ou du prix, et des politiques et orientations du Conseil des Arts. Les évaluateurs externes en danse et en théâtre doivent remplir le Formulaire de déclaration de conflit d’intérêts. Ils ne peuvent agir comme évaluateur externe pour l’évaluation d’une demande ou d’une mise en candidature pour laquelle ils ont déclaré un conflit d’intérêts. Tous les évaluateurs externes doivent signer une déclaration indiquant qu’ils acceptent de se conformer à la réglementation sur la confidentialité des renseignements.

Les évaluateurs externes reçoivent des honoraires professionnels pour chaque rapport qu’ils préparent, sauf dans le cas du programme Killam, qui s’adresse aux milieux académiques.

Personnel du Conseil des Arts : rôles et responsabilités

L’adjoint de programme assume les responsabilités suivantes :

travailler en étroite collaboration avec les agents de programme afin de préparer les réunions des comités;
organiser la présentation des documents d’appui et fournir son assistance durant les réunions;
se conformer en tout temps aux politiques du Conseil des Arts du Canada (conflit d’intérêts, confidentialité des renseignements, etc.);
apporter son aide aux membres des comités pour ce qui est des arrangements pour les déplacements et l’hébergement;
inscrire les résultats des réunions et préparer les lettres aux candidats ou aux proposants, afin qu’elles puissent être approuvées et signées.

L’agent de programme assume les responsabilités suivantes :

examiner les demandes de subventions, les mises en candidature pour un prix ou les œuvres soumises à un programme d’achat de la Banque d’œuvres d’art, et déterminer leur admissibilité;
se conformer en tout temps aux politiques du Conseil des Arts du Canada (conflit d’intérêts, confidentialité des renseignements, etc.);
proposer les noms des membres des comités, en tenant compte de l’engagement pris par le Conseil d’avoir des comités équilibrés;
présider les réunions des comités. À titre de président des comités, il doit :
- établir les conditions garantissant une évaluation sérieuse, équitable et ouverte de chaque demande ou mise en candidature;
- s’assurer que chaque demande ou mise en candidature est évaluée en fonction des critères d’évaluation établis et de la description du programme ou du prix, et des politiques et orientations du Conseil des Arts;
- aider le groupe à en venir à un consensus final sur un ordre de priorité pour l’attribution des subventions ou la sélection des finalistes (le cas échéant) et des lauréats des prix;
- superviser l’approbation des recommandations finales et s’assurer que tous signent le Formulaire accompagnant la liste finale;
- contribuer à la diffusion des résultats et s’assurer du suivi nécessaire, le cas échéant.

Le chef de service ou le coordonnateur d’un des bureaux doit assumer les responsabilités suivantes :

se conformer en tout temps aux politiques du Conseil des Arts du Canada (conflit d’intérêts, confidentialité des renseignements, etc.)
présider à l’occasion les réunions des comités d’évaluation;
examiner et approuver les listes préparées par les agents de programme concernant la sélection des membres des comités (toute exception à la période d’attente de 24 mois doit être approuvée au préalable par le directeur concerné).

Le président peut avoir à fournir des renseignements factuels ou contextuels durant une réunion. Toutefois, le personnel du Conseil des Arts n’a pas à commenter le mérite artistique d’une demande.

À la Banque d’œuvres d’art, ces rôles et responsabilités sont partagés entre différents employés.

Processus : après la réunion d’un comité

Après la réunion d’un comité, le président du comité doit préparer la documentation interne nécessaire pour obtenir l’approbation des subventions, des prix et des achats d’œuvres d’art. L’approbation des subventions et des prix est régie par la politique de délégation d’autorité, approuvée par le conseil d’administration du Conseil des Arts. Règle générale, les décisions du conseil d’administration et du directeur reposent sur les recommandations des comités d’évaluation et sont considérées comme étant finales.

Communication des résultats : Les candidats sont informés des résultats des concours par écrit. Les candidats qui aimeraient recevoir de plus amples renseignements sur un concours, obtenir des éclaircissements sur la possibilité de présenter à nouveau une demande ou qui ont des questions à propos des décisions en matière de subventions peuvent communiquer avec l’agent de programme. Les pairs évaluateurs ne sont pas autorisés à répondre à de telles demandes. Sauf pour la plupart des programmes d’aide au fonctionnement et quelques programmes ciblés, aucun commentaire écrit n’est fourni sur les demandes.

Observations des membres des comités d’évaluation par les pairs : Les évaluateurs sont encouragés à fournir leurs observations au personnel du Conseil des Arts concernant le concours auquel ils ont participé et la manière d’améliorer le programme et le processus d’évaluation.

Processus d’appel : Si un candidat peut prouver qu’il y a eu vice de procédure durant le processus d’évaluation (par exemple, les documents d’appui ont été mal classés), il peut déposer une plainte officielle, par écrit, au directeur de la Division des disciplines artistiques. Le Conseil des Arts a besoin de 45 jours pour fournir une réponse détaillée à ces requêtes officielles.

Conseil des Arts du Canada
350, rue Albert, C. P. 1047
Ottawa (Ontario) K1P 5V8

Site Internet : www.conseildesarts.ca
Téléphone : 613-566-4414 ou 1 800 263-5588 (sans frais)

septembre 2009