Mesdames et messieurs, je vous remercie pour vos questions très pertinentes.
Madame Doucet, vous me demandez comment j'envisage l'indépendance du Haut Conseil. Je dirai que cette indépendance est d'abord garantie par la loi et qu'elle doit ensuite s'acquérir par la pratique. En ce sens, il me semble indispensable que le HCERES ait à sa tête non pas un président despote mais un président qui travaille avec une équipe. Cette équipe est constituée par le conseil, qui rassemble des représentants de l'ensemble des secteurs concernés par l'évaluation, qu'il s'agisse de représentants des évalués ou de représentants des évaluateurs – vous avez rappelé qu'y siégeaient trois membres d'instances d'évaluation étrangères. Mon souci sera de travailler au plus près avec le conseil : je préfère un conseil qui travaille à un conseil qui entérine. Mieux nous travaillerons ensemble, plus nous serons à même de garantir l'indépendance, reconnue de facto par les forces vives qui composent le conseil.
Comment intégrer les diverses pratiques pédagogiques ? J'ai précisé dans ma présentation liminaire qu'il était indispensable de mener des évaluations en lien avec les établissements, dans le cadre des politiques de site. C'est une dimension très importante. Le Haut Conseil ne doit pas se présenter avec des grilles d'évaluation figées identiques pour tous, au travers desquelles il faudrait faire passer les mêmes grains. Ce serait une approche extrêmement réductrice qui ne permettrait pas de faire évoluer le système dans une vision d'excellence. Et l'excellence n'a en effet pas de définition unique. L'excellence peut recouvrir les pratiques pédagogiques : prenons l'exemple d'un professeur qui, au sein de sa classe, amène tous ses élèves à un niveau très supérieur à celui qu'ils avaient au début de l'année. Elle peut aussi recouvrir les activités de recherche. Gardons-nous de vouloir définir des critères uniques.
Notre objectif est, dans un dialogue constant avec les établissements, d'établir des grilles d'évaluation. Certes, les évalués n'ont pas à décider selon quels critères ils seront évalués mais ils ont à déterminer, en fonction des objectifs scientifiques, techniques voire de vulgarisation qu'ils se sont fixés, les critères qui permettent une évaluation aussi précise et fiable que possible, à même de les faire avancer.
Monsieur Reiss, vous m'interrogez les différences entre l'AERES et le HCERES. La loi fournit des clefs pour les comprendre mais je vous donnerai une réponse de terrain. D'abord, il existe une continuité humaine : les personnels de l'agence font partie du Haut Conseil. On aurait pu penser que certains décideraient de ne pas suivre, cela n'a pas été le cas. Je les félicite et les remercie de leur choix. Il était indispensable, au moment où le Haut Conseil se mettait en place, de pouvoir bénéficier de l'acquis des dix ans d'expérience de l'agence. Cet acquis, quel est-il ? Il s'agit tout d'abord, chose nouvelle dans l'enseignement supérieur et la recherche, de l'auto-évaluation. Peu d'établissements étaient habitués à ces procédures désormais devenues incontournables. Des progrès considérables ont été enregistrés en la matière. Il s'agit ensuite de la mise en oeuvre des standards internationaux et des guidelines élaborés par l'ENQA.
Les différences tiennent d'abord au fait qu'il y a désormais plus de transparence au niveau de la constitution des comités. L'évaluation des enseignements et des formations intègre la participation des étudiants, considérés comme des experts au même titre que les autres membres. Pour l'évaluation des laboratoires, une présence plus large sera également de mise. Ce matin, au Sénat, il m'a été demandé si j'étais favorable à la présence de personnels ingénieurs, administratifs et techniques, ma réponse est oui. Il est indispensable qu'il y ait au sein du comité de visite une personne à même de prendre en compte cette dimension de l'activité.
Autre différence : les rapports d'évaluation. Ils jouent désormais un rôle central. Leur qualité dépend beaucoup de la liberté laissée au comité d'évaluation et de l'engagement de son président. Le fait que le rapport porte sa signature est un plus. Vous le voyez, il s'agit non pas d'une rupture considérable mais davantage d'apports venant compléter des acquis.
La question de la publication du rapport d'évaluation est difficile à trancher. La loi précise qu'une synthèse est publiée. Ma conviction est qu'en ce qui concerne l'évaluation des formations et des établissements, nous pouvons sans grandes difficultés aller vers une publication complète. Pour ce qui est des laboratoires, les choses sont plus compliquées : pour certaines recherches dans des domaines très compétitifs, il faut prendre garde à ce que la publication d'un rapport très détaillé ne conduise à des fuites. Autrement dit, il y a à trouver un équilibre entre la communication la plus large et la préservation des travaux scientifiques. J'ai plutôt tendance à faire confiance aux comités de visite et aux groupes d'évaluation : ils sauront distinguer ce qui appelle une publication restreinte et ce qu'il est possible de publier très largement.
J'en viens à la notation. Une des grandes questions était de savoir s'il fallait ou non la conserver, en particulier pour les laboratoires. À titre personnel, je suis favorable à l'abandon de la notation. Le fonctionnement de l'INRIA, que j'ai dirigé pendant huit ans, est fondé sur une culture de l'évaluation : une évaluation est menée sur une base comparative auprès des équipes de recherche, dites équipes de projet, et sur la base des rapports du comité d'évaluation, il est décidé tous les quatre ans si ces équipes doivent être ou non reconduites, dans une limite de douze ans. Cette pratique, qui ne comprend aucune note, est totalement admise par les chercheurs, qui la réclament même.
Une note peut être très réductrice. Est-il préférable d'avoir 2020 en valorisation et 020 en publication ou bien 1010 dans les deux ? J'aurais tendance à penser qu'il vaut mieux qu'une équipe excelle dans la valorisation de ses travaux de recherche conduisant à des développements économiques, quitte à ce que son niveau de publication soit moindre, pour des raisons diverses, dont la protection de l'information, plutôt que de se situer dans la moyenne en matière de valorisation et de publication.
La notation peut avoir une certaine utilité – elle permet, par exemple, de balayer d'un coup oeil un ensemble des 3 000 laboratoires –, mais pour les personnes évaluées et pour les conseils d'établissement, cette utilité est faible. Un rapport fouillé et signé par le président du comité d'évaluation me semble constituer un progrès par rapport à une notation fondée sur des critères uniques.
Cette forme d'évaluation est maintenant intégrée dans les pratiques du HCERES. Et à l'issue de chaque campagne d'évaluation, qu'elle concerne les formations, les laboratoires ou les organismes, un questionnaire est envoyé aux responsables des entités évaluées. En 2014, 75 % des responsables d'université ont répondu à ces questionnaires et 90 % se sont déclarés satisfaits ou très satisfaits de l'évaluation ; pour les laboratoires, le taux de réponse est un peu plus élevé et le degré de satisfaction est de l'ordre de 80 %, alors que nous sommes partis de 30 %. Cela démontre qu'il y a eu une évolution, une évolution qui s'est faite dans la continuité.
L'évaluation, en particulier l'auto-évaluation, est désormais entrée dans les moeurs, notamment dans des secteurs qui n'en avaient pas l'habitude.
Quant au coût du passage de l'AERES au HCERES – vous remarquerez que je ne parle pas de rupture –, il a été raisonnable, les principales dépenses étant liées au changement de plaque et de site web. Les personnels de l'agence ont adhéré au Haut Conseil. Nous n'avons pas eu à reconstituer un organisme.
Madame Attard, vous évoquez la méta-évaluation. Mon sentiment est qu'il serait souhaitable dans le futur que le Haut Conseil devienne une instance de méta-évaluation. Cela implique que chaque établissement, chaque groupement soit capable de piloter l'évaluation de ses composantes. L'auto-évaluation à l'INRIA a toujours été accompagnée par l'évaluation d'un comité de visite externe, renouvelé fréquemment Ce changement en profondeur ne peut toutefois pas s'accomplir en en un jour. Il ne faut pas trop charger la barque, surtout pour les établissements d'enseignement supérieur et de recherche moins habitués à ces pratiques. Mon objectif, pendant les quatre années que durera mon mandat, sera d'aller dans cette voie mais d'y aller au rythme de l'évolution des établissements concernés, en les accompagnant.
Vous m'interrogez encore sur la prise en compte des nouvelles missions définies dans la loi ESR. On ne peut demander à chaque composante du système de l'enseignement supérieur et de recherche de les remplir toutes. Il importe de dialoguer avec les autorités des sites pour avoir leur vision : comment vont-elles prendre en compte ces missions, en particulier les missions de valorisation et de vulgarisation ? Comment vont-elles intégrer les retours des associations qui représentent la société ? Le Haut Conseil fait de la prise en compte de ces missions un critère d'évaluation mais un critère à pondérer selon les orientations des établissements. Certains peuvent être amenés à mettre davantage en avant certaines missions que d'autres. Pensons à l'Institut national de recherche agronomique : certaines de ses activités de recherche sont en lien très fort avec la société.
J'en viens maintenant à la question de la publication. Vous savez à quel point l'INRIA soutient le projet HAL, initié par le CNRS. Lorsque j'ai pris la présidence de l'institut en 2006, 10 % de ses publications étaient disponibles sur HAL. J'avais fixé l'objectif de 100 %, objectif impossible à atteindre, me direz-vous. Eh bien, je l'ai atteint : 100 % de nos publications étaient disponibles sur HAL en 2014 mais grâce à un petit artifice, je le reconnais, puisque j'ai déclaré que toutes les publications qui n'étaient pas sur HAL ne pouvaient être considérées comme des publications de l'INRIA – cela recouvrait en fait 10 %, avec des problèmes de copyright auprès d'éditeurs scientifiques.
Il me semble qu'il faut placer cette question dans une perspective historique. L'émergence de journaux académiques a constitué un progrès considérable dans l'évolution de la science. Reportons-nous à il y a un siècle. À une période où ni la photocopieuse ni internet n'existaient, il était capital de pouvoir accéder aux publications des chercheurs, notamment dans des bibliothèques. Le numérique, la mondialisation des activités de recherche sont en train de faire basculer ce modèle. Je suis tout à fait favorable à ce que les articles scientifiques issus de recherches financées par de l'argent public soient publiés en format ouvert. Je pense même qu'il faut aller plus loin et rendre accessibles non seulement les publications mais aussi les données sur lesquelles elles reposent ainsi que les logiciels ou les protocoles expérimentaux. On devrait pouvoir reproduire l'expérience qui a conduit aux résultats exposés dans l'article. Cela permettrait de lutter contre certaines pratiques qui, soyons clairs, sont extrêmement minoritaires.
Cela dit, nous n'allons pas passer d'un système à un autre d'un claquement de doigt. Ce que les informaticiens ont pu faire en dix ans, car leur discipline est jeune et en constante évolution, nécessitera plus de temps pour d'autres disciplines. Il faut respecter les rythmes propres à chacune.
En revanche, je ne suis pas du tout favorable à ce que l'on exclue les publications du processus d'évaluation. Toutefois l'évaluation par les pairs doit absolument éviter de n'avoir recours qu'à des critères quantitatifs. De manière générale, ne sont plus demandées toutes les publications mais seulement une sélection. Les comités d'évaluation de l'INRIA demandent ainsi les cinq meilleures publications d'un chercheur au cours des quatre dernières années. La recommandation que je fais aux experts – et que nous reprendrons au sein du HCERES – est de lire les articles au lieu de simplement prendre en compte les revues dans lesquelles ils ont été publiés. Il faut qu'ils puissent se faire un avis.
Toutefois, ce qui est vrai au niveau d'un chercheur ne l'est pas obligatoirement au niveau d'un établissement ou d'un site. Prenons l'exemple de Toulouse, Grenoble ou Lyon, entités de grande taille : pour évaluer leur production scientifique, la prise en compte de critères quantitatifs a tout son sens.
Monsieur Premat, j'en viens à vos questions. Je pense qu'il n'y a pas de rupture : les établissements sont en train de s'approprier la culture de l'évaluation et il faut les y aider. Avant chaque vague d'évaluation, des sessions de formation sont organisées pour préparer les responsables à définir des critères, à établir des grilles d'évaluation et à rédiger un rapport d'auto-évaluation.
S'agissant de l'ANR, vous savez que le Haut Conseil doit l'évaluer – j'ai d'ailleurs déjà rencontré le président de l'agence, M. Matlosz. C'est un sujet difficile que celui du poids des disciplines : faut-il favoriser les sciences de l'univers, les mathématiques pures, la biologie quantitative, que sais-je encore ? Mais il n'appartient pas au Haut Conseil de juger si telle ou telle communauté a été ou non avantagée – je vois que certaines oeuvrent pour être soutenues par des personnalités éminentes ! Nous devons plutôt évaluer les procédures suivies par l'ANR, car ce sont d'elles dont dépend l'application des principes d'impartialité, de transparence et d'indépendance.
Évitons le débat franco-français. Le budget de l'ANR, institution importante dans le dispositif national, ne représente que 500 millions d'euros ; celui du septième programme-cadre de recherche et de développement (PCRD) de la Commission européenne s'est élevé à 55 milliards d'euros sur sept ans. Il faut vraiment que les équipes de recherche françaises soumettent plus de projets à l'Europe. Si le Haut Conseil pouvait les aider en ce sens, ce serait une avancée très importante.
Cela me permet d'établir un lien avec la question de M. Rogemont sur la recherche fondamentale. En France, elle est de très haut niveau : le nombre de prix Nobel, de médailles Fields et de prix Turing qu'elle a engrangés est bien supérieur au poids de son PIB à l'échelle mondiale. Il faut continuer à la développer. Cela dit, le fait que la recherche soit financée par des subventions ou des contrats ne va pas forcément à l'encontre de cet objectif. Un organisme comme l'ERC – European Research Council – finance des recherches fondamentales à travers des bourses individuelles d'un montant d'1,5 million à 2,5 millions d'euros sur quatre ou cinq ans. Dans certaines disciplines, la France est extrêmement bien représentée mais, globalement, elle ne soumet pas assez de propositions. Le Haut Conseil prendra en compte dans ses évaluations des critères de nature en encourager les candidatures à des financements européens.
J'en viens aux faiblesses de l'AERES, question un peu difficile. Certaines ont été soulignées dans le cadre de la loi, je pense en particulier aux questions liées à la transparence et à la pluralité des critères. Nous progressons mais il reste des sujets sur lesquels travailler. L'AERES procédait selon une approche ascendante, dite bottom-up : évaluation des enseignements, des laboratoires de recherches, puis évaluation des établissements, puis éventuellement évaluation des coordinations d'établissements. Cela impliquait, en caricaturant – et j'espère que les directeurs de l'agence ne m'en tiendront pas rigueur – que trois départements travaillaient de manière indépendante : celui qui évaluait les enseignements, celui qui évaluait la recherche, celui qui évaluait les établissements. Il faut aller vers une approche beaucoup plus coordonnée et descendante, qui partirait du site en prenant en compte ses grandes orientations stratégiques, la réalisation de ses objectifs à quatre ou cinq ans, la façon dont il a mis en oeuvre ses politiques. Une telle organisation du travail permettrait de faire progresser globalement le système.
Vous me posez, madame Olivier, l'importante question de la diffusion de la culture scientifique et technique. Nous allons progresser. Les chercheurs sont conscients de leurs responsabilités en ce domaine mais, comme je l'ai dit, les avancées s'accompliront principalement à partir du développement de politiques de vulgarisation menées par les sites et les établissements.
La lutte contre les discriminations et les stéréotypes sexués est une autre importante question. L'heure tourne et je me limiterai ici à la parité. Nous ne pourrons pas changer les pesanteurs liées à des décennies ou des siècles d'histoire d'un seul coup. Le Haut Conseil sera totalement paritaire et nous demandons que chaque comité mis en place comprenne au moins 30 % de membres de chaque sexe. Je me refuse en effet à appliquer une parité stricte. Prenons le cas de ma discipline, l'informatique : elle compte moins de 20 % de femmes, à tous les niveaux. Les brillantes jeunes filles titulaires d'un bac S ont tendance à se diriger vers des études de médecine plutôt que vers l'informatique. C'est un fait. Sur dix ans, nous avons pu mesurer que moins de 18 % de femmes se présentaient au concours de l'INRIA, et beaucoup étaient étrangères. Il faut absolument lutter contre ces phénomènes, je m'y engage solennellement. Nous ferons du respect de la parité un critère d'évaluation.
Et, bien entendu, il est inconcevable pour moi que dans les universités, les écoles, les établissements d'enseignement supérieur, les laboratoires de la République, s'exerce une quelconque forme de discrimination. Si le moindre acte discriminatoire était avéré, il serait souligné d'un trait rouge dans nos rapports. Et ce trait rouge, je le tracerai moi-même s'il le faut !
Le Haut Conseil ne va pas à lui tout seul révolutionner le monde de l'enseignement supérieur et de la recherche mais contribuera, à sa modeste place, à le faire progresser vers des pratiques – des guidelines et des standards, comme on dit en franglais de Bruxelles – reconnues internationalement. Peut-être même parviendra-t-il à faire évoluer ces standards eux-mêmes.