Nous avons l'honneur aujourd'hui de recevoir en audition monsieur Didier Houssin, qui va nous présenter le rapport d'activité du Haut Conseil de l'Évaluation de la Recherche et de l'Enseignement Supérieur (HCERES), nouveau Haut Conseil dont il est le président. Je rappelle que la loi du 22 juillet 2013 relative à l'enseignement supérieur et à la recherche ainsi que le décret du 16 novembre 2014 relatif au HCERES ont substitué ce Haut Conseil à l'AERES (Agence d'Évaluation de la Recherche et de l'Enseignement Supérieur).

L'Office avait entendu M. Didier Houssin en tant que président de cette ancienne structure au mois de novembre 2012. Il avait alors été jugé opportun que l'autorité administrative indépendante soit auditionnée annuellement par le Parlement.

Le rapport d'activité en date du 17 décembre 2014 décrit trois campagnes d'évaluation menées en parallèle sur les formations, les entités de recherche et les établissements.

Monsieur le président du Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur, que faut-il retenir de ce rapport sur l'activité de l'AERES au cours de cette année 2014 qui a été une année de transition ?

Merci monsieur le premier vice-président ; messieurs les sénateurs, mesdames et messieurs, vous avez souhaité m'entendre suite à l'envoi du rapport 2014 d'activité de l'AERES qui sera le dernier rapport d'activité de l'AERES. Je vais rappeler très brièvement les missions du Haut Conseil que je préside actuellement, puis revenir sur les activités de 2014, mais j'essaierai surtout de développer un certain nombre de réflexions suite au remplacement de l'AERES par le Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur.

Je rappelle que l'Agence d'évaluation de la recherche et de l'enseignement supérieur avait pour mission d'évaluer l'ensemble des établissements d'enseignement supérieur et de recherche, donc les universités, les grandes écoles et les organismes de recherche en France, mais aussi l'ensemble des activités de recherche c'est-à-dire les unités de recherche (il y en a à peu près trois mille en France), et puis l'ensemble des programmes d'enseignement supérieur : licences, licences professionnelles, masters, doctorats ; il y en a plusieurs milliers en France. Enfin, l'Agence menait également des actions à l'étranger.

Cette action d'évaluation est menée en coordination étroite avec le ministère puisque, derrière le travail d'évaluation que nous faisons, un contrat est établi entre le ministère et les universités, les écoles ou les organismes. Ces missions s'organisent par vagues : une fois tous les cinq ans, on procède à l'évaluation. Le découpage se fait par région.

La loi de juillet 2013 a remplacé l'AERES par un Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur. Je voudrais préciser que le statut est le même. C'est une autorité administrative indépendante. Le périmètre des missions est à peu près le même : il s'agit là encore d'évaluer les établissements d'enseignement supérieur, les organismes de recherche, les activités de recherche des unités et les programmes de formation.

Sans revenir sur le détail des activités de 2014, que vous avez pu lire dans le rapport d'activité, je rappellerai simplement qu'au cours de l'année 2014 l'AERES a adapté ses processus d'évaluation afin de tenir compte de la nouvelle loi, et aussi en anticipation de dispositions réglementaires que nous a annoncées le ministère. En 2014, elle a donc procédé à l'évaluation de tous les établissements de la vague E, c'est-à-dire 64 établissements, dont le Commissariat à l'énergie atomique, 586 unités de recherche, et plus d'un millier de programmes de formation, et elle a préparé la transition vers le Haut Conseil ; celle-ci s'est effectuée en douceur.

Comme vous l'avez souhaité, je vais plutôt faire le point sur la situation actuelle du Haut Conseil au regard des analyses qui avaient été formulées à propos de l'AERES avant l'adoption de la loi de 2013 et notamment lors de l'audition que vous m'aviez accordée le 21 novembre 2012, il y a un peu plus de deux ans. Je ferai également quelques réflexions au terme de quatre ans d'activité de l'AERES, puisqu'il s'agit de son dernier rapport.

D'abord, concernant les leçons qui ont pu être tirées à la suite des critiques qui avaient été formulées vis-à-vis de l'AERES, principalement concernant l'évaluation des unités de recherche, je vous avais indiqué, lors de mon audition en 2012, les réponses que l'AERES avait déjà apportées ou pouvait apporter à ces critiques, et celles qu'elle ne pensait pas souhaitable d'apporter.

La première critique concernait la lourdeur du dossier. Cette critique était justifiée et une réponse a été apportée dès le début de 2012 ; nous n'entendons plus cette critique. Il est vrai que nous avons considérablement simplifié le dossier d'évaluation.

Du point de vue de la transparence, il avait été souhaité – et c'était également justifié – que la signature du président du comité d'évaluation figure sur les rapports. Aujourd'hui, sur les rapports d'évaluation, il y a la signature du président du comité qui est garant du contenu de l'évaluation, en plus de ma signature, en tant que président du HCERES, garant de la méthode et du respect des principes qui gouvernent l'évaluation.

La troisième critique qui était faite tenait à l'articulation entre l'évaluation des unités de recherche et l'évaluation individuelle des chercheurs. À la fin de l'année 2012, les instances nationales (CoNRS, CNU) ne souhaitaient plus communiquer avec l'AERES. Il me semble que le dialogue est susceptible d'être renoué ; je reçois en particulier la semaine prochaine le syndicat CGT des personnels venant en appui de la recherche sur la question du rôle des ingénieurs techniciens administratifs dans le cadre de l'évaluation.

L'évaluation des projets des unités de recherche était également l'objet de critiques. Le référentiel mis en place en 2012 a apporté une réponse, et cette partie de l'évaluation semble poser moins de problèmes aujourd'hui.

Enfin, une demande importante avait été formulée : le souhait que l'AERES n'évalue plus directement, mais valide des procédures d'évaluation conduites par d'autres instances. Cela nous apparaissait compliqué, mais nous n'étions pas contre ; la loi a confirmé et installé nettement cette disposition. Je voudrais simplement signaler que, depuis la mise en place de la loi il y a dix-huit mois, cette demande de recours à une procédure de validation d'une évaluation conduite par d'autres instances n'a été faite par aucune entité. Il n'est pas impossible que cette demande soit formulée à l'avenir, mais cela n'a pas encore été fait.

Le dernier point, qui était épineux, était la question des élus. Un certain nombre de syndicats demandaient que les experts puissent être désignés sur la base de l'élection sur liste syndicale. L'AERES était opposée à cette idée essentiellement en raison du risque concernant la reconnaissance européenne qui fonde la désignation des experts sur la compétence et non pas sur une élection. Heureusement, dans le décret, le Gouvernement a retenu que le Haut Conseil désignait les experts en priorité sur des critères de compétence.

Je voudrais maintenant vous proposer quatre réflexions sur l'évaluation qui sont le fruit de l'expérience de l'évaluation de la recherche et de l'enseignement supérieur depuis quatre ans.

La première, c'est que l'évaluation conduite par l'AERES, puis par le Haut Conseil, est un facteur de progrès de la qualité de l'enseignement supérieur et de la recherche. C'est difficile à objectiver par des données chiffrées, puisque nous sommes dans des démarches essentiellement qualitatives, mais le constat est patent que l'évaluation mise en oeuvre par l'AERES, puis le Haut Conseil, a permis le développement de la culture de l'évaluation au sein des établissements d'enseignement supérieur et de recherche et des progrès dans leur autonomie. La qualité des rapports d'auto-évaluation s'est beaucoup améliorée, celle des rapports d'évaluation externes aussi. Les jugements portés par les responsables d'entités évaluées sur la qualité et les apports des évaluations sont beaucoup plus souvent favorables qu'ils ne l'étaient il y a trois ou quatre ans.

Au-delà du développement de la culture de l'évaluation au sein des établissements, de l'éclairage qu'elle fournit aux décideurs et de l'information qu'elle apporte au public, l'évaluation par l'AERES, puis le Haut Conseil, a eu un effet de levier pour favoriser le rapprochement, voulu par la loi, des établissements, développer leur autonomie, et réduire la parcellisation des formations et des activités de recherche. L'évaluation est utile pour améliorer la qualité du système d'enseignement supérieur et de recherche et pour le faire évoluer, même si c'est difficile à objectiver de façon quantifiée.

La deuxième remarque importante, c'est que l'évaluation semble aujourd'hui mieux acceptée par la communauté scientifique. L'accueil fait aujourd'hui au Haut Conseil par les équipes sur le terrain en est le témoin. On le voit aussi dans les attentes exprimées vis-à-vis du Haut Conseil lors des réunions de lancement que nous venons de tenir pour la vague B, début 2015, en Normandie, en Auvergne, en Bourgogne, en Franche-Comté, en Bretagne et en Pays de Loire. Est-ce que c'est parce que les conséquences de l'évaluation paraissent moins directes, du fait de l'abandon de la notation et du passage à l'accréditation pour les formations ? Je ne le crois pas, même s'il faut bien sûr envisager cette hypothèse.

Le remplacement de l'AERES par le Haut Conseil n'était sans doute pas indispensable pour que ces améliorations soient apportées au processus d'évaluation, mais il semble bien que le sacrifice d'un bouc émissaire ait eu des vertus. Des voix s'étaient élevées pour condamner l'évaluation comme impossible (certains psychanalystes), comme un avatar insupportable du néolibéralisme, comme un crime de lèse-majesté vis-à-vis du CNRS ou de l'INSERM, ou encore comme une entrave au pouvoir syndical ; il me semble que depuis quelques mois, ces voix se sont affaiblies. Peut-être est-ce de la compassion (« on ne tire pas sur une ambulance »), ou peut-être ces voix attendent-elles que la transition vers le Haut Conseil soit complète pour s'exprimer à nouveau.

En tout cas, un point qui me paraît important est que l'impartialité des évaluations est reconnue, ce qui est le seul intérêt véritable du statut d'autorité administrative indépendante ; le Parlement a eu la sagesse de préserver ce statut pour le Haut Conseil.

Une autre hypothèse qu'il faut malgré tout envisager est que cette meilleure acceptation apparente soit en réalité liée à une usure de l'évaluation, devenue moins tranchante après huit ans.

Ma troisième réflexion, qui découle de cette hypothèse, est que l'évaluation doit rester en constante évolution, non pas dans ses principes éthiques mais dans sa méthode et dans ses objets. Cette évolution est nécessaire pour éviter les phénomènes d'adaptation qui sont très rapides, et pour mieux répondre à l'évolution des attentes et à la diversification des activités d'enseignement supérieur et de recherche. Elle doit cependant se faire sans céder sur la nécessaire égalité de traitement entre les entités évaluées et en étant conscient que certains acteurs de l'enseignement supérieur et de la recherche cherchent en permanence, consciemment ou non, à prendre la main sur le processus d'évaluation – si vous êtes intéressés, je pourrais vous donner quelques exemples.

L'évolution des méthodes sera facilitée par l'intégration de l'Observatoire des sciences et techniques au sein du Haut Conseil. Cette décision, prise par décret, permettra de mieux éclairer le jugement des experts en mettant à leur disposition des données quantitatives. Elle facilitera également le parangonnage que certains établissements souhaitent dès à présent : nous avons été interrogés récemment par deux universités qui demandent qu'on les aide à se comparer avec d'autres universités européennes. Cela permettra aussi de renforcer la production de données à partir des rapports d'évaluation. Il faudra cependant être attentif aux craintes des responsables d'entités évaluées : l'évaluation qualitative et collégiale par les pairs, oui, le tout-bibliométrie, non !

L'abandon de la notation est récent. Il a des avantages et des inconvénients. Il faudra sûrement, dans un an ou deux, tirer les leçons de cet abandon afin de vérifier que les inconvénients ne l'emportent pas largement sur les avantages.

L'évaluation doit aussi évoluer dans ses objets ; en particulier, les regroupements s'opérant au niveau territorial invitent à ce que l'évaluation des politiques de site s'accompagne d'une approche à grain plus large de l'évaluation des formations et des entités de recherche au niveau d'un site. Des signes encourageants apparaissent sous cet angle, le décloisonnement est en cours, et nous voyons d'un oeil extrêmement favorable les efforts de regroupement qui se font au niveau des formations mais aussi des activités de recherche sur les différents sites avec lesquels nous sommes en contact en vue de l'évaluation.

Le quatrième point que je voudrais évoquer, c'est la question du modèle économique de l'évaluation : il est à clarifier. Avec un budget en légère baisse venant du ministère de l'enseignement supérieur et de la recherche (MESR), le Haut Conseil est en difficulté car le nombre d'entités à évaluer augmente sans cesse, et pourrait encore augmenter si l'on répondait aux sollicitations venant du secteur privé. Cette difficulté s'est récemment aggravée : en effet, la demande récente, formulée par les universités, de remboursement à un niveau beaucoup plus élevé pour les enseignants-chercheurs mis à disposition dans des fonctions de délégué scientifique au sein du Haut Conseil est préoccupante pour la capacité d'action du Haut Conseil à court terme.

Pour autant, il ne semble souhaitable, ni que l'évaluation devienne payante pour les entités évaluées (car cela risque de créer des situations de conflits d'intérêts difficiles à gérer), ni de revenir à des évaluations sur dossier seulement. La contribution d'autres ministères serait légitime car le Haut Conseil a un rôle de plus en plus interministériel, mais le point clef est que les compensations pour la mise à disposition d'enseignants-chercheurs ou de chercheurs restent raisonnables, c'est-à-dire en cohérence avec le budget alloué au Haut Conseil. Nous avons eu des contacts récents avec la CPU, et j'espère que nous aurons une réponse compréhensive de ce point de vue.

Avant de conclure, je voudrais souligner deux points d'attention qui se dégagent de mon expérience après quatre années passées à la tête de cette institution. En effet, au-delà de sa seule fonction – et ce n'est pas à l'OPECST que je vais le dire – l'évaluation offre un point de vue d'observation à la fois large et d'une grande proximité sur l'ensemble de l'enseignement supérieur et de la recherche en France.

Le premier point d'attention porte sur les personnels. Plusieurs années d'observation de la qualité des activités de formation et de recherche mènent aux interrogations suivantes : alors qu'il faut simplifier et décloisonner, que la qualité du lien formation-recherche apparaît essentielle, a-t-on besoin pendant encore longtemps en France d'un corps d'enseignants-chercheurs et d'un corps de chercheurs ? Ne pourrait-on se satisfaire d'un seul corps d'enseignants-chercheurs, ces enseignants-chercheurs pouvant évoluer au cours de leur vie professionnelle entre les fonctions de formation, de recherche, d'expertise, d'administration, de valorisation et de diffusion des connaissances ? Cette évolution s'appuierait alors utilement sur les vertus d'une évaluation individuelle de qualité. En effet, si l'évaluation des structures est un facteur de progrès, ne devrait-il pas en être de même pour l'évaluation des personnels ?

Lors de l'enquête que l'AERES avait faite en 2011 sur les procédures d'évaluation des chercheurs et des enseignants-chercheurs mises en oeuvre en France, travail qu'elle avait dû ensuite abandonner en raison des difficultés rencontrées, quelques rares institutions avaient répondu. Très rares étaient celles qui semblaient avoir des procédures d'évaluation individuelle de qualité, en termes d'objectifs, de rapport avec les missions, de critères, de déontologie et de transparence – je citerai l'INRA, l'IRSTEA.

Le second point d'attention porte sur l'organisation de notre système d'enseignement supérieur et de recherche. Une belle dynamique de rassemblement est en cours au niveau territorial entre universités, ainsi qu'entre universités et écoles. Elle est la réaction positive au choc de Shanghai de 2003, ce regard venu de loin sur la France qui, comme celui de Micromégas venu de Sirius sur les humains, avait jugé bien peu visibles les universités et écoles françaises.

L'évaluation des organismes de recherche spécialisés révèle aussi leur dynamisme (CEA, INRA, INRIA, etc.), leur portage d'enjeux sociéto-économiques, et une distinction de plus en plus fine entre leurs activités de recherche souvent finalisée, d'expertise en appui des décisions publiques et d'innovation en interaction souvent très forte avec le secteur économique.

En revanche, comment ne pas être perplexe vis-à-vis des deux grands organismes nationaux généralistes, le CNRS et l'INSERM ? Sur près de trois mille unités de recherche en France, environ quinze cents relèvent d'universités ou d'écoles et quinze cents sont mixtes, c'est-à-dire relèvent à la fois d'une université ou d'une école et d'un organisme de recherche souvent généraliste. Un tiers des unités mixtes ont plus de deux tutelles. Alors que la recherche se centre de plus en plus sur les établissements d'enseignement supérieur, ou s'agissant de la santé sur la base hospitalo-universitaire, et qu'il faut encore renforcer l'autonomie des établissements d'enseignement supérieur et de recherche, combien de temps devra-t-on encore en France nourrir le complexe dispositif de mixité des unités de recherche ? Ne serait-il pas temps de préparer une reconfiguration de nos deux grands organismes de recherche généralistes compte tenu des progrès en cours au niveau territorial ? Le particularisme compliqué propre à la France est-il longtemps soutenable ?

Pour conclure, je terminerai sur une note européenne positive. Dans le rapport d'activité 2014 de l'AERES que vous avez reçu, la question restait ouverte : le Haut Conseil allait-il être reconnu au niveau européen ? La réponse nous est parvenue il y a quelques jours : l'association européenne pour l'assurance qualité dans l'enseignement supérieur et la recherche (European Association for Quality Assurance in Higher Education - ENQA) et, surtout, le registre des agences d'assurance qualité attaché à la Commission (European Quality Assurance Register for Higher Education - EQAR) ont tous deux décidé de transférer au Haut Conseil la reconnaissance européenne que l'AERES avait acquise de haute lutte après évaluation en 2011. L'HCERES pourra donc, dès l'installation de son conseil dans quelques semaines, s'atteler à la préparation de son évaluation qui aura lieu en 2016.

Cette reconnaissance est capitale pour l'image de qualité de l'enseignement supérieur et la recherche français sur le plan européen et international ; elle a conduit en particulier à ce que l'AERES soit sollicitée de façon croissante pour évaluer des formations, des établissements d'enseignement supérieur à l'étranger et même une politique nationale de recherche, celle de l'Arabie Saoudite, dans le cadre d'un appel d'offre international ; ainsi que pour accompagner la création d'agences d'évaluation dans d'autres pays.

Le champ des missions d'évaluation retenu en France est essentiel ; sa largeur fait qu'il est pleinement dans l'esprit de l'université moderne qui a été inventée en Europe ; il met sous la même égide l'évaluation de la qualité de l'enseignement supérieur et celle de la recherche. Si l'on croit à l'importance du lien formation-recherche, cette largeur de champ offre un avantage compétitif à notre pays en termes d'évaluation de la qualité dans le champ de l'enseignement supérieur et de la recherche. Cela a d'ailleurs été imité récemment en Italie avec la création de l'agence italienne d'évaluation ANVUR avec laquelle le Haut Conseil a signé à l'Élysée, il y a quelques jours, un accord de coopération.

Merci, monsieur le président. Nous venons d'accueillir des collègues, dont monsieur Berson qui s'est chargé de suivre ce dossier ; ils poseront bien entendu des questions. Je voudrais vous en poser trois, en ce qui me concerne.

Premièrement, pourriez-vous nous rappeler la différence entre l'Agence de l'époque et le Haut Conseil maintenant : qu'est-ce qui a changé, finalement ?

Deuxièmement, vous avez abordé la question du budget. Quel est votre budget, et avez-vous les moyens de votre mission ? On pourrait poser la question autrement : votre mission, est-ce qu'elle rapporte de l'argent ? Est-ce que ça ne coûte pas plus cher de contrôler et d'évaluer la recherche plutôt que de ne pas le faire, et faire confiance aux personnes des grandes institutions tels le CNRS, l'INSERM et bien d'autres ?

Troisièmement, quelle est la différence entre la recherche et l'enseignement supérieur en France avec ce qui se passe ailleurs ? Il faut toujours faire du benchmarking en Europe et aux États-Unis ; est-ce qu'on peut s'inspirer de ce qui se passe ailleurs pour mieux organiser la recherche en France et qu'elle soit plus productive, en termes de résultats (qui se traduiraient en nombre de prix Nobel, par exemple) ?

Merci, monsieur le premier vice-président. Tout d'abord, quelle différence entre l'AERES et l'HCERES ?

Il y a des similarités que j'ai soulignées : c'est le même statut d'autorité administrative indépendante, à peu près le même périmètre de missions, avec toutefois deux changements importants qui sont liés directement à ce que la loi a prévu par ailleurs.

Il s'agit premièrement de la nécessité d'évaluer non seulement les établissements (universités, écoles) mais aussi leurs regroupements issus de ce qu'on appelle aujourd'hui la politique de site. Il faut savoir qu'aujourd'hui les situations sont très mouvantes et très différentes d'une région à l'autre : des universités fusionnent ou s'associent dans le cadre des Communautés d'universités et d'établissements (COMUE), ces communautés créées par la loi. Notre travail aujourd'hui est de nous adapter aux situations que l'on rencontre dans chaque région pour essayer d'apporter le meilleur service et d'accompagner le mieux possible ces regroupements qui sont confrontés à des défis importants, en termes de gouvernance, de politique de recherche, de politique de formation, de politique de partenariat. C'est à mon avis un changement important ; il n'est pas lié au Haut Conseil lui-même, mais aux évolutions que la loi a prévues par ailleurs.

Le deuxième changement important est la décision que le cadre d'évaluation des formations ne conduise plus à une habilitation par le ministère formation par formation, mais à l'accréditation : le ministère accrédite telle université pour tel et tel type de formation, en termes de niveau (licence, master) mais aussi en termes de thématique ou de nature d'activité. Notre travail d'évaluation qui précède ce processus d'accréditation essaye de se fonder sur cette évolution. Tout en évaluant les formations à un grain plus large, les champs de formation, à un niveau qui relève de la stratégie de formation, il faut toutefois maintenir le regard évaluatif à un échelon très fin, puisque c'est là qu'on est le plus près possible des étudiants. L'enjeu des années à venir est d'organiser le regard évaluatif à ces deux niveaux.

En termes de formation, quels regroupements sont en train de s'organiser, sont-ils faits par thème ou discipline ? Pour donner un exemple, l'université de Chambéry est en train de réfléchir à l'organisation de son offre de formation autour du thème « montagne ». Notre rôle doit être d'évaluer les formations dans cet esprit.

Sur la question du budget : notre budget a un petit peu baissé, mais nous avons les moyens de conduire notre activité. La difficulté que j'ai pointée est particulière : la compensation pour les délégués scientifiques mis à disposition par les universités n'est pas symbolique, mais elle reste modeste en termes financiers. Comme les universités sont dans une situation financière délicate, elles ont réclamé une compensation totale. Cela correspond à une marche de deux millions d'euros que nous n'avons pas.

Nous sommes donc confrontés à une difficulté. Sauf à augmenter le budget du Haut Conseil, ce que je ne crois pas réaliste, le plus simple serait que les universités acceptent un niveau de compensation proche de celui qu'il était précédemment, auquel cas nous avons les moyens de fonctionner.

La troisième question concernait l'organisation de la recherche. Il est clair que les pays sont tous différents, les cultures sont différentes. Par exemple, aux États-Unis ou en Grande-Bretagne la recherche est fondée essentiellement sur les universités ; en France, nous avons une organisation différente avec des organismes nationaux sous la tutelle directe de l'État et qui agissent en complément des universités.

Une autre différence importante est qu'en Grande-Bretagne, l'évaluation de la qualité de la recherche est très importante pour le financement des universités : tous les six ou sept ans, le Research Excellence Framework est un big bang évaluatif de la recherche au Royaume-Uni, au terme duquel un classement est rendu public. Les universités sont financées directement en fonction de ce classement : c'est extrêmement drastique ! En France, nous en sommes très loin ; il y a eu une prise en compte de la qualité de la recherche dans le financement des universités mais à très petite échelle. Il n'y a quasiment pas de lien entre résultats de l'évaluation de la recherche et niveau de financement des universités. Je ne dis pas que le modèle britannique est meilleur, mais il est très différent.

Je voulais faire part d'une réflexion que j'ai déjà eue l'occasion d'évoquer lors des conseils du HCERES. J'ai le sentiment que cet organisme, cet outil d'une très bonne qualité qu'est l'HCERES, ne se vend pas à son véritable niveau. Lorsque l'HCERES intervient dans un pays étranger pour procéder à des évaluations d'établissements, de formation et autres, j'ai le sentiment que le prix est particulièrement compétitif par rapport à ce que demandent d'autres organismes étrangers.

De même, puisque nous venons de l'évoquer, les prestations de l'Agence doivent être indépendantes de la rémunération. L'évaluation ne doit pas devenir payante, j'en suis parfaitement convaincu ; cependant, sans qu'elle soit payante, certaines interventions pourraient donner lieu à la facturation d'un certain nombre de coûts fixes, basiques, qui ne font pas l'objet d'une transaction commerciale. Puisqu'il faut chercher des recettes partout et que les dotations de l'État ne seront pas en augmentation dans les prochaines années, n'est-ce pas là une piste que devrait davantage creuser l'HCERES ?

Une deuxième question, que je pose parce que je sors d'une audition dans le cadre de la mission d'enquête sur le crédit d'impôt recherche. L'HCERES ne se préoccupe que de recherche publique, et n'a donc pas à évaluer, étudier, analyser ou enquêter sur les dépenses de recherche des entreprises qui peuvent générer du crédit d'impôt recherche. Le crédit d'impôt recherche est source de beaucoup de commentaires, d'analyses et de réflexions ; est-ce que l'HCERES ne pourrait pas dans ses nouvelles missions élaborer des procédures pour ensuite contrôler ou évaluer le crédit d'impôt recherche ? Voilà une réflexion qui va peut-être vous amener, monsieur le président, à apporter de l'eau à notre moulin ; nous, les parlementaires, sommes très préoccupés par ce crédit d'impôt recherche.

Tout d'abord, monsieur le sénateur, en ce qui concerne les évaluations à l'étranger, il est vrai que nous nous sommes placés dans une attitude de « produit d'appel ». L'AERES était malgré tout un organisme fondé récemment. Lors des demandes d'évaluation venues de l'étranger qui datent à peu près de 2011, nous ne voulions pas risquer de nous faire rejeter sur des considérations financières, d'autant que nous ne sommes pas une entreprise commerciale.

Il faut distinguer deux approches : la coopération et la prestation. Dans le premier cas, il s'agit d'une action d'évaluation ou de coopération menées dans le cadre de programmes européens et financés par l'Union européenne, où nous ne facturons pas une prestation ; en revanche, avec un pays tel que l'Arabie Saoudite, nous facturons une prestation, et nous avons toujours calculé nos coûts de façon confortable. Lorsque nous avons répondu à l'appel d'offre sur l'évaluation du plan national de « recherche, innovation, technologie » de l'Arabie Saoudite, où nous étions opposés à des poids lourds américains ou coréens de l'évaluation, nous avions avancé sans doute un tarif raisonnable, mais je pense que nous avons été sélectionnés, non pas sur le prix, mais sur notre manière d'aborder les choses, qui était de nature plus académique.

Je rappelle qu'au cours des années 2013 et 2014, nous avons généré par nos évaluations à l'étranger entre trois cents et quatre cents mille euros par an. C'est modeste comparé à notre budget de quinze millions d'euros, mais non négligeable.

Vous posez une deuxième question sur le crédit d'impôt recherche. Lors de la préparation de la loi sur l'enseignement supérieur et la recherche, j'avais fait la proposition que l'AERES puisse se voir confier une mission dans le cadre du crédit d'impôt recherche, puisqu'il s'agit d'argent public. Le processus d'évaluation aujourd'hui est essentiellement un processus de contrôle : Bercy active le ministère de l'enseignement supérieur et la recherche qui vérifie s'il s'agit bien de recherche. Cette expertise repose à chaque fois sur une seule personne et je pense qu'on peut faire mieux. Dans la mesure où le crédit d'impôt recherche représente beaucoup d'argent, le moins qu'on puisse faire est de s'assurer que la recherche effectuée est de bonne qualité.

C'est un domaine très vaste et il faudra sélectionner. Je ne pense pas qu'il faille évaluer la qualité de la recherche dans les grandes entreprises qui ont des processus d'auto-évaluation et d'audit interne ; mais dans un certain nombre de cas, je pense notamment aux PME, cela pourrait être un service supplémentaire apporté. Ce service pourrait bien sûr être facturé. Dans cette perspective, non seulement l'État financerait, mais en plus il apporterait un service d'évaluation pour que cette recherche soit la plus efficace possible. Bien sûr, certaines conditions de sélection des experts et de confidentialité devront être respectées, mais nous sommes capables de le faire ; lorsque nous évaluons le CEA, nous ne rendons pas public ce que ce dernier désire tenir confidentiel. Cette piste mériterait d'être explorée en tant que service supplémentaire offert avec le crédit impôt recherche.

L'une des inquiétudes que nous avions au moment de la loi sur l'enseignement supérieur et la recherche et la dissolution de l'AERES, c'était la perte de la reconnaissance de la compétence de cet organisme récent ; vous avez rappelé les progrès de ces dernières années, notamment au niveau international. Il m'avait semblé lire que le Haut Conseil avait récupéré un agrément des autorités européennes ; pourriez-vous nous en dire plus, à la fois pour nous rassurer et pour discuter ce qui me paraît être une vraie reconnaissance de votre travail de ces dernières années ?

Une autre question concerne la mise en oeuvre de la loi de 2013 que vous évoquiez tout à l'heure, notamment l'incidence des regroupements universitaires. Seriez-vous en mesure aujourd'hui de nous faire état des incidences de cette évolution sur le travail interdisciplinaire dans les universités ? Les enseignants et les enseignants-chercheurs sont fortement encouragés à utiliser le numérique ; est-ce que vous le ressentez à travers les équipes et les programmes d'auto-évaluation qu'elles proposent ?

Enfin, constatez-vous une évolution des organismes de recherche dans la participation à la diffusion et l'animation de la culture scientifique, technique et industrielle ?

Sur le premier point, effectivement madame la sénatrice, j'avais conclu mon exposé introductif sur une bonne nouvelle d'il y a quelques jours, que j'ai plaisir à répéter. À la fin de l'année 2014, nous avions informé ENQA, l'association des agences d'assurance qualité européennes, et le registre (EQAR) de la publication du décret sur le Haut Conseil ; nous leur avons envoyé les textes, nous avons expliqué nos actions au cours de l'année 2014, et avons demandé le transfert de l'autorisation, ce qui est très important en termes de visibilité européenne. Ils ont réuni leurs instances, et ont considéré que ce transfert pouvait nous être accordé. Le Haut Conseil est aujourd'hui inscrit à ENQA et EQAR en substitution de l'AERES jusqu'à la prochaine évaluation en 2016. Nous avons obtenu que cette nouvelle évaluation s'effectue en 2016 plutôt qu'en 2015, pour laisser le temps d'arriver au nouveau conseil du HCERES, qui va se mettre en place dans quelques semaines, afin qu'il ait au moins un an pour se préparer à cette évaluation européenne qui est effectivement très importante. C'est une bonne nouvelle, qui nous permet de justifier d'une reconnaissance européenne à l'étranger.

J'en viens au deuxième point relatif aux regroupements et à l'interdisciplinarité. On constate une vraie dynamique territoriale de rapprochement entre les universités et entre les universités et les écoles. C'est assez spectaculaire, et je trouve que c'est fait dans un esprit tout à fait constructif. Voilà pour la dimension institutionnelle.

Même sur le plateau de Saclay ?

Je pense que sur le plateau de Saclay, l'affaire est difficile, mais évolue dans un sens qui paraît constructif. J'espère ne pas être démenti par une catastrophe dans les mois qui viennent...

Saclay ne fait cependant pas partie de la région que nous évaluons en ce moment. Récemment, nous étions plutôt en Aquitaine, Midi-Pyrénées, Rhône-Alpes, ainsi qu'en Normandie, Bourgogne, Franche-Comté, Auvergne, Pays de Loire, Bretagne ; mon jugement précédent s'applique donc surtout sur ces deux grandes zones, même si nous avons observé des choses très intéressantes au niveau de Paris-Est pour citer la région Île de France.

Pour la dimension interdisciplinaire, nous observons deux choses : dans le cadre de ces regroupements, les responsables d'universités et d'écoles travaillent à des offres de formation qui, dans certains cas, s'inscrivent dans un cadre interdisciplinaire. Je mentionnais tout à l'heure l'exemple de Chambéry, mais il y en a d'autres ; certaines formations n'hésitent pas à aborder les sujets à travers des thématiques plus transversales que l'approche strictement disciplinaire, même quand l'offre est disciplinaire.

Concernant la recherche, la dynamique est un peu similaire ; nous avons mis en place, à partir de 2012, un processus spécifique d'évaluation des unités de recherche qui se déclarent interdisciplinaires ; une centaine d'unités ont souhaité bénéficier de cette évaluation lors de la dernière vague. Nous avons alors un processus adapté pour composer un comité d'évaluation qui permet de tenir compte de cette dimension interdisciplinaire : il faut rassembler des personnes d'horizons disciplinaires différents, et qui en même temps ont une expérience de l'interdisciplinarité.

Sur la question de la diffusion de la culture scientifique, c'est un des éléments d'évaluation des politiques menées par les universités, même si ce n'est pas l'élément qui transparaît en priorité. En revanche, pour l'évaluation des unités de recherche, nous avons le critère aujourd'hui numéro 3 qui s'appelle « impact avec l'environnement économique, social, culturel, sanitaire » où s'inscrivent les faits observables et les indices de qualité relatifs notamment aux activités de diffusion de la culture scientifique et technique. C'est un élément pris en compte.

Donc on aura des données sur l'évolution de ce point ?

La difficulté de l'appréciation de nos évaluations, c'est que nos rapports sont qualitatifs et ne se traduisent pas si facilement en données quantitatives. Malgré tout, nous sommes capables de comparer d'une année sur l'autre ; on peut déjà comparer le rapport d'une université par rapport à ce qu'il était il y a cinq ans. Des comparaisons sont donc possibles, et le fait d'avoir intégré l'Observatoire des sciences et techniques, qui a la capacité de produire des données à partir de texte – la bibliométrie, c'est son métier – laisse penser qu'on pourra dans quelque temps analyser nos rapports d'évaluation, et en extraire des données quantitatives. C'est un de nos projets.

On voit dans ce domaine qu'il y aurait besoin d'un choc de simplification, au niveau du statut des chercheurs et des enseignants-chercheurs. Il faut travailler là-dessus.

Il y a eu beaucoup de vagues dans l'enseignement lorsqu'il s'est agi de financer les universités ou les unités de recherche en fonction de l'activité. Où en sommes-nous aujourd'hui dans le partage entre auto-évaluations dans l'université et accréditations ? Est-ce que les auto-évaluations ont toujours un sens ?

Ma deuxième question concerne le redécoupage des régions. Même s'il a fait débat, il a interpellé certains responsables universitaires puisqu'il va provoquer un rapprochement de certaines universités, que je trouve salutaire en ce qui concerne l'interdisciplinarité. N'est-ce pas le moment idéal pour opérer un grand rapprochement des universités entre elles, puis un rapprochement des universités avec les entreprises ? Je pense que c'est un de nos points faibles ; or, on pourrait inciter les entreprises à participer à ce rapprochement grâce au crédit d'impôt recherche. Je pense que la période est favorable, et il y a un besoin par rapport à l'évolution de nos unités de recherche et de nos universités ; quel sera le rôle que vous pourrez jouer ? Je suppose qu'il sera de plus en plus important.

Le rôle de l'évaluation est utile. Il doit être vu avant tout comme un service aux entités évaluées, qui leur sert de levier pour progresser. Il y a tout de même une ambiguïté. Nos rapports d'évaluation servent aussi aux décideurs ; de la part des entités évaluées, il y a donc toujours un peu de crainte d'être contrôlé, puisque le rapport sert à prendre des décisions à leur sujet. Il est vrai que c'est ambigu, mais nous tentons de nous inscrire au maximum dans la dynamique du service apporté aux entités évaluées.

Vous avez évoqué la question de l'auto-évaluation et de l'évaluation externe. Notre travail est précisément de susciter d'abord un travail d'auto-évaluation de l'entité évaluée, qu'il s'agisse d'une université, d'un organisme de recherche ou d'une unité de recherche, et la qualité de ce travail d'auto-évaluation est très différente mais, dans l'ensemble, il y a des progrès nets. Plus le rapport d'auto-évaluation est de qualité, plus le regard externe qui vient ensuite est contributif et apporte quelque chose en plus. Nous essayons d'obtenir des rapports d'auto-évaluation de grande qualité, et les choses sont en progression.

C'est bien, car certains universitaires refusaient de s'auto-évaluer auparavant.

Je parle de l'auto-évaluation institutionnelle, qui a vraiment progressé dans les universités. J'espère que les organismes de recherche, en particulier les grands organismes généralistes, feront le même effort. C'est sans doute plus difficile, parce qu'un exercice d'auto-évaluation est politiquement difficile. Il est difficile de dire qu'on a des points faibles et de les désigner quand on se trouve dans un grand organisme avec des syndicats ou des instances très oppositionnelles...

Pour ce qui est du découpage régional, nous avons récemment été à Besançon, et nous avons bien vu que les liens sont forts et importants entre Bourgogne et Franche-Comté sur le plan universitaire ou sur le plan de la recherche. Il y a des zones où ce sera plus facile parce que les liens sont plus anciens ; il y a sûrement des situations très différentes d'une région à l'autre.

Je voudrais vous poser les questions que monsieur Le Déaut vous aurait posées s'il avait été là.

Tout d'abord, quel est l'objectif principal des missions d'évaluation à l'étranger ? Est-ce que ça coûte ou est-ce que ça rapporte, finalement ? Par exemple, pour la mission à l'Université d'État d'Ingénierie d'Arménie, qui a choisi de recourir à un partenariat avec l'agence espagnole (ANECA) ?

Quel est l'apport de la participation à des réseaux européens ? Quelles sont les perspectives de coopération hors du cadre européen ?

Est-ce que le changement de nom et de compétences a eu un impact, négatif ou positif, sur la visibilité internationale ?

Merci monsieur le premier vice-président. Sur le premier point, certaines choses ont déjà été évoquées ; nous avons différentes natures d'activité à l'étranger.

Nous avons d'abord une activité de coopération pour l'aide à la création d'agences analogues dans d'autres pays (Angola, Maroc, Tunisie, Liban) : c'est vraiment de la coopération. Ces pays essaient de mettre en place un système d'assurance qualité pour leur enseignement supérieur (rarement pour la recherche). Notre rôle, souvent dans un cadre européen, est de contribuer à l'émergence de ces structures d'évaluation.

Nous avons des actions d'évaluation d'entités situées à l'étranger, qui peuvent être des formations ou institutions de nature très variée. En Arabie Saoudite, nous avons évalué des programmes de droit, de tourisme, d'archéologie dans des universités saoudiennes.

Pour d'autres actions d'évaluation, la France est concernée ; il s'agit de formations délocalisées ou en coopération. Par exemple en Chine, nous allons évaluer cette année un institut franco-chinois d'ingénierie nucléaire, en coopération avec l'agence d'évaluation chinoise. Cette action rentre dans nos missions car ce sont des programmes de formation français, d'une certaine manière.

Il y a bien sûr aussi la participation, au niveau européen, à la réflexion sur l'amélioration de la qualité du système européen. Nous avons récemment participé à la refonte des guidelines européens sur l'assurance qualité. Nous participons à la vie européenne de l'enseignement supérieur et la recherche. L'objectif de création d'un espace européen de l'enseignement supérieur est bien réel ; un espace européen de la recherche est en construction. Notre rôle est de participer à tous les travaux dans ce domaine.

Qu'est-ce qui est susceptible d'apporter des recettes ? Essentiellement, l'évaluation à l'étranger dans des pays qui en ont les moyens, comme l'Arabie Saoudite, le Qatar, etc.

Quant à l'Arménie, nous y sommes sollicités pour évaluer une université d'architecture et une université d'ingénierie. La difficulté vient du fait que ces pays réclament non seulement une évaluation, mais aussi une accréditation. Or, en France, c'est le ministère qui décide d'accréditer ou non, nous ne faisons qu'évaluer. Aujourd'hui, nous évaluons en France, et on nous demande d'accréditer à l'étranger.

Lorsque la question s'est posée en Arabie Saoudite, j'ai écrit au ministère pour demander si nous pouvions, juridiquement, accréditer des formations à l'étranger. La réponse a été positive, donc nous accréditons aujourd'hui des formations à l'étranger. Cependant, accréditer une formation pose peu de problèmes ; il y a plus d'enjeux pour accréditer une institution. Nous avons récemment posé la question au ministère pour savoir si nous pouvions accréditer une université à l'étranger, puisque la question nous est posée.

Nous attendons la réponse ; nous finirons par l'avoir, mais les Arméniens étant très pressés, nous avons cherché une solution de transition. Nous avons pris contact avec la Commission des titres d'ingénieur (CTI), mais elle ne fait pas d'accréditation institutionnelle ; nous avons cherché un partenaire européen qui ait la possibilité de faire une accréditation institutionnelle, et l'ANECA en Espagne a cette possibilité. Nous allons donc effectuer cette évaluation en partenariat avec l'agence espagnole, et formellement, l'évaluation aboutira éventuellement à une accréditation par l'ANECA.

Enfin, en ce qui concerne les perspectives d'action internationale hors des réseaux européens, je peux évoquer les actions que nous menons dans d'autres cadres coopératifs comme le G8 recherche ou l'organisme international des agences d'assurance qualité.

Aujourd'hui, nous avons des actions sur la scène internationale pratiquement sur tous les continents : Afrique, Asie, Amérique, surtout Amérique du Sud ; assez peu avec les États-Unis ; nos systèmes sont quand même assez différents.

Compte tenu de la reconnaissance européenne dont l'AERES bénéficiait, un impact négatif en termes de visibilité a été en grande partie évité. Le HCERES a conservé la visibilité européenne, ce qui est tout à fait essentiel. Il a, en revanche, plongé en termes de référencement Internet : après quelques années, AERES était devenu numéro un, devant les centres aérés, dans le moteur de recherche Google... Pour HCERES, c'est plus difficile. Il va falloir sans doute quelque temps pour récupérer le positionnement Internet. Il y a eu donc eu un impact, mais pas très important, dans la mesure où nous sommes reconnus au niveau européen.

Je voudrais m'excuser d'être arrivé en retard ; j'intervenais au nom de l'Office parlementaire dans le débat sur la fin de vie, et puisque je n'ai pas le don d'ubiquité, Bruno Sido a dû me remplacer. Je ne sais donc pas si toutes les questions vous ont été posées.

Je vous ai senti très inquiet au moment du changement de l'AERES en HCERES ; certains de nos collègues étaient d'ailleurs inquiets. Est-ce que vous pensez aujourd'hui que l'HCERES a repris ses marques ? Vous avez répondu notamment sur la question de la reconnaissance internet, mais on voit beaucoup de sociétés internationales qui changent de nom. Elles arrivent à mon avis très vite à retrouver leurs marques ; le changement de nom est quelquefois un changement politique.

J'ai aussi quelques questions techniques : est-ce que vous pouvez expliquer la différence entre les unités interdisciplinaires et multidisciplinaires, et puisque vous avez prévu une évaluation différente, avez-vous prévu une procédure spécifique pour évaluer les unités interdisciplinaires ? Comment vous y prenez-vous, et comment pouvez-vous vous assurer que l'évaluation de ces unités ne les favorise pas par rapport aux unités évaluées par la voie classique ?

J'ai lu dans le rapport qu'il y avait 125 unités potentiellement interdisciplinaires, que 92 ont demandé à bénéficier de l'évaluation interdisciplinaire, et que seulement 24 ont été retenues (26%). Ces chiffres figurent page 22 de votre rapport. Quels ont été vos critères ? Pourquoi une si faible proportion ? Avez-vous choisi un petit groupe expérimental pour cette année, allez-vous faire évoluer ce choix ?

Quel est le profil des évaluateurs sélectionnés (experts et délégués scientifiques) ? Quels sont leurs garanties d'indépendance ? Est-ce que les profils ont évolué par rapport à l'AERES ? Vous nous aviez dit, lors de votre audition devant l'OPECST d'il y a deux ans, que vous modifieriez un certain nombre de choses, si le nom ou la méthode de travail de l'AERES étaient modifiés.

A-t-on les moyens aujourd'hui de faire venir les évaluateurs étrangers ? Nous en avions parlé lors de la discussion de la loi.

Arrivez-vous bien à évaluer les politiques de site ? D'où viendront les ressources pour faire ces évaluations ?

Vous aviez dit que vous supprimeriez les notations en cours d'évaluation ; est-ce qu'il y a un impact de la suppression des notations pour les formations et les unités de recherche ; avez-vous anticipé sur certaines dispositions réglementaires qui n'étaient pas encore complètes ?

– Monsieur le Président, ces questions sont quasiment toutes nouvelles, je vais y répondre point par point.

La différence entre les unités interdisciplinaires et multidisciplinaires concerne les activités de recherche. La pluridisciplinarité est une simple juxtaposition de perspectives disciplinaires, les disciplines en interaction gardent leur identité, l'une d'entre elles se trouve en général en situation de pilotage et utilise la méthodologie ou les instruments d'une ou plusieurs autres disciplines pour traiter une question. L'interdisciplinarité va beaucoup plus loin, c'est la coopération de plusieurs disciplines autour d'un projet commun ; des perspectives de recherche sont ouvertes pour toutes les disciplines, qui ne sont plus cantonnées à des situations d'application.

Ce sont deux situations de recherche très différentes, et nous avons essayé, compte tenu des particularités de l'interdisciplinarité, de mettre en place un dispositif d'évaluation spécifique pour les unités interdisciplinaires. Ce dispositif est piloté par des délégués scientifiques en charge de l'interdisciplinarité ; nous en avons un par grand domaine (sciences humaines et sociales, sciences de la vie et de l'environnement, science et technologie), et il y a toute une mécanique et un référentiel propre à l'unité interdisciplinaire.

Votre question suivante soulève une crainte que certaines unités se déclarent interdisciplinaires parce que leurs résultats disciplinaires seraient médiocres. L'interdisciplinarité serait un refuge pour la médiocrité. C'est vrai qu'il est difficile d'évaluer les bons projets interdisciplinaires, et cette difficulté pourrait conduire des équipes à se réfugier dans des domaines qu'elles qualifient d'interdisciplinaires afin de rendre l'évaluation plus souple.

Le Haut Conseil n'a pas ignoré cette possibilité, mais il a adopté un autre point de vue. L'ouverture d'une forme d'évaluation interdisciplinaire vise à éviter que les unités interdisciplinaires soient pénalisées par l'évaluation standard ; voilà ce qui nous paraissait être le risque le plus important. En effet, il faut avoir conscience d'un paradoxe : alors qu'on considère souvent que l'innovation scientifique se situe aux interfaces entre les disciplines, les unités qui occupent ce créneau peuvent être pénalisées par les préjugés académiques, et les préjugés qu'une communauté peut avoir de la « bonne » recherche dans sa discipline.

Notre sentiment est qu'une unité interdisciplinaire est fragile et risque d'être pénalisée, plutôt que l'hypothèse inverse, selon laquelle l'interdisciplinarité est un refuge pour la médiocrité. C'est la raison pour laquelle nous avons mis en place ce processus.

Vous évoquez 120 unités potentiellement interdisciplinaires qui s'étaient déclarées ; pourquoi est-ce que seules 24 ont été retenues ? La raison en est qu'au début de ce processus, qui avait alors un caractère expérimental, nous nous sommes limités à l'interdisciplinarité entre grands domaines. Nous n'avons pas voulu considérer l'interdisciplinarité physique-chimie, par exemple, puisque ces deux disciplines diffèrent peu. En revanche, des interdisciplinarités entre grands domaines, comme psychologie-physique, biologie-informatique : entre sciences humaines et sociales et sciences du vivant, ou entre sciences humaines et sociales et sciences et techniques, voilà qui nous a paru être des interdisciplinarités très lourdes en termes de portée, et c'est là que nous avons concentré notre travail dans une première phase.

Vu les retours des expériences, qui sont aujourd'hui très positifs, notre projet est d'étendre les possibilités d'éligibilité à l'évaluation interdisciplinaire à d'autres croisements que les croisements inter-domaines, en se portant sur des croisements intra-domaines.

Quant à l'indépendance des évaluateurs, celle-ci repose sur l'appréciation que les délégués scientifiques du Haut Conseil portent lors de la composition du comité. Nous recherchons bien sûr des évaluateurs compétents, mais aussi sans liens ni antagonismes avec l'entité qui va être évaluée.

On repère assez facilement les antagonismes, car les responsables de l'unité évaluée protestent : ils refusent naturellement d'être évalués par leur ennemi mortel ou leur concurrent direct. C'est donc assez facile de les éviter. Pour éviter les proximités, c'est plus difficile ; récemment, nous avons presque été piégés : après avoir retenu un évaluateur, nous n'avons découvert que très tardivement dans le processus qu'il était du jury de thèse de quasiment tous les élèves de l'unité de recherche. Il faut donc être extrêmement prudent. Un délégué scientifique expérimenté, avec une bonne connaissance du milieu, est capable d'identifier et de prévenir ces conflits d'intérêts.

Quant aux évaluateurs étrangers, ils ne sont pas indispensables pour l'évaluation individuelle de chaque formation. En revanche, leur présence est très importante pour les entités de recherche et les établissements.

Pour les entités de recherche, la proportion d'évaluateurs étrangers varie selon les disciplines, mais elle tourne autour de 20 %. Dans nos comités d'évaluation pour les unités de recherche, nous avons 20 % d'étrangers, presque toujours des européens, en raison du prix des billets d'avion. Cela dit, les européens représentent quand même cinq cents millions de personnes, on peut trouver des experts de qualité au niveau de l'espace européen. Cette proportion est un peu en-deçà des objectifs que nous nous étions fixés au début ; nous sommes obligés de limiter les déplacements pour des raisons de budget. De plus, les conditions de transport et d'hébergement que nous offrons sont quand même peu attractives pour des personnalités de haute portée.

Pour les établissements, la réduction des moyens de l'AERES, puis du Haut Conseil, a eu une conséquence : alors qu'en 2013 on avait essayé d'augmenter la proportion d'évaluateurs étrangers (nous étions à près de 25 %), nous avons dû, cette année, la réduire un peu, nous en sommes à 15 % d'évaluateurs étrangers en ce qui concerne les établissements.

En ce qui concerne les politiques de site, j'en ai un peu parlé tout à l'heure en réponse à une question de madame Gillot. Nous sommes totalement engagés dans l'évaluation des politiques de site. Nous essayons de nous adapter aux situations rencontrées, qui sont très diverses. Vous verrez sur le site Internet du Haut Conseil que le premier rapport de l'évaluation d'une politique de site a été publié, il concerne l'université Paris-Est ; le suivant va bientôt y figurer également, concernant la COMUE Grenoble-Alpes. Nous constatons actuellement une dynamique très intéressante au niveau territorial.

La notation des formations n'a jamais déclenché les mêmes problèmes que pour les unités de recherche, mais dans l'ensemble la suppression de la notation pour les formations est vécue plutôt comme une étape difficile par les experts et les évalués. Cette suppression a clairement affaibli le rôle de l'évaluation et du Haut Conseil dans sa perception par les évalués, et elle a pesé plutôt négativement sur l'implication des experts. À l'inverse, les rapports d'évaluation pourraient prendre un sens renforcé, c'est pourquoi je pense qu'il est un peu tôt pour porter un jugement sur l'impact de la disparition de la notation concernant les formations. Cela peut rendre les rapports d'évaluation plus explicites, en les focalisant sur des points d'attention utiles pour les établissements ; cette évolution peut donc se révéler positive.

La suppression de la notation multicritères pour les unités de recherche a rencontré au début l'incompréhension d'un certain nombre de présidents de comité, qui n'étaient pas d'accord pour réaliser les appréciations textuelles. Nous avons essuyé un certain nombre de refus lors de la première campagne de mise en place ; aujourd'hui, la situation évolue un petit peu plus favorablement. L'orientation du ministère de ne plus tenir compte de la notation dans le financement des universités a conduit à faire tomber la notation, puisque le principal demandeur qu'était le ministère a dit qu'il n'en avait plus besoin, ce qui a justifié a posteriori l'abandon de la notation. En revanche, certains présidents d'université disent être en difficulté pour porter des jugements sur les unités se trouvant dans leur périmètre. L'INRA nous a, au contraire, fait part récemment de sa satisfaction, l'abandon de la notation les forçant à lire les rapports d'évaluation. Je pense donc qu'il est un peu tôt pour porter un jugement ; il faudra revoir dans deux ou trois ans les résultats effectifs de cette suppression.

J'ai cru lire dans le rapport qu'il y a eu des problèmes lors de l'évaluation de la recherche dans les CHU. Ces problèmes sont-ils réglés ?

Il y avait quelque chose de paradoxal à évaluer la recherche publique en France sauf la recherche faite dans l'hôpital. Je ne parle pas de la recherche faite dans les unités INSERM ou les équipes d'accueil universitaires sur site hospitalier, mais de la recherche dans les services, dans les laboratoires de biologie hospitaliers. Il y a là une recherche importante qui est faite, surtout de la recherche clinique.

En 2011, j'ai reçu la visite des responsables hospitaliers de la recherche clinique, qui ont dit trouver anormal qu'elle ne soit pas évaluée. Nous avons lancé une expérimentation en 2011-2012 sur quatre sites volontaires : Lille et dans les hôpitaux environnants, Toulouse, Nancy, et les hôpitaux du périmètre Versailles Saint-Quentin (de l'AP-HP ou hors AP-HP). Nous avons mis en place cette évaluation de la recherche dans l'hôpital, qui a été très appréciée et s'est bien déroulée, mais lorsque j'ai proposé au MESR d'élargir cette initiative, la réponse du conseiller de la Ministre a été négative. Comme il aurait fallu un accord entre les deux ministères (santé et enseignement supérieur), nous avons dû freiner ce processus en 2013.

Je pense que nous sommes repartis sur de bonnes bases cette année ; nous avons demandé à tous les responsables de CHU et de centres de lutte contre le cancer des régions de la vague B (Normandie, Bourgogne, Franche-Comté, Auvergne, Pays de Loire, Bretagne) s'ils étaient intéressés, et nous avons aujourd'hui deux réponses positives. Nous allons donc procéder à l'évaluation de la recherche hospitalière en Pays de Loire (CHU de Nantes) et à Besançon.

Ce n'est donc pas obligatoire ?

Pour l'instant, ce n'est pas obligatoire ; il y a d'abord des questions de méthode. Nous avons progressé grâce aux leçons tirées de la première expérience. La question principale est de savoir si l'on considère l'hôpital comme une seule unité de recherche, ou si l'on doit aller à l'échelon des services, des pôles ; il y aussi la question de l'articulation avec l'évaluation des unités de recherche labellisées. Il y a également tout l'appareillage de soutien à la recherche : est-ce qu'on l'évalue ? Enfin, il y a la question des moyens du HCERES. Je pense que ce deuxième exercice, mené à titre expérimental, permettra de généraliser par la suite.

Vous avez annoncé quand j'arrivais que vous aviez retrouvé votre accréditation européenne, ce qui est une très bonne chose. Est-ce que la coopération européenne est bonne ? Est-ce que les européens essaient de réagir face à une évaluation ou des indicateurs de l'enseignement supérieur et de la recherche par les classements de Shanghai ou américains ? L'Europe essaie-t-elle de mettre en place des indicateurs européens ?

En France, l'impact du classement de Shanghai a été très fort sur la classe politique. Il a été important en Allemagne aussi, parce que les universités allemandes n'étaient pas non plus bien classées, mais un peu mieux qu'en France. Je ne pense pas que les classements soient un souci aussi grand pour les responsables universitaires : ils ont compris que ces classements ont leurs limites, que leurs motivations sont souvent commerciales, et qu'il ne faut pas leur faire dire plus que ce qu'ils révèlent. Cela a suscité au niveau européen une initiative importante, le projet U-Multirank : c'est un projet de classement, mais de classement plus intelligent ; il s'agit d'apporter aux étudiants l'information qui leur permet de faire des choix dans le système d'enseignement supérieur européen. Par exemple, si je suis allemand, que je veux aller travailler dans l'ouest de la France parce que j'aime la mer, que je veux faire de la chimie et que je m'intéresse à la recherche, je peux regarder toutes les universités de la façade maritime et choisir Nantes, Bordeaux, Brest, ou Rouen, par exemple.

En France, nous nous sommes lancés dans le projet CERES, qui est une manière de s'inscrire petit à petit dans le projet U-Multirank. C'est un dispositif d'aide à la décision pour les étudiants européens qui sera extrêmement précieux.

Vous aviez un problème pour la mise à disposition d'universitaires ou de chercheurs, qu'il fallait rétribuer pour le temps passé en évaluation. Quels sont les moyens de l'HCERES aujourd'hui, et ces moyens sont-ils suffisants pour faire de la bonne évaluation ?

Ces moyens ont un petit peu diminué, mais restent suffisants pour faire un bon travail. La seule chose que nous espérons, c'est que la demande de compensation par les universités ne sera pas démesurée. Si les universités veulent que nous compensions au coût complet, cela fait une marche de deux millions d'euros que nous n'avons pas, et que nous n'aurons pas. Nous leur avons dit être prêts à faire un effort financier, mais pas dans les proportions qu'elles souhaitent.

Nous sommes en discussion avec la CPU, j'ai eu un contact récent avec son président ; je ne veux pas m'avancer sur la réponse qu'ils vont donner, mais je garde bon espoir ; c'est très important que nous ayons une réponse qui nous permette de procéder aux recrutements nécessaires dès le mois d'avril, car il faut préparer la vague B.

Est-ce que le secteur privé essaie de pénétrer le marché de l'évaluation, dont l'AERES a quasiment le monopole pour ce qui est des organismes publics ? Est-ce que ces derniers demandent à des sociétés privées de procéder à l'évaluation de leurs activités ?

À ma connaissance, non ou très peu ; le seul exemple que j'ai vu, c'est l'université Paris-est Créteil qui a décidé de se faire évaluer par l'EUA, qui n'est pas une entreprise privée mais l'organisme d'évaluation affilié à l'association européenne des universités. Leur motif était de bien se préparer à l'évaluation par l'AERES, ce qui nous a plutôt honorés. Cela leur a coûté un peu d'argent et je ne sais pas s'ils en ont été contents, mais nous avons eu le rapport d'évaluation de l'EUA qui était intéressant et a été un élément d'instruction et de préparation.

Pour ce qui est des sociétés privées, je n'en ai pas connaissance ; c'est un coût qu'à mon avis les universités pourraient éviter.

J'aurais deux questions. Il se trouve que l'évaluation était un peu mon métier, dans un organisme de recherche il n'y a pas si longtemps. Je me pose une question par rapport à la composition des commissions, et notamment par rapport à la part d'étrangers. Est-ce que nous n'avons pas tendance en France à un peu trop montrer, trop offrir, à ceux qui sont mine de rien des concurrents sur le plan scientifique, à travers ce dispositif d'évaluation ? Ne sommes-nous pas un peu dans le mea culpa, aussi ?

Nous sommes entre deux écueils : d'un côté, nous souhaitons une évaluation indépendante, et une part d'étrangers est utile, à cause des risques liés à l'entre-soi. L'apport du regard extérieur est très utile, et une contribution de l'étranger enrichit l'évaluation. Il y a un prix à cela, d'abord l'argent pour les faire venir, mais aussi ce que vous dites : le risque de la naïveté. Aujourd'hui, nous faisons appel essentiellement à des européens ; les européens, j'ai tendance à considérer que c'est nous. D'un autre côté, en matière de recherche, les chercheurs sont habitués à cette confrontation permanente : leurs publications sont jugées par des étrangers que souvent ils ne connaissent pas.

En revanche, dans certaines circonstances, les directeurs d'unités nous ont dit que certains sujets étaient très importants en matière de valorisation, et nous n'avons pas rendu publics les rapports d'évaluation ; je pense notamment au CEA. De même, dans la composition des comités d'experts, nous demandons toujours au président ou au directeur de l'unité évaluée s'il est d'accord avec la composition du comité. S'il dit que telle personne est son pire ennemi, ou un espion, nous la récusons, tout simplement.

J'ai une autre question par rapport à la notation, où il y a une dramaturgie actuellement, depuis la création de l'AERES, lors des trois vagues. D'abord avec la note globale, puis avec les notes par critères, puis le passage de quatre à six critères sous la pression des établissements qui se réclamaient de la recherche finalisée. C'est un sujet très compliqué. J'ai une opinion que j'aimerais bien pouvoir discuter avec vous tout à l'heure, mais l'absence de notation me laisse perplexe.

La notation a été utilisée de manière extrêmement abrupte par le ministère d'une part et par les institutions d'autre part pour allouer les moyens financiers ; ce n'était dans la culture de personne, et c'était extrêmement violent. Mais l'absence totale de notation rend les rapports à peu près incompréhensibles, par la finesse d'appréciation du vocabulaire et du phrasé.

J'ai eu affaire à des collègues qui lisaient leur rapport et le trouvaient formidable, mais ne savaient pas ce qu'on leur reprochait ; je répondais : « ton rapport est formidable, mais il est noté B moins ». Quand on lit le rapport sans la note, il est formidable. On a un vrai problème de terminologie et de vocabulaire ; ce sont des métiers dans lesquels les évaluateurs, fussent-ils tous français, seront évalués quatre ans plus tard, voire l'année suivante.

Par rapport à ces questions, à la fois déontologiques, techniques, et un peu scientifiques, comment vous situez-vous ?

Vous avez mis le doigt sur des questions majeures. Comme vous l'avez dit, il y a eu une dramaturgie, avec à la fin une catharsis qui aboutit à l'abandon de la notation qui figure dans le décret. Si l'AERES a anticipé la suppression de la notation, c'est que nous ne voulions pas nous retrouver dans la situation où en cours de vague, le décret paraîtrait, imposant l'abandon de la notation alors que nous aurions commencé à noter la moitié des équipes. Nous voulions absolument éviter cette situation. Nous avons donc pris la décision d'arrêter la notation quand nous avons reçu un courrier du ministère nous informant de la teneur du décret à venir.

Nous sommes comme vous. La notation multicritères était assez souple et adaptée. Nous étions dans un cadre de notation beaucoup moins abrupt qu'en Angleterre ; l'impact de la notation sur le financement était quand même très léger. SYMPA méritait bien son nom, de ce point de vue.

L'appréciation textuelle par critères n'est pas facile et va poser des problèmes pour ceux qui ont des décisions à prendre, qui vont devoir lire en détail tous les rapports et décoder les langages. D'un autre côté, le pire n'est jamais sûr : voyons comment cela évolue pendant deux-trois ans et tirons ensuite les leçons.

Nous étions tout à fait pour la suppression de la note globale. Que la suppression de la note multicritères soit un progrès sera à apprécier.

Puisqu'il n'y a plus de questions, je voudrais remercier monsieur Didier Houssin, que nous avions déjà vu au Sénat ; Michel Berson était l'un de ceux qui avaient demandé la première audition il y a un peu plus de deux ans. Nous vous remercions d'abord pour ce rapport, qui nous est utile. Nous sommes saisis par la loi pour l'évaluation de la stratégie nationale de recherche et il est évident que nous ne pouvons pas le faire sans votre rapport ; nous sommes donc encore appelés à travailler ensemble.

Bien sûr, avant d'évaluer la SNR, il faudra qu'elle se mette en place, ce qui devrait se faire dans les prochains jours puisque le comité stratégique de la recherche a rendu un rapport à la ministre, pour que le gouvernement élabore sa stratégie, la mette en place, et nous l'évaluerons ensuite.

Nous vous remercions encore, monsieur le président de l'HCERES, de la qualité de vos interventions et de votre disponibilité.

La séance est levée à 19 h 10