Mary-Lee Mulholland (Université Mount Royal)

L'utopie des évaluations par les pairs de l'enseignement – Une mise en garde

Dans L'utopie des règles : Sur la technologie, la stupidité et les joies secrètes de la bureaucratie David Graeber (2015) réfléchit à la façon dont la bureaucratie, à travers une économie de paperasse, d'évaluations et de revues de performance, s'est étendue du secteur corporatif au gouvernement, aux organismes à but non lucratif et au secteur de l'éducation. Les universités n'échappent pas à cet essor bureaucratique ; au contraire, elles s'y prêtent particulièrement. La corporatisation des universités par le gonflement administratif, les mesures de performance, la culture d'audit, les bureaucraties de la vertu et les discours sur « l'excellence » a été analysée et amplement critiquée par de nombreux anthropologues (Graeber 2015, 2018, Krautwurst 2013, Menzies 2010, Roseman 2010, Shore et Wright 1999). L'une des économies en pleine expansion est actuellement l'évaluation par les pairs de l'enseignement utilisée dans les décisions d'emploi, de titularisation et de promotion à l'université.

Comme le note Graeber, l'essor de nombre de ces systèmes bureaucratiques découle des « bonnes intentions qui dérapent » (2015 : 8). C'est certainement le cas de la bureaucratisation de l'excellence en enseignement. Depuis les années 1990, il y a eu un déplacement important et louable dans les universités pour reconnaître et investir dans l'enseignement comme une part importante de notre travail (Bernstein 2008, Hutchings 1995). En conséquence, nous avons été témoins de la croissance des centres de soutien à l'enseignement, des prix, des subventions d'enseignement, du Scholarship of Teaching and Learning (SoTL), et d'une attention portée aux évaluations étudiantes et aux enquêtes étudiantes telles que la National Survey of Student Engagement (NSSE). Cela se reflète même au sein de CASCA avec l'introduction des CASCA Awards for Teaching Excellence et la formation du Critical Pedagogy in the Canadian Anthropology Network.

Je pense que la reconnaissance et le soutien d'un bon enseignement sont incroyablement importants et ce sont des choses qui me tiennent à cœur. Il est vital que notre enseignement, comme notre recherche, soit bien informé, engagé et rigoureux. Après tout, c'est par notre enseignement que l'anthropologie exerce son plus grand impact. Cependant, cet accent mis sur l'enseignement découle, du moins en partie, de la conception néolibérale des universités comme prestataires de services (plutôt que producteurs de savoir), illustrée par le phénomène de l'étudiant-consommateur (Bunce et al., 2017). Dans ce contexte, les pratiques de « bon enseignement » sont emballées sous des termes à la mode tels que HIPs (high impact teaching practices), apprentissage actif, ou service-learning (Mulholland 2016), tandis que l'art de la conférence bien construite semble être sous-estimé (Shiva 2021). Cette focalisation sur le bon enseignement survient au moment où les enseignants sont accablés par des charges de cours plus lourdes, un emploi précaire, des tailles de classe accrues et des devoirs de service croissants. De même, à mesure que nos charges d'enseignement et de service augmentent, le soutien et le temps consacrés à la recherche diminuent. Et cela, malgré le fait que de petites tailles de classe et un engagement continu avec les développements dans notre discipline sont deux des facteurs les plus importants d'un « bon enseignement » (Cadez et al. 2017, Mulholland 2016).

Suivant la logique bureaucratique décrite par Graeber, à mesure que le bon enseignement devient plus central à notre condition d'emploi, il doit donc être évalué. La première mesure utilisée pour évaluer l'enseignement fut les évaluations étudiantes dans les années 1960 et, en quelques décennies, les universités ont commencé à utiliser ces évaluations dans divers types de revues de performance, y compris la titularisation (Gelber 2020). Presque immédiatement, il y a eu une réaction de la part des enseignants et des chercheurs mettant en garde contre les écueils des évaluations étudiantes, notamment les problèmes de biais, d'insignifiance statistique et l'incapacité des étudiants à évaluer l'expertise et la pédagogie de leurs enseignants (Heffernan 2022). En fait, de nombreux syndicats et associations de professeurs aujourd'hui ont obtenu le droit d'exclure les évaluations étudiantes des évaluations formelles de l'enseignement. C'est dans ce contexte que les évaluations par les pairs de l'enseignement ont émergé comme une alternative viable (Cavanaugh 1996, Hutchings 1995).

Au début des années 1990, des chercheurs comme Pat Hutchings avec l'American Association for Higher Education (1995) ont commencé à rechercher et à promouvoir les « peer reviews » de l'enseignement dans les universités et les collèges. Il est important de noter que ces premières études se concentraient sur l'utilisation des revues par les pairs à des fins formatives, et non sommatives. Cette distinction est essentielle. Les observations formatives par les pairs se caractérisent par la réflexivité, l'investigation, l'expérimentation et la collaboration (Centra 1993, Iqbal 2014, Yiend et al. 2014). De plus, les observations par les pairs les plus efficaces sont réciproques, les membres du corps professoral observant mutuellement leurs cours (Yiend et al. 2014). La recherche sur les observations formatives par les pairs indique de manière écrasante et concluante qu'il s'agit de stratégies valables et efficaces pour la croissance et le développement en enseignement. En revanche, les observations par les pairs à visée sommative sont utilisées pour la reddition de comptes, comme mesure de performance et d'assurance qualité dans l'évaluation des enseignant·e·s en emploi précaire ou en période de titularisation. La recherche est également très claire : lorsqu'elles sont utilisées à des fins sommatives, bon nombre des bénéfices des observations par les pairs se perdent (Cavanagh 1996, Centra 2003). Cela est dû aux biais et à la subjectivité des pairs, à la réticence à critiquer des collègues vulnérables dans ce contexte, à la perte des caractéristiques réflexives et collaboratives, à la redondance et aux déséquilibres de pouvoir. En fait, beaucoup de ces problèmes sont les mêmes que ceux soulevés à propos des évaluations étudiantes.

Malgré ces préoccupations, les évaluations par les pairs à visée sommative de l'enseignement deviennent de plus en plus répandues dans les universités à travers le Canada. À titre d'exemple, permettez-moi de partager la bureaucratie des évaluations par les pairs de l'enseignement à mon université. Lorsque j'ai commencé à l'Université Mount Royal en 2010, le processus de titularisation durait cinq ans. Durant ce temps, on m'exigeait d'avoir trois observations par les pairs par année pour un total de quinze sur l'ensemble du processus de titularisation. Quelques années après ma titularisation, l'université a réduit cela à sept observations sur cinq ans (trois de celles-ci doivent être effectuées par la directrice ou le directeur de département lors de la première, de la troisième et de la quatrième année). De plus, les enseignants contractuels doivent aussi faire l'objet d'évaluations complétées par la directrice ou le directeur de département ou par une personne désignée tous les trois ans (remarquez la substitution du pair par le directeur). Les évaluations, bien qu'elles soient dites à la fois formatives et sommatives, sont largement sommatives et hautement redondantes : sommatives parce qu'elles sont utilisées comme critères pour l'emploi (pour les personnes en emploi précaire) et la titularisation, et redondantes parce qu'il y a très peu de variation entre les différentes observations puisque la grande majorité sont positives. De plus, à l'Université Mount Royal, les évaluations par les pairs incombent aux professeurs titulaires et aux directeurs de département (qui, en fait, effectuent beaucoup de ces évaluations), ce qui sape clairement le principe d'observation entre pairs.

Très simplement, ces évaluations servent à cocher une case indiquant si la personne peut ou ne peut pas enseigner. Ces évaluations ne deviennent formatives que si l'enseignant·e éprouve des difficultés en classe et nécessite un développement significatif pour atteindre la norme d'un « bon enseignant ». De plus, ces évaluations par les pairs sont devenues un fardeau de service majeur (et, à mon avis, inutile) pour les collègues titulaires qui sont tenus de les effectuer. À l'Université Mount Royal, les professeurs titulaires doivent assister à un atelier de formation sur les évaluations par les pairs de l'enseignement, assister à une réunion pré-observation, observer un cours, assister à une réunion post-observation et remplir un formulaire de plusieurs pages avec cinq sections nécessitant des observations et une analyse écrites. Comme nous sommes une petite université avec de petits départements, réaliser des évaluations par les pairs fait régulièrement partie de notre service et constitue un fardeau particulier pour les directeurs de département.

Cette année, j'ai présidé un comité pour mon association facultaire qui surveille l'évaluation du corps professoral (cela inclut les évaluations étudiantes et par les pairs de l'enseignement, les rapports annuels, et la titularisation et la promotion). Et, oui, je vois l'ironie d'un comité chargé d'évaluer des évaluations. Nous avons fait une rapide enquête auprès d'autres universités au Canada et avons découvert que la plupart exigent 2-3 évaluations par les pairs de l'enseignement pour la période de pré-titularisation et que la majorité n'ont aucune exigence pour le personnel en emploi précaire. Cependant, beaucoup de ces universités augmentent la fréquence de ces observations (beaucoup semblent aller vers des observations annuelles) pour la pré-titularisation, les introduisent pour les enseignant·e·s en emploi précaire et construisent la bureaucratie qui les accompagne. Une simple recherche sur le site web d'une université permettra de trouver des vidéos de formation, des ateliers, des critères, des formulaires, des rapports et des exigences concernant les observations par les pairs de l'enseignement. Les évaluations par les pairs de l'enseignement deviennent rapidement une industrie à part entière.

À ce stade, permettez-moi de revenir à David Graeber et à son article « Êtes-vous dans un emploi BS ? Dans le monde académique, vous n'êtes pas seul » (2018) où il affirme :

De nos jours, dans la plupart des universités — et cela semble être vrai presque partout — le personnel académique se retrouve à passer de moins en moins de temps à étudier, enseigner et écrire sur des choses, et de plus en plus de temps à mesurer, évaluer, discuter et quantifier la manière dont il étudie, enseigne et écrit sur des choses (ou la manière dont il propose de le faire à l'avenir).

Sur ce point, je mets en garde mes collègues qui cherchent à adopter les évaluations par les pairs de l'enseignement comme contrepoids aux évaluations étudiantes ou comme moyen d'assurer et de soutenir le bon enseignement – elles ne constituent pas l'affirmation du bon enseignement que vous recherchez. Lorsqu'elles sont utilisées à des fins sommatives, ces évaluations sont largement bureaucratiques et sapent le potentiel des observations par les pairs collaboratives et réflexives de l'enseignement. En bref, davantage d'évaluations par les pairs à visée sommative ne mèneront pas à de meilleurs enseignants. Au contraire, elles nous détournent du travail qui compte vraiment – l'enseignement et la recherche.

Références

Bernstein, D. J. (2008). Peer review and evaluation of the intellectual work of teaching. Change : The Magazine of Higher Learning, 40(2), 48-51.

Bunce, L., Baird, A., & Jones, S. E. (2017). The student-as-consumer approach in higher education and its effects on academic performance. Studies in Higher Education, 42(11), 1958-1978.

Cadez, S., Dimovski, V., & Zaman Groff, M. (2017). Research, teaching and performance evaluation in academia: the salience of quality. Studies in Higher Education, 42(8), 1455-1473.

Cavanagh, R. R. (1996). Formative and summative evaluation in the faculty peer review of teaching. Innovative Higher Education, 20(4), 235-240.

Centra, J. A. (1993). Reflective Faculty Evaluation: Enhancing Teaching and Determining Faculty Effectiveness. The Jossey-Bass Higher and Adult Education Series: ERIC.

Gelber, S. M. (2020). Grading the college: A history of evaluating teaching and learning. Johns Hopkins University Press.

Graeber, D. (2015). L'utopie des règles : Sur la technologie, la stupidité et les joies secrètes de la bureaucratie. Melville House.

Graeber, D. (2018). Are you in a BS job? In academe, you’re hardly alone. The Chronicle of Higher Education, 6.

Heffernan, T. (2022). Sexism, racism, prejudice, and bias: a literature review and synthesis of research surrounding student evaluations of courses and teaching. Assessment & Evaluation in Higher Education, 47(1), 144-154.

Hutchings, P. (1995). From idea to prototype: the peer review of teaching: a project workbook: AAHE Teaching Initiative, American Association for Higher Education.

Iqbal, I. (2013). Academics’ resistance to summative peer review of teaching: questionable rewards and the importance of student evaluations. Teaching in Higher Education, 18(5), 557-569.

Krautwurst, U. (2013). Why we need ethnographies in and of the academy: Reflexivity, time, and the academic anthropologist at work. Anthropologica, 261-275.

Mulholland, M.L. (2016). Do These HIPS Lie?: Neoliberalism, Academic Plans and a Budget Crisis at Mount Royal University. Culture,10(1). https://cascacultureblog.wordpress.com/2016/05/04/these-hips-do-lie-neoliberal-rhetoric-rankings-and-the-budget-crisis-at-mount-royal-university/

Menzies, C. R. (2010). Reflections on Work and Activism in the ‘University of Excellence.’. New Proposals: Journal of Marxism and Interdisciplinary Inquiry, 3(2), 40-55.

Roseman, S. R. (2010). Introduction: New perspectives on the business university. New Proposals: Journal of Marxism and Interdisciplinary Inquiry, 3(2), 5-8.

Shore, C., & Wright, S. (1999). Audit culture and anthropology: Neo-liberalism in British higher education. Journal of the Royal Anthropological Institute, 557-575.

Shiva, A. (2021). Remote Teaching and the Revival of Time-Tested Styles and Tools. Culture, 15 (1).https://cascacultureblog.wordpress.com/2021/05/13/remote-teaching-and-the-revival-of-time-tested-styles-and-tools/