Soutien aux programmes
Évaluer le MUSE
Références du programme
Intitulé du programme: Maîtrise universitaire en sciences de l’environnement - MUSE
Entités:
Institut des sciences de l’environnement (ISE)
Faculté des sciences
Faculté des sciences de la société
Faculté d’économie et de management (GSEM)
Coordinatrice de l’évaluation: Nicole Efrancey Dao, conseillère aux études
Responsable du programme: Prof. Martin Patel
Période de l'évaluation: Février 2013 à février 2014
Situation de départ
Pôle SEA : Pourquoi avoir évalué le master à ce moment? Quelle a été l'impulsion de départ?
Nicole Efrancey Dao : C’est la Faculté des sciences qui a décidé du moment de l’évaluation, dans le cadre de la planification annuelle des évaluations institutionnelles des programmes d’études. Comme le master avait été créé cinq ans plus tôt et enregistrait des grandes volées d’étudiant-es, il semblait que c’était un moment opportun pour faire un bilan.
Pôle SEA : En plus des objectifs généraux visés par l’évaluation institutionnelle, quels étaient les objectifs spécifiques poursuivis par l’équipe ?
N. Efrancey Dao : Nous avons saisi cette opportunité pour nous fixer comme objectif de renforcer le dialogue et l’interdisciplinarité au sein du programme. Cela représentait pour nous une occasion d’évaluer le programme dans sa globalité, en complément des évaluations des enseignements menées par ADEVEN.
En parallèle, comme certains changements avaient été apportés au master depuis sa création, notamment l’introduction de nouvelles spécialisations, nous nous posions certaines questions, par exemple pourquoi certaines spécialisations étaient plus populaires que d’autres. L’évaluation allait nous permettre de répondre à nos interrogations.
Déroulement de l'évaluation
Pôle SEA : Qui a été associé au projet et de quelle façon?
N. Efrancey Dao : Au départ, nous nous sommes demandé comment procéder! Le comité MUSE est renouvelé régulièrement, et au moment de l’évaluation un changement de présidence venait d’avoir lieu. Pour la personne nouvellement en place, il pouvait s’avérer délicat de piloter cette démarche. Il s’agit par ailleurs d’un master où interviennent beaucoup d’enseignant-es, provenant de plusieurs facultés, ce qui pouvait complexifier la coordination.
La solution retenue a été de désigner et de rémunérer une coordinatrice de l’évaluation. Cette décision a été validée par le comité MUSE et par le conseil de gestion de l’Institut des Sciences de l'Environnement (ISE). Tout le monde était d’accord pour que je joue ce rôle, étant à la fois impliquée dans la gestion du master et «neutre» car ne faisant pas partie du corps enseignant. J’ai donc été mandatée par la direction de l’ISE pendant 5 mois à 20% pour mener ce projet. Ce soutien a été utile, d’une part pour clarifier mon statut et donner une légitimité à ma fonction dans le cadre de l’évaluation, d’autre part vu l’ampleur des tâches à réaliser.
Pour constituer le comité d’auto-évaluation et organiser la visite des experts-es, nous avons élargi le comité MUSE pour nous assurer que tous les groupes thématiques soient représentés. Les responsables de tous les groupes ont été invités à s’associer au comité; la décision de participer ou non leur revenait.
Nous avons aussi associé des diplômé-es et des étudiant-e-s. Ces derniers étaient des représentant-es du Mouvement des étudiants de l'Institut des Sciences de l'Environnement (MELISE). Ce groupe a réalisé un énorme travail, notamment une enquête via LimeSurvey auprès des étudiant-es de 1e année, de 2e année et des diplômé-es, avec trois questionnaires différents. Il s'est chargé de retracer les diplômé-es et d’administrer l’enquête. Le taux de réponse a été important et les informations recueillies par ce moyen nous ont beaucoup aidés à revoir le plan d’études.
Le comité d’auto-évaluation était ainsi composé de 25 personnes, soit:
- le président du comité MUSE;
- les anciennes et anciens président-es du comité MUSE;
- le directeur de l’ISE;
- les membres du comité MUSE;
- les responsables de groupes de recherches de l’ISE;
- deux représentant-es des étudiant-es MUSE;
- deux représentant-es des diplômé-es MUSE.
Pour élaborer et mettre en œuvre le plan d’action, des séances de travail réunissant une vingtaine de personnes n’étaient pas optimales. Le comité MUSE élargi a donc validé la composition d’un groupe, une task force de 5-6 personnes, incluant un étudiant, pour réaliser cette étape.
Pôle SEA : Comment l’équipe s’est-elle organisée pour se concerter et collaborer, avant et après l'évaluation?
N. Efrancey Dao : En tant que coordinatrice, j’étais chargée de rédiger le rapport d’auto-évaluation, en m’appuyant sur des données que j’ai pu obtenir de façon très transparente auprès de la direction et de collègues.
A chaque fois qu’une nouvelle partie du rapport était rédigée, le document circulait à tout le comité d’auto-évaluation, avec un délai (par exemple une semaine) pour fournir un feed-back. Tout ce que j’ai rédigé a fait l’objet d’une telle validation.
Nous avons aussi réalisé une analyse SWOT participative, ce qui a très bien fonctionné. Cette réflexion collective (brainstorming) a été menée lors d’une séance spéciale SWOT d’une demi-journée réunissant la majeure partie du comité d’auto-évaluation. Dans un premier temps, nous avons listé les forces, faiblesses, opportunités et menaces du MUSE. Dans un deuxième temps, nous avons réalisé un tableau croisé (cross table) pour voir les liens entre la situation actuelle (forces et faiblesses) et la situation future potentielle (opportunités et menaces). Nous avons utilisé un code de couleur qui s’apparente aux feux de la circulation (en vert, les forces susceptibles d’être consolidées par des opportunités; en orange, les forces pouvant être compromises par des menaces et les faiblesses pouvant être améliorées par des opportunités ; en rouge, les faiblesses pouvant être aggravées par des menaces). Le résultat était visuellement très parlant et nous a guidés pour identifier des pistes et priorités de développement par la suite.
En principe, le comité MUSE se réunit quatre fois par année, mais pendant la période d’auto-évaluation nous nous sommes réunis beaucoup plus souvent, environ une fois toutes les six semaines.
Pour élaborer le plan d’action, la task force a élaboré une proposition, qu’elle a fait valider par le comité d’auto-évaluation, les responsables thématiques du MUSE et le comité de gestion de l’ISE. Pour y parvenir, nous nous sommes vus une fois toutes les deux ou trois semaines pendant environ deux mois.
Nous sommes maintenant dans la phase de mise en œuvre du plan d’action, dont j’assure le suivi. Je vais régulièrement vers les personnes responsables des actions prévues pour m’enquérir de leur avancement. Lorsqu’il s’agit d’en rendre compte au Bureau qualité en fin d’année, je fais valider le tableau de suivi par la direction et j’en informe le comité MUSE.
Pôle SEA : Quelles principales étapes ont balisé la démarche et quelle a été leur durée approximative?
N. Efrancey Dao : Nous avons suivi le calendrier proposé par le Bureau qualité, soit environ:
- 6 mois pour l’auto-évaluation (février à août 2013)
- 3 mois pour l’expertise externe (septembre à novembre 2013)
- 2 mois pour l’élaboration du plan d’action (décembre 2013 à janvier 2014).
Ce calendrier était globalement réaliste considérant le temps de travail qui était dégagé pour cela dans mon cahier des charges, même si certaines périodes ont été plus chargées que d’autres.
La phase d’auto-évaluation a été la plus conséquente pour nous, car il y avait un important travail de collecte de données à faire, en amont de la rédaction. Les enquêtes menées via LimeSurvey et par l’Observatoire de la vie étudiante nous ont permis de recueillir beaucoup d’informations, qu’il a fallu traiter et interpréter.
Nous sommes actuellement dans la phase de mise en œuvre du plan d’action. En décembre 2016, 44 des 57 actions (77%) ont déjà été menées. La suite et fin des travaux devrait s’effectuer d’ici fin 2017.
Résultats et effets
Pôle SEA : Suite à l’évaluation, quelles sont les nouveautés (introduites ou prévues) du point de vue de la pédagogie?
N. Efrancey Dao : Notre plan d’action se structure autour de quatre grands axes:
- Structure et interdisciplinarité
- Positionnement
- Encadrement et accompagnement des étudiant-es
- Fonctionnement et gouvernance
Chacun de ces axes se décline en plusieurs objectifs, qui sont à leur tour traduits en actions concrètes à réaliser. Depuis l’évaluation, nous avons changé non seulement la structure du programme mais également son contenu et son fonctionnement.
A titre d'exemple, le 1er semestre a été revu pour intégrer, d’une part, une formation aux méthodes (quantitatives, qualitatives, analyse de données, cartographie, géomatique, etc.) et, d’autre part, un enseignement par problème et une approche de terrain. En effet, un atelier «Interdisciplinarité» de 4 jours est organisé en début de cursus avec la participation des enseignant-es de sciences sociales et de sciences, des enseignant-es des autres ateliers du 1er semestre, d’un expert de l’inter- et de la transdisciplinarité et d’un conseiller en pédagogie universitaire.
La mise en place d’une évaluation globale et continue du programme nous permettra de mesurer l’impact des changements implantés pour les étudiant-es, au niveau de leur apprentissage et de leur charge de travail.
Pôle SEA : L'évaluation a-t-elle eu des effets dépassant le curriculum ou de tels effets sont-ils attendus?
N. Efrancey Dao : Il y a davantage de dialogue entre enseignant-es de disciplines différentes, car chaque volet d’enseignement a désormais un∙e responsable «sciences» et un∙e responsable «sciences sociales». Nous avons réussi à implanter ce fonctionnement pour les méthodes, les cours fondamentaux et les spécialisations. C’est une réussite dans le sens où cela a rapproché des personnes qui autrefois se parlaient peu ou pas. Cela débouchera certainement sur des projets communs. C’est également un avantage pour les étudiant-es, car cela renforce l’interdisciplinarité au sein du cursus.
L’évaluation du programme a débouché sur une redéfinition de la stratégie de l’ISE. Nous avons repris des éléments de l’évaluation du MUSE, tant sur le fond que sur la forme. Nous avons par exemple réutilisé la méthode du SWOT, l’idée du plan d’action et le soutien du pôle SEA.
Retour et conseils
Pôle SEA : Qu’est-ce qui a facilité votre démarche d'évaluation de programme ?
N. Efrancey Dao : Nous avons considéré cette évaluation comme un défi à relever collectivement. Le fait d’avoir œuvré ensemble pendant plusieurs mois à l’atteinte d’un objectif commun (réussir l’évaluation, recevoir une appréciation positive des experts-es) a contribué à renouveler la synergie au sein du master. Le fait d’avoir élargi le comité MUSE et donné la parole à de nouvelles personnes aussi.
Sur le plan pratique, il a été utile mandater une personne neutre pour coordonner l’évaluation et de solliciter l’accompagnement du pôle SEA, par exemple pour relire des documents ou animer des séances de travail.
Pôle SEA : Quels ont été les défis rencontrés et quelles pistes ont été explorées pour y répondre ?
N. Efrancey Dao : De manière générale, il y a toujours des personnes qui s’investissent moins dans une démarche comme celle-ci, ou qui sont moins conciliantes. Dans ce contexte, ma posture de coordinatrice neutre m’a permis de faire un travail de médiation parfois nécessaire pour éviter des tensions interpersonnelles.
Un autre défi était la distance entre les personnes travaillant dans des bâtiments différents. Nous avons organisé des rencontres qui ont nécessité des déplacements pour certaines personnes, puis avons beaucoup utilisé le mail et Dropbox pour le partage de fichiers. Nous avons maintenant un intranet sur Plone pour l’ISE, qui héberge notamment tous les documents issus de l’évaluation.
Pôle SEA : Pour terminer, un conseil aux équipes souhaitant évaluer un programme ?
N. Efrancey Dao : Je conseillerais de profiter de l’aide mise à disposition par le pôle SEA et de nommer une personne neutre pour coordonner l’évaluation, idéalement en lui dégageant un pourcentage de travail pour légitimer sa posture.