Communications orales – Bloc A – Résumés

Jeudi 15 novembre 2018
10 h à 11 h 10
Hôtel Gouverneur – Place Dupuis

Ne plus voir les résumés.

Salle La Capitale – L’évaluation à l’ère du numérique
  1. Le futur, c’est aujourd’hui
    Nathalie Loye (UdeM) et Pierre Gignac (UdeM)Le monde de l’éducation est en pleine mutation. En effet, le développement et l’accessibilité à des technologies de plus en plus performantes offrent de multiples possibilités pour guider le cheminement des étudiants, soutenir leurs apprentissages ou encore développer, gérer et évaluer les programmes de formation. Pensons par exemple à la réalité virtuelle ou augmentée, aux multiples possibilités de suivre des formations en ligne, à l’utilisation importante des téléphones intelligents ou des tablettes en contexte de formation, à la taille et à la facilité d’utilisation des nuages de stockage et de partage de données ou encore à l’utilisation des réseaux sociaux. Un nouveau vocabulaire émerge aujourd’hui avec les enjeux que pose l’intelligence artificielle. Données massives (big data) et forage de données (data mining), apprentissage machine (machine learning), réseaux neuronaux et apprentissage profond (deep learning), analytique des apprentissages (learning analytics), ces expressions font partie aujourd’hui de bien des discours. Mais que se cache-t-il derrière les mots? Quels liens ont-ils avec nos travaux en mesure et évaluation? Sur la base d’une revue approfondie de la littérature récente sur ces sujets, cette présentation vise à identifier et à définir les différents concepts, à les mettre en perspective et à visiter les méthodologies qu’exige leur utilisation. Une réflexion sur les problématiques nouvelles qui s’offrent aux chercheurs et praticiens spécialisés en mesure et évaluation est ensuite proposée. La conclusion vise à identifier les avenues de recherches novatrices qui s’ouvrent en éducation, les nécessaires collaborations qu’elles requièrent ainsi que les multiples questions qu’elles soulèvent, notamment celles de nature éthique et sur la prise de décision.
  2. Intégrer les technologies du numérique à l’évaluation des apprentissages, quelles pratiques en enseignement supérieur?
    Julie Lyne Leroux (USherbrooke)Dans le contexte mondial de l’éducation qui vise l’accessibilité aux études à un plus grand nombre, l’enseignement supérieur est marqué par de profondes transformations : accessibilité aux études, publics hétérogènes, développement des compétences du XXIe siècle, intégration des technologies du numérique (Conseil supérieur de l’éducation, 2015; Gouvernement du Québec, 2018). Dans ces nouveaux environnements, l’accès aux technologies du numérique (TN) contribue au développement de nouvelles pratiques d’enseignement-apprentissage et à une nouvelle culture d’évaluation (Audet, 2011; Blais, Gilles et Tristan-Lopez, 2015; Lebrun, 2015). Malgré la nécessité de prendre en compte cette nouvelle réalité en enseignement supérieur (De Ketele, 2010; Lameul et Loisy, 2014), dans le cadre de programmes qui accordent une place centrale au développement de compétences, les pratiques d’évaluation des apprentissages qui intègrent les TN sont méconnues à ce jour. Dans le cadre de cette communication, nous comptons présenter et discuter les résultats issus d’une recherche qualitative/interprétative (Savoie-Zajc, 2011) qui vise à comprendre les pratiques évaluatives des apprentissages d’enseignants du supérieur au collégial. Les données ont été recueillies au moyen d’entrevues semi-dirigées (Savoie-Zajc, 2004) auprès d’enseignants (n=14). L’analyse qualitative a été effectuée à l’aide d’un cadre de référence de l’évaluation des apprentissages à distance dans une approche par compétences (Leroux, 2018). À travers les contextes d’enseignement hybrides et totalement à distance, les résultats révèlent des pratiques d’évaluation plurielles qui accordent une place centrale à la combinaison inédite de méthodes d’évaluation et d’outils technologiques (Lison, Bédard, Beaucher et Trudelle, 2014; Leroux, 2010; Nizet, Leroux, Deaudelin, Béland et Goulet, 2016). En plus de révéler des pratiques évaluatives innovantes, les résultats confirment un changement de culture évaluative.
  3. L’apprentissage de l’imagerie thoracique par évaluation formative utilisant la concordance de perception
    Chantal Lafond (UdeM), Driss Kazitani (Emerge-Solutions), Bernard Charlin (UdeM), Nicolas Fernandez (UdeM), Joseph Omer Dyer (UdeM) et Robert Gagnon (UdeM)Depuis 2016, les étudiants de 2e année du programme de médecine de l’Université de Montréal ont accès à une plateforme technopédagogique hébergeant des vignettes cliniques jumelées à des imageries thoraciques sur lesquelles ils doivent pointer ou encercler l’anomalie dominante. Avec des cohortes annuelles de 300 étudiants, l’évaluation manuelle (ou individuelle) par un enseignant unique est laborieuse et couteuse. Ce projet explore la possibilité que l’enseignant puisse suffisamment personnaliser une plateforme numérique afin que cette dernière évalue les étudiants selon ses attentes.
    Objectifs de recherche :
    1. Tester la validité et la reproductibilité de deux méthodes numériques d’évaluation des habiletés de perception visuelle sur un sous-groupe d’étudiants (n=50).
    2. Extrapoler les résultats d’évaluation des habiletés de perception à l’ensemble de la cohorte (n=292).
    Méthodologie : Dans un premier temps, l’enseignant a déterminé les cibles à atteindre concernant 2 cas distincts (cas A = pneumonie, cas B = masse médiastinale) avant de fournir son appréciation « manuelle » selon une échelle de quatre niveaux (succès, acceptable, insuffisant, échec) pour chacune des réponses soumises par 50 étudiants sélectionnés de façon aléatoire.
    Par la suite, deux méthodes d’évaluation numérique ont été appliquées de façon automatisée, pour ce même sous-groupe :
    a. le coefficient DICE de similarité a été calculé pour les perceptions de chaque étudiant.
    b. l’enseignant a personnalisé la tolérance à l’erreur avec laquelle la plateforme compare les chevauchements et non-chevauchements des réponses des étudiants aux cibles prédéfinies.
    Finalement, les concordances de perception selon les 3 modalités d’évaluation (ci-dessus) ont été comparées puis le nombre d’étudiants en situation d’échec pour l’ensemble de la cohorte a été extrapolé.
    Résultats : En ne considérant que les situations d’échec ou de succès, la corrélation avec l’évaluation « manuelle » du professeur révèle un tau de Kendall de 0.75 pour le coefficient DICE de similarité et de 0.77 pour les formules personnalisées par l’enseignant. À noter un tau de Kendall de 0.92 entre les 2 modalités de correction numérique étudiées. La correction numérique des habiletés de perception appliquée aux 292 étudiants de la cohorte fait état de 8 % et 18 % d’échec à reconnaitre la pneumonie sur le cliché de face et de profil – puis 56 % et 32 % d’échec à reconnaitre la masse médiastinale sur le cliché de face et de profil.
    Conclusions : L’analyse numérique nous permet d’identifier rapidement les étudiants avec des difficultés de perception visuelle ainsi que les imageries suscitant des difficultés de perception à un grand nombre d’étudiants, selon des critères paramétrés par l’enseignant.
Salle Rimouski-Chicoutimi – Raisonnement clinique
  1. Comparaison des effets de deux méthodes pédagogiques sur l’apprentissage du raisonnement clinique en échographie pulmonaire en physiothérapie
    Joseph Omer Dyer (UdeM), Olivier Guérard (UdeM), Louis-Philippe Tremblay (UdeM), Marc-Antoine Bouffard (UdeM), Gabriel Chamberland (UdeM) et Jade Turgeon Desroches (UdeM)Introduction : Quel type d’activités pédagogiques (pratiques ou théoriques) favorise le développement du raisonnement clinique en échographie pulmonaire (EP) chez des étudiants en physiothérapie? En effet, les activités pratiques et théoriques entrainent souvent des niveaux d’engagement cognitif et de motivation différents chez les apprenants. Objectifs : Comparer les effets d’une activité pratique et d’une activité théorique sur la charge cognitive, l’apprentissage du raisonnement clinique et la satisfaction chez des étudiants en physiothérapie.
    Méthodologie : 75 étudiants de la maitrise professionnelle en physiothérapie ont été répartis aléatoirement entre les conditions A) activité d’apprentissage pratique et B) activité d’apprentissage théorique. Tous les étudiants ont participé à un cours magistral (2 h), un cours en ligne (2 h), un prétest (45 min), l’activité pédagogique (1,5 h pratique ou théorique selon la répartition aléatoire), un post-test (45 min).
    Résultats : Il y avait un effet groupe sur la performance de raisonnement clinique au travers des tests (ANOVA F (1,72) = 629; p< .001). L’analyse post-hoc révélait que la performance de raisonnement clinique au post-test pour le groupe pratique (1.8 ± .7) était supérieure (Test-T (73) = .370; p =.027) à celle du groupe théorique (1.4 ± .7). Il n’y avait pas d’effet groupe sur les connaissances conceptuelles au travers des tests. L’effort mental déployé par les étudiants engagés dans l’activité pratique (5.1 ± 1.0) était moins important (Test-T (73) = .799; p< .001) que celui déployé par ceux engagés dans l’activité théorique (6.3 ± .9). La satisfaction des étudiants à l’égard de l’activité pratique (13.6 ± 2.0) tendait à être supérieure (Test-T (72) = 1.709; p= .092) par rapport à l’activité théorique (12.9 ± 1.8). Discussion/Conclusion : L’activité pratique s’est avérée être cognitivement plus efficiente sur le plan des processus d’apprentissage pour développer le raisonnement clinique par rapport à l’activité théorique.
  2. La conception d’un environnement numérique à l’apprentissage du raisonnement clinique : implications théoriques et pédagogiques
    Marie-France Deschênes (UdeM), Johanne Goudreau (UdeM), Guillaume Fontaine (UdeM), Martin Charette (UdeM), Kenny Baptista da Silva (UdeM), Marc-André Maheu-Cadotte (UdeM) et Louise Boyer (UdeM)Contexte : Les stratégies éducatives qui utilisent un environnement numérique génèrent de nouvelles modalités quant à la traçabilité numérique de l’apprentissage et du support pédagogique à adopter. De plus, la façon dont elles doivent être conçues pour optimiser le développement du raisonnement clinique n’est pas claire.
    But : Le but de cette revue est d’examiner et de cartographier les stratégies éducatives utilisées dans des environnements numériques en sciences infirmières, leurs contributions au développement du raisonnement clinique ainsi que les perspectives théoriques sous-jacentes à leurs conceptions.
    Méthode : Une revue de la portée a été menée afin de répondre aux objectifs de la revue documentaire. Des 1202 écrits scientifiques recensés, 18 ont été conservés pour répondre aux objectifs de la revue.
    Résultats : Insuffisamment associées à des modèles cognitifs d’apprentissage, les perspectives théoriques qui sous-tendent la conception des stratégies éducatives demeurent peu documentées, particulièrement en ce qui concerne le développement du raisonnement clinique. La conceptualisation du compagnonnage cognitif numérique abordé dans cette revue fournit quelques indices face à l’utilisation des technologies dans une perspective d’aide à l’apprentissage. Cette conceptualisation suggère la nécessité de la rétroaction et de l’interaction comme moyens pédagogiques à considérer pour l’élaboration de ces stratégies. Elle propose l’itération des activités, l’évaluation formative et la modélisation potentielle du raisonnement clinique comme mesure d’aide à l’apprentissage. Enfin, elle considère l’emploi de stratégies adaptatives et progressives aux étapes développementales de la compétence.
    Conclusion : L’apprentissage sur des environnements numériques nécessite une conception théorique solide à établir. Il est suggéré que le compagnonnage cognitif soit numériquement facilité et qu’il lie pertinemment le design de la stratégie éducative et le développement du raisonnement clinique.
  3. La technologie au service de l’évaluation du raisonnement clinique : l’analyse du parcours visuel au cours d’une séance de simulation médicale
    Thomas Pennaforte (UdeM) et Nathalie Loye (UdeM)Introduction : Le raisonnement clinique peut être évalué par des outils spécifiquement développés tels que les « traditionnels » tests de concordance de scripts (TCS) (Charlin, 2000) et problèmes de raisonnement clinique (PRC) (Groves, 2002). Plus récemment, plusieurs études ont montré que l’analyse du parcours visuel ou eye-tracking pouvait également fournir un aperçu des processus cognitifs impliqués (Horstmann, 2009; Innocenti, 2010; Ben Kheder, 2017). Notre travail de recherche doctoral a consisté à développer un outil d’évaluation globale du raisonnement clinique à partir de l’analyse d’un éventail de données issues de questions évaluatives et du parcours visuel, en utilisant la simulation médicale comme contexte d’évaluation.
    Méthodologie : Quarante médecins de différents niveaux de formation ont été exposés à plusieurs mises en situation simulées de réanimation néonatale. Celles-ci étaient entrecoupées de TCS et PRC dont les réponses ont été collectées par un logiciel spécialement développé. Le parcours visuel des participants a été enregistré par l’intermédiaire de lunettes connectées (Tobii Pro Glasses 2©) tout au long de la prise en charge, et trois régions d’intérêt particulier ont été définies (moniteur, mannequin, vignettes). Les analyses en cours visent à modéliser l’ensemble des données récoltées afin de proposer un portrait du raisonnement clinique des participants.
    Résultats : La collecte des données s’est déroulée d’avril à juillet 2018 et les résultats des analyses préliminaires seront ici exposés.
    Conclusion : Ce nouvel outil d’évaluation du raisonnement clinique se base sur la congruence d’un éventail de données collectées « en immersion ». Parmi elles, l’analyse du parcours visuel permet de fournir des informations objectives sur les différents processus cognitifs impliqués.
Salle Gouverneur 1-2 – Évaluation de programmes
  1. Des portraits d’évaluateurs novices et experts au service de propositions méthodologiques efficaces face aux contraintes de terrain
    Maud Mediell (UOttawa) et Éric Dionne (UOttawa)La pratique de l’évaluation de programme est d’une indéniable complexité, façonnée au gré de difficultés qui se manifestent, entre autres, dans l’activité de l’évaluateur sur le plan de la communication avec les clients, de la formation de nouveaux évaluateurs, de problèmes méthodologiques ou des contraintes de terrain (Brandon, 2008). Dans le cadre de cette recherche doctorale, nous nous intéressons à la variable « méthodologie » afin de déterminer les facteurs qui peuvent influencer les évaluateurs dans leurs choix dits méthodologiques.
    Au cours de cette communication orale, nous présenterons les résultats obtenus à partir des analyses d’entretiens de métaévaluation et d’explicitation réalisés auprès d’évaluateurs novices et experts (n=9). L’objectif de notre recherche est de décrire l’opérationnalisation des choix méthodologiques des évaluateurs et l’influence des contraintes de terrain sur lesdits choix. Nous dresserons des portraits d’évaluateurs – novices et experts – qui exercent dans des entreprises spécialisées en évaluation de programme dans le secteur public, et nous ferons ressortir les différences et les ressemblances entre ces deux profils d’évaluateurs.
    Les résultats préliminaires tendent à montrer que les novices : 1) ne semblent pas avoir de connaissances relatives aux processus décisionnels engagés entre les gestionnaires de l’évaluation du gouvernement et l’évaluateur expert de l’entreprise en charge de l’évaluation externe; 2) se réfèrent presque exclusivement à la politique d’évaluation du gouvernement du Canada pour justifier les décisions méthodologiques; 3) ne connaissent pas les détails du déroulement de l’évaluation à laquelle ils participent; 4) ont un esprit critique peu développé . Malgré des décisions méthodologiques imposées, ils demeurent centrés sur les résultats (attentifs aux contraintes et capables de se projeter) et mobilisent un esprit critique pointu afin de déterminer les priorités en matière de négociations.
  2. Efficience des indices révélateurs d’incidents critiques dans les données d’évaluation continue de programme au collégial
    Francis Djibo (Cégep de Rivière-du-Loup)Les cégeps adoptent de plus en plus l’évaluation continue de programme au détriment de l’évaluation approfondie de programme. Six critères traditionnels sont analysés au fil des années : pertinence, cohérence, méthode pédagogique, ressources, efficacité, gestion.
    Une série d’indicateurs existent déjà pour chaque critère d’évaluation, proposés par différentes instances, dont la Commission d’évaluation de l’enseignement collégial (CEEC) et les services d’admission du Québec (SRACQ, SRAM, SRASL). Les plus connus ou les plus utilisés, d’ordre quantitatif, sont les trois indicateurs du 5e critère que sont les taux de réussite, de persévérance et de diplomation. Par contre, les indicateurs des données qualitatives qui couvrent les cinq autres critères sont plus rares, méconnus ou laissés à la discrétion de chaque cégep.
    L’évaluation d’un programme à l’aide des autres critères génère cependant un nombre important de données à l’aide de questionnaires, de groupes de rétroaction et d’observation. L’analyse annuelle de ces données par les conseillers pédagogiques requiert d’eux la capacité d’identifier les difficultés d’un programme.
    De façon générale, le choix et l’efficience des indices liés aux indicateurs aussi bien quantitatifs que qualitatifs devraient nous permettre de juguler la rapidité d’analyse, le grand nombre de données et le nombre de programmes à évaluer chaque année.
    Puisque les indices traditionnels utilisés dans les évaluations approfondies ne fonctionnent pas toujours, au Cégep de Rivière-du-Loup, nous avons entamé un long processus de validation, notamment à l’aide d’analyses factorielles et de la méthode ROC, pour identifier quelques indices efficients. Nous proposerons, pour chaque critère, nos résultats d’analyse.
  3. L’évaluation de programmes : histoire, approches et perspectives
    Jamal Berdaa (UdeM) et Joëlle Morrissette (UdeM)Depuis une vingtaine d’années, dans le contexte de la reddition de comptes et de la gestion axée sur les résultats qui affecte autant les sphères publiques que privées dans plusieurs pays, l’évaluation de programmes est devenue une pratique à laquelle les gouvernements et entreprises qui cherchent à optimiser leur performance ont de plus en plus recours. Selon plusieurs (Chen, 2005; Christie et Alkin, 2008; Dubois et Marceau, 2005; Guskey, 2000; Nadeau, 1991; Patton 1997; Ridde et Dagenais, 2009; Scriven, 1991; Stufflebeam, 2014), il s’agit d’un processus systématique utilisé pour déterminer le mérite ou la valeur d’un programme, d’un curriculum ou d’une stratégie dans un contexte spécifique. En dépit de sa pertinence sociale actuelle et de son évolution continue, cette activité serait mal comprise, redoutée, voire évitée par les praticiens (Shrock et Geis, 1999) et poserait des problèmes sur le plan de sa mise en œuvre jugée difficile à réaliser. Le but de cette communication est de contribuer à clarifier le concept d’évaluation des programmes en proposant un portrait critique du domaine à partir des travaux recensés dans des revues spécialisées, des livres à vocation académique et des publications électroniques (ERIC, Google Scholar, Érudit, Cairn, Atrium, etc.), autant en français qu’en anglais. Pour ce faire, nous remonterons aux origines du concept afin d’en retracer l’évolution jusqu’aux travaux actuels dans ce domaine. Nous présenterons les différentes approches d’évaluation de programmes sur les plans théorique, épistémologique et méthodologique, et examinerons leur pertinence. Nous conclurons en exposant les principales limites de chacune d’entre elles, ce qui nous permettra d’esquisser les prospectives en recherche dans le domaine de l’évaluation des programmes.
Salle Gouverneur 3 – Évaluation de l’enseignement
  1. Pour une évaluation crédible et acceptée : enjeux entourant l’élaboration d’une démarche d’évaluation pour les enseignants permanents du Québec
    Nathan Béchard (Commission de la construction du Québec)Au Québec, différents écrits professionnels et scientifiques arrivent au constat que l’évaluation des enseignants permanents du secondaire est peu pratiquée et qu’elle est généralement rejetée par les enseignants. Toutefois, l’opinion des principales personnes concernées par cette pratique demeure largement sous-documentée dans la province. Dans le cadre de cette communication, nous proposons de restituer les résultats d’une étude descriptive menée auprès d’enseignants permanents et de directions d’écoles secondaires (n=8) qui visait à documenter leur opinion au regard des visées, des modalités, des critères ainsi que de la personne devant être responsable de mener l’évaluation. Le discours des participants recueilli à l’aide d’entrevues individuelles semi-dirigées permet de suggérer une démarche d’évaluation formative (voire formatrice), axée sur le développement professionnel et supervisée par la direction adjointe ou la direction de l’école, mais intégrant aussi la participation d’autres acteurs clés, comme des pairs d’expérience et des conseillers pédagogiques.
  2. L’analyse des résultats d’évaluation de l’enseignement : quelles pratiques pour quel développement professionnel des enseignants universitaires?
    Christelle Lison (USherbrooke) et Isabelle Nizet (USherbrooke)Les enseignants du supérieur sont de plus en plus amenés à penser leur développement professionnel sur le plan pédagogique (Bédard, 2014). L’évaluation de l’enseignement par les étudiants constitue un levier potentiel de ce développement à condition que l’évaluation soit pensée dans un contexte d’augmentation de la qualité de l’enseignement (Younès, Paivandi et Detroz, 2017; Younès, Rege Colet, Detroz et Sylvestre, 2012).
    Cette réflexion sur la qualité de l’enseignement nous parait essentielle au moment où de nombreuses institutions d’enseignement supérieur souhaitent mettre en place des formations à distance. En effet, cet enseignement a des caractéristiques spécifiques (Berk, 2013; Charlier, Deschryver et Peraya, 2006; Lakhal et Leroux, 2014). Le questionnaire est le moyen le plus répandu (Detroz et Verpoorten, 2017) pour l’évaluation de l’enseignement par les étudiants, mais il est moins complété lorsqu’il est proposé en ligne. Harvey (2016) mentionne que les étudiants formulent plus de commentaires aux enseignants; ces derniers remettent cependant en question la validité et la fidélité des instruments (Detroz, 2008), ce qui constitue un frein potentiel à la prise en compte des résultats pour améliorer leurs pratiques d’enseignement (Detroz et Blais, 2012; Perret, 2017).
    Partant de ce constat, notre objectif est de documenter, à l’aide d’entrevues semi-dirigées, les effets de l’évaluation de l’enseignement par les étudiants sur le développement professionnel d’enseignants universitaires donnant des cours en ligne. En référence au cadre de Clarke et Hollingsworth (2002), l’analyse de contenu de ces entrevues a permis de construire une cartographie des processus de recueil d’information, d’interprétation selon des critères de pertinence et de validité mis en œuvre par ces enseignants à partir des informations quantitatives et qualitatives issues de l’évaluation institutionnelle. La présence de cycles de régulation courts et longs semble en lien avec certaines particularités technologiques de l’environnement d’apprentissage notamment l’individualisation et l’optimisation de l’usage.
  3. Évaluation en ligne des enseignements par les étudiants
    Assia Benabid (Faculté des sciences Ben’Msik Sidi Othmane Casablanca Maroc), Mohamed El Wafiq (Centre régional des métiers de l’éducation et de la formation) et Mohamed Talbi (Faculté des sciences Ben’Msik Sidi Othmane Casablanca Maroc)L’évaluation des enseignements par les étudiants, identifiée couramment par le sigle EEE, continue à constituer une question d’actualité dans le monde francophone, là où les enseignants sont habitués à évaluer et acceptent difficilement par la force de l’habitude d’être évalués, contrairement au monde anglo-saxon, dont les normes pédagogiques ont rendu cette évaluation routinière.
    En prenant en considération ce contexte, l’approche qui nous parait la plus adéquate est celle qui rassure les enseignants et toutes les parties prenantes de l’objectif d’amélioration d’une quelconque évaluation. Nous sommes conscients de l’utilité de cette approche. Cependant, pour qu’elle soit efficace et efficiente, elle doit utiliser une méthode pour son opérationnalisation dans des projets d’évaluation.
    Cependant, la démarche que nous estimons appropriée, dans des contextes variés, est la méthodologie de l’évaluation participative qui implique plusieurs acteurs participant à un projet d’évaluation en vue d’une amélioration.
    Pour appliquer cette démarche sur un projet réel, nous avons opté pour un essai sur un exemple concret qui est celui de l’évaluation des enseignements par les étudiants dans un centre de formation des professeurs, en l’occurrence le Centre régional des métiers de l’éducation et de la formation (CRMEF) de la région Casablanca Settat – Maroc et plus particulièrement au sein de son siège. En effet, l’échantillon de mesure est un enseignement concernant un module de formation intitulé « Conception et programmation orientée objet » pour une section donnée, en l’occurrence, la section informatique des élèves professeurs du cycle secondaire qualifiant. La généralisation peut être reproduite selon les mêmes principes de la méthode selon les particularités des classes et des modules correspondants.