Communications orales – Bloc D – Résumés

Vendredi 16 novembre 2018
10 h à 11 h 30
Hôtel Gouverneur – Place Dupuis

Ne plus voir les résumés.

Salle Rimouski-Chicoutimi – Évaluation à grande échelle et tests standardisés
  1. Déjouer le paradoxe de Simpson dans l’interprétation de son projet de formation
    Grégoire Aribaut (CPU) et Nathalie Loye (UdeM)

    Le paradoxe de Simpson est un paradoxe statistique résultant d’une analyse des données qui ne tient pas compte du volume auquel elles se réfèrent.
    Dans le contexte d’un projet de formation en ligne, les données issues des rapports (trafic et activité), peuvent conduire à une analyse observée à l’intérieur de plusieurs groupes qui donne l’illusion de s’inverser lorsque ces groupes sont consolidés.
    Ce constat est la conséquence de l’occultation et parfois la non-conscience de certaines variables non considérées dans l’analyse des données produites par les rapports des SGA. On parle alors de facteur de confusion. Il est ainsi important de pouvoir identifier ce(s) facteur(s) au plus tôt dans le projet de formation (et s’il a lieu, le projet parent), pendant la phase d’analyse. C’est l’illustration parfaite d’un des dangers inhérents au big data et surtout de l’accessibilité offerte par l’open data, qui imposent d’avoir l’expertise pour déjouer ce paradoxe.
    Pour nous accompagner dans ce défi, les SGA produisent des rapports qui documentent les données connexes au trafic dans la plateforme de formation ainsi que l’activité des apprenants. Il est ainsi possible de détecter des tendances et des appétences : données précieuses pour nous accompagner dans la mise en place d’une stratégie d’apprentissage et d’évaluation efficace.
    Une approche complémentaire recommandée est de mettre en place une étude rétrospective qui a pour avantage d’identifier plus de facteurs de confusion; nous ne sommes plus dans la spéculation qui va très souvent avec son lot d’incertitudes et d’oublis qui sont les attributs des études prospectives qui restent toutefois la seule option disponible au début d’un projet.
    Après avoir défini les concepts, la présentation s’appuiera sur des exemples de rapports technopédagogiques pour proposer une réflexion critique sur les tendances et pratiques actuelles ainsi que sur les possibilités et limites dans l’interprétation des données des projets de formation.

  2. Amélioration du calibrage et du contrôle de l’exposition des items dans les évaluations à grandes échelles
    Sébastien Portelli (Centre international d’études pédagogiques), Sébastien Georges (Centre international d’études pédagogiques) et Hélène Hulin (Centre international d’études pédagogiques)

    La demande et les exigences des utilisateurs finaux (ministères, universités, entreprises, etc.), en matière d’évaluation des compétences langagières, pour encadrer et accompagner la mobilité internationale (immigration, étudiants, professionnels) ont considérablement évolué.
    Dans cette communication, nous présenterons comment nous avons introduit la technique du calibrage masqué sur ordinateur dans les évaluations à grandes échelles de français pour répondre à ces évolutions. Après une brève revue du protocole expérimental et des résultats obtenus pour mesurer l’impact sur le score des candidats au test et les perceptions des candidats, nous montrerons comment nous sommes en mesure, depuis 2014, de mieux faire face au nombre croissant de candidats et de sessions tout en maintenant à un niveau acceptable le contrôle de l’exposition des items et le nombre de nouveaux items dans les versions de tests. Les autres avantages et inconvénients seront également passés en revue. 1) Le contrôle de la distribution de nos versions de tests (maximum de 7 semaines/1500 candidats/an), devenu un fort atout pour l’exposition des items et des versions, et notamment par rapport au calibrage des items pratiqué antérieurement et de façon plus classique avec les prétests. 2) Les impacts bénéfiques sur les plans financiers et temporels de cette option seront également examinés. 3) Enfin, en ce qui concerne les analyses psychométriques, le calibrage des items est également amélioré (plan d’ancrage, augmentation du nombre de nouveaux items calibrés, moins de candidats avec peu ou pas de réponses).
    En conclusion, nous montrerons comment nous espérons désormais être capables de mieux ajuster, et quasiment en direct, le nombre de nouveaux items et de nouvelles versions aux variations des effectifs des candidats.

  3. Application d’un nouveau modèle de la théorie de la réponse à l’item à des séquences d’identification de photographies et de chants d’oiseaux
    Martin Riopel (UQAM), Pierre Chastenay (UQAM), Laval Roy (Des oiseaux sur ma route) et Louise Choquette (UQAM)

    La complexité des modèles habituels de la théorie de la réponse à l’item pose des difficultés techniques qui rendent difficile leur utilisation systématique par les praticiens. Afin de favoriser cette utilisation, il est nécessaire de poursuivre le développement de ces modèles afin de les rendre mieux adaptés au contexte particulier de l’éducation. Tel que proposé lors de communications précédentes, des considérations édumétriques liées à l’invariance d’échelle permettent de proposer un nouveau modèle plus circonscrit et mieux adapté à la mesure des apprentissages. C’est dans ce contexte qu’une expérimentation a été effectuée pour évaluer des séquences d’identification de photographies et de chants d’oiseaux à l’aide d’une application en ligne librement distribuée. Durant la dernière année, plus de mille participantes et participants, francophones et anglophones, ont accepté de participer à ce projet de recherche. Les résultats préliminaires obtenus permettent de confirmer les hypothèses d’invariance d’échelle et l’applicabilité du modèle. De plus, les propriétés du modèle proposé permettent de simplifier les calculs nécessaires à son application en contexte réel afin d’identifier des séquences optimales d’apprentissage.

  4. Sévérité et temps : une étude longitudinale
    Christophe Chénier (UQAM), Gilles Raîche (UQAM) et Pascal Ndinga (UQAM)

    L’une des préoccupations majeures de l’évaluation des compétences est que les évaluateurs se doivent d’avoir un niveau de sévérité similaire de manière à ce que les résultats de la personne évaluée ne dépendent pas de l’identité de l’évaluateur. Si énormément d’études ont mesuré le niveau de sévérité d’évaluateurs de manière transversale ou en deux temps de mesure rapprochés dans le temps, très peu ont modélisé l’évolution longitudinale du niveau de sévérité. De plus, ces études ont peu de temps de mesure ou ont collecté des données sur une courte période de temps, ce qui diminue leur intérêt quant à l’évolution à long terme du niveau de sévérité. Cette recherche avait donc pour objectif de modéliser l’évolution longitudinale du niveau de sévérité d’évaluateurs. Un total de 12 évaluateurs en français langue étrangère ayant évalué l’expression orale de 3333 candidats d’octobre 2010 à avril 2014 constituent l’échantillon. Leur niveau de sévérité a été estimé à l’aide du modèle Rasch à multifacettes et les séries chronologiques résultant de ces estimations ont été modélisées avec la modélisation AMMI. Les résultats montrent que 73 % des séries chronologiques des niveaux de sévérité sont normalement distribuées et que 38 % des séries sont autocorrélées. Un peu plus d’un tiers des évaluateurs ont un niveau de sévérité dont l’étendue intra-individuelle longitudinale est égale ou supérieure à l’étendue interindividuelle des niveaux de sévérité de l’ensemble des évaluateurs au cours d’une période de temps donnée : leur niveau de sévérité a un problème de dérive temporelle. Quelques résultats montrent que certains évaluateurs débutants ont un niveau de sévérité plus instable, susceptible d’avoir des valeurs extrêmes par rapport au niveau de leurs collègues expérimentés. De même, dans certains cas, les niveaux de sévérité d’évaluateurs travaillant ensemble sont corrélés, ces corrélations allant de faibles à modérées.

Salle Gouverneur 1-2 – Évaluation des apprentissages et des compétences
  1. Examining mathematics teachers’ classroom assessment practices through a contextual lens
    Christine Suurtamm (UOttawa) et Nathalie Sayac (Université Paris-Est Créteil / LDAR)

    Although much has been written about current perspectives on classroom assessment that encourage assessment that is imbedded in instruction and supports student learning (Suurtamm et al., 2016), it is not clear how these messages actually are implemented in classrooms (Wiliam, 2007). Many factors influence how teachers understand these messages and how they translate them into classroom practice. These factors are often related to the context within which teachers teach, and may include assessment policies, professional development opportunities, and the messages given about assessment (Sayac, 2017).
    This study focuses on mathematics teachers’ assessment practices in two different contexts: France, and Ontario, Canada. The province of Ontario has both English-language and French-language school districts, hence it is interesting to compare teachers from France and both French- and English-language teachers in Ontario. Within these contexts we take into account that assessment policies and opportunities for professional learning may differ greatly. We will describe these aspects of the context in order to understand and characterize the context within which we examine practice.
    In order to report on teachers’ assessment practices, we designed a questionnaire that helps us to describe teachers’ assessment practices, ways that practices have been supported, and teachers’ understanding of mathematics that influences the way they respond to student thinking. To get a sense of teachers’ understanding, a part of the questionnaire asks teachers to respond to students’ solutions to tasks that focus on problem solving.
    Ultimately, the study places teacher assessment practices within the two different contexts and describes the factors within each context that may influence classroom assessment. The comparison allows us to examine the convergence or divergence of different assessment cultures within a mathematics context.

  2. Grille d’évaluation des pairs du travail en équipe collaboratif
    Lina Forest (Polytechnique Montréal) et Éveline Gosselin-Picard (Polytechnique Montréal)

    Depuis 2006, 2 crédits universitaires, sur les 120 que compte un programme de formation d’ingénieur à Polytechnique Montréal, sont réservés à la formation au travail en équipe collaboratif. Par ailleurs, le Bureau canadien d’agrément des programmes, depuis 2014, évalue également que tous les étudiants en génie au Canada développent la « qualité » travail en équipe.
    Cette formation se donne sous la forme d’un cours, Habiletés relationnelles et travail en équipe collaboratif, en 1re année de baccalauréat et est suivie de coaching d’équipes dans trois des quatre projets intégrateurs, des projets d’ingénierie d’envergure impliquant les notions apprises dans les autres cours du programme. Plusieurs enseignants de ces projets utilisent une évaluation par les pairs. La grille dont il sera question dans cette communication se situe dans le contexte du dernier projet intégrateur du programme de génie électrique qui se donne sur deux trimestres en 4e année.
    Le processus d’évaluation par les pairs dans ce cours se fait en deux temps : une première évaluation, formative, a lieu lors du premier trimestre et la seconde, sommative, se fait à la fin du cours. Jusqu’à l’an dernier, une grille d’évaluation avec critères était utilisée. Les étudiants remplissaient la grille et la note accordée à un étudiant était modérée par l’enseignant avec un système qui n’était pas totalement transparent. À la suite de plaintes d’étudiants, l’enseignant responsable du cours a demandé l’aide de la spécialiste en travail en équipe, qui intervient dans le cours, et d’une conseillère pédagogique, spécialisée en mesure et évaluation. Ces dernières ont proposé une grille d’évaluation descriptive des pairs qui présente les comportements attendus des membres de l’équipe. La grille a été validée et bien reçue par les étudiants du cours. Nous traiterons du processus et des avantages d’une telle grille dans un contexte d’évaluation des pairs.

  3. L’évaluation des apprentissages en école d’architecture en France
    Joanne Vajda (École nationale supérieure d’architecture de Paris-Malaquais et AHTTEP – UMR AUSser CNRS 3329) et Diane Leduc (UQAM)

    L’évaluation des apprentissages dans les écoles d’architecture françaises s’inscrit dans une pédagogie par projet où la transformation personnelle et professionnelle de l’étudiant est centrale. Dans la formation d’architecte, le travail sur le projet d’architecture est d’ailleurs un lieu privilégié pour la rétroaction et l’autoévaluation. Cependant, les enseignants exploitent peu les différentes manières d’impliquer l’étudiant dans le processus évaluatif et utilisent des stratégies principalement issues de la tradition et bien ancrées dans les habitus. La confrontation aux questions pédagogiques soulevées lors des activités de sensibilisation du Réseau PAPier – Pédagogie Architecture Paysage, a généré une modification d’une partie des pratiques d’évaluation en instaurant dans mes enseignements une démarche d’autoévaluation à réaliser par les étudiants. À travers la mise en place d’outils, qui ont permis de rendre plus clairs les critères d’évaluation et les objectifs d’apprentissage, le système mis en place a rendu les étudiants acteurs de leur formation et a constitué un moyen de communication efficace pour mettre la rétroaction en œuvre. Au-delà de l’évolution d’une démarche pédagogique personnelle, l’expérience a eu des retombées sur toute une équipe d’enseignants et a amorcé une réflexion sur l’évaluation au sein de plusieurs écoles d’architecture en France.

  4. Une formation pour révéler ses compétences sociales : mais comment mesurer leur évolution?
    Mélanie Souhait (TalentCampus FCS BFC) et Sébastien Chevalier (Université de Bourgogne –ESIREM)

    Les compétences sociales sont reconnues comme conférant aux jeunes des « chances supplémentaires pour s’insérer professionnellement » (Jellab, 1998,) et durablement (Duchène, 2010). À partir de ces constats, nous notons une importante volonté de développer ces compétences, que ce soit dans le milieu de l’enseignement supérieur ou de l’entreprise. Mais comment mesurer l’évolution de ces compétences sociales? Comment s’assurer que l’individu a progressé dans telle ou telle compétence sociale? Comment connaitre son niveau de communication, de gestion du stress, de travail en équipe?
    L’objectif de cette communication est de présenter en quoi TalentCampus est un programme novateur de développement des compétences sociales. Nous développerons les enjeux et objectifs de ce programme, la pédagogie mise en place et enfin, la méthodologie retenue pour évaluer les effets de la participation à ce programme.
    L’évaluation a en effet une place essentielle dans TalentCampus. Plusieurs actions d’évaluation sont menées pour mieux appréhender les impacts de la formation et valider les pratiques les plus pertinentes dans l’objectif de les répliquer. L’originalité du travail présenté dans cette communication consiste à proposer une méthode permettant de mesurer l’évolution des compétences sociales des apprenants à travers un questionnaire d’autoévaluation proposé avant et un mois puis six mois après la formation. L’évaluation s’effectue par le biais de tests psychologiques que les participants remplissent en ligne, hors des sessions de formation et sur la base du volontariat (exemples de tests : estime de soi de Rosenberg, auto-efficacité généralisée de Schwarzer et Jerusalem, etc.).
    La communication décrira les biais éventuels de certains protocoles testés par TalentCampus depuis 2012 et montrera comment le protocole retenu permet de suivre et de mesurer certaines compétences sociales des apprenants ayant bénéficié de TalentCampus.

Salle Gouverneur 3 – L’intégrité académique au postsecondaire
  1. Quelques perspectives théoriques sur le plagiat…
    Sébastien Béland (UdeM), Julien S. Bureau (ULaval), Serge Larivée (UdeM) et François Bowen (UdeM)

    Le plagiat est un problème qui touche tous les établissements d’enseignement du pays et dont la prévalence au niveau postsecondaire est élevée. Plusieurs définitions ont été proposées pour expliciter l’acte de plagier et elles convergent généralement vers le fait qu’un étudiant s’approprie une idée sans reconnaitre, d’une manière ou d’une autre, la propriété intellectuelle de l’auteur d’origine.
    Il est connu que les développements technologiques des dernières décennies ont décuplé l’accessibilité à des masses d’information importantes. Malheureusement, cela a aussi fait augmenter les opportunités de plagier des étudiants. Ainsi, McCabe (2005) rapportait que 38 % des étudiants universitaires ont admis avoir déjà plagié lors d’un travail scolaire. Il est donc important de bien comprendre le concept de plagiat afin de trouver des pistes de solution visant à prévenir ce problème.
    Cette communication a comme objectif de tisser des liens entre différentes perspectives théoriques afin de porter un éclairage nouveau sur le concept de plagiat. Pour ce faire, nous irons puiser au sein d’idées en économie, en biologie évolutive, en philosophie et en psychologie. Nous devrions ainsi être plus à même de comprendre ce qui motive un individu à commettre un acte de plagiat en plus de poser des hypothèses explicatives, indépendamment des progrès technologiques, sur la persistance de ce type de comportement. Nous jetterons également un regard sur la gravité et les conséquences du plagiat en contexte scolaire postsecondaire afin d’alimenter de nouvelles pistes de recherche sur le sujet.

  2. Élaboration d’un questionnaire sur la tricherie aux examens : le cas des étudiants en sciences de l’éducation
    Éric Frenette (ULaval), Sylvie Fontaine (UQO), Marie-Hélène Hébert (Université TÉLUQ) et Mikhaël Éthier (UQO)

    Les problématiques liées à la tricherie dans les universités soulèvent des questions quant à la validité des notes et à la crédibilité des diplômes. Ces problématiques mettent aussi en cause l’intégrité des étudiants universitaires, dont l’action professionnelle est enracinée dans les habitudes développées au cours de leurs études (Crittenden et al., 2009). De telles questions revêtent une importance particulière dans le contexte de futurs enseignants, qui doivent développer une action éthique et responsable et servir de modèles à leurs élèves (Boon, 2011). Des chercheurs ont identifié divers facteurs influençant la tricherie aux examens : raisons motivant la tricherie, modalités utilisées pour tricher, contexte institutionnel, etc. (Christensen Hugues et McCabe, 2006; Ellahi et al., 2013; Lang, 2013; McCabe et al., 2012). Cependant, peu de recherches ont été menées afin d’explorer la situation de la tricherie dans les facultés d’éducation au Québec, au Canada ou à l’étranger. De plus, à la connaissance des auteurs, aucun questionnaire n’est disponible en français pour évaluer la tricherie aux examens chez les étudiants universitaires francophones. Basée sur les sept étapes proposées par Dussault et al. (2007), le but de la présente étude consiste à élaborer et à obtenir diverses preuves de validité (Downing, 2013) pour un questionnaire portant sur la tricherie aux examens. À la suite de l’élaboration des items, il a été soumis au jugement d’experts. Puis, un prétest auprès de 41 étudiants a permis d’identifier les questions problématiques. Enfin, 573 étudiants de cinq universités québécoises ont répondu au questionnaire en ligne. Le questionnaire développé présente de bonnes qualités psychométriques et diverses preuves de validité. Bien que la littérature sur la tricherie soit abondante, cette recherche innove en proposant un questionnaire permettant d’établir un premier portrait québécois des futurs enseignants sur le phénomène de la tricherie aux examens.

  3. La tricherie dans les programmes de formation à l’enseignement : ampleur du phénomène, causes et pistes pour la prévention
    Marie-Hélène Hébert (Université TÉLUQ), Sylvie Fontaine (UQO), Éric Frenette (ULaval) et Mikhaël Éthier (UQO)

    La présente communication s’inscrit dans la foulée des travaux qui visent à accroitre le corpus de connaissances sur le phénomène de la tricherie en milieu universitaire. Plus spécifiquement, elle s’attarde aux futurs diplômés en enseignement, car ces derniers sont formés pour développer un agir éthique et responsable dans l’exercice de leurs futures fonctions (MEQ, 2001). Parce qu’ils se devront, une fois en poste, de servir de modèle d’intégrité pour leurs élèves (Boon, 2011; Cummings, Maddux, Harlow et Dyas, 2002), ce sera à eux de se faire les « gardiens » de la validité des notes en prévenant et condamnant tout acte de tricherie dans leurs classes. Il importe donc de poser les questions suivantes pour documenter le phénomène et orienter les interventions : Quelle est l’ampleur du phénomène de la tricherie dans les facultés d’éducation québécoises? Pourquoi certains futurs enseignants décident-ils de passer à l’acte? Quelles sont, d’après eux, les meilleures façons de s’y prendre? Quelle est l’incidence des pairs et du contexte institutionnel sur la décision des futurs enseignants de tricher? Pour apporter des éléments de réponse à ces questions, 573 futurs enseignants inscrits dans cinq facultés d’éducation québécoises ont répondu à un questionnaire en ligne à l’hiver 2018. Des analyses descriptives et de régression conduites à partir des données recueillies ont notamment fait ressortir que 15,2 % des futurs enseignants interrogés se sont dits en accord ou tout à fait d’accord avec l’affirmation suivante : « Il m’est arrivé de tricher dans mon parcours universitaire ». Les résultats seront discutés au regard de la littérature du domaine et des pistes d’actions seront dégagées afin de prévenir les actes de tricherie dans les facultés d’éducation québécoises.

  4. Les stratégies de créacollage numérique à l’université : pratiques de rétroaction et d’évaluation de professeurs
    Nicole Monney (UQAC) et Martine Peters (UQO)

    Les étudiants auront à rédiger une quantité importante de travaux durant leur parcours universitaire. Ils mettront en œuvre plusieurs stratégies pour cerner le sujet, rechercher l’information sur le web, trier les idées, créer des textes originaux et donner leurs sources. Il s’agit de stratégies de créacollage numérique (SCN) qui appellent à la fois des compétences informationnelles (recherche, réflexion critique, analyse), des compétences d’écriture et des compétences de référencement documentaire (Peters, 2015). Or, il semblerait que les étudiants rencontrent des difficultés dans l’utilisation de l’information sur le web et dans l’analyse de celle-ci (Agosto, 2002; Roy, 2009). De plus, la facilité d’utilisation du copier-coller peut mener à certains dérapages, dont le plagiat volontaire ou non. Pour éviter ce dérapage, les professeurs pourraient intervenir dans les cours (Scanlon, 2003) même si, à l’heure actuelle, les moyens pour éviter le plagiat sont souvent peu enseignés ou incompris des étudiants (McGowan et Lightbody, 2008). Cette communication vise à documenter la question des pratiques des professeurs pour rétroagir et évaluer les SCN chez leurs étudiants. Elle présentera les résultats issus d’entrevues semi-structurées menées auprès de 50 professeurs. Elle abordera, entre autres, les types de travaux demandés, les stratégies de rétroaction pour développer les SCN et l’évaluation de celles-ci. Les premières conclusions soulèvent plusieurs défis, dont la perception du rôle du professeur quant aux développements des SCN à l’université. Des pistes de réflexion pour favoriser le développement des SCN seront proposées lors de la communication.