Séance d’affiches scientifiques – Résumés

Jeudi 15 novembre 2018
17 h 15 à 18 h 15
Hôtel Gouverneur – Place Dupuis
Foyer 4e étage

Ne plus voir les résumés.

  1. L’évolution des théories et des pratiques en évaluation de programmes de formation en entreprise
    Mélissa Lemaire (UdeM)

    Un des défis contemporains des organisations porte sur la différence entre les compétences requises par l’emploi et celles détenues par l’employé au moment de l’embauche, ce qu’on nomme « déficit de compétences ». Long et Perumal (2014) mentionnent que la formation est vitale pour le succès d’une compagnie. À travers le monde, les dépenses en formation et développement continuent d’augmenter avec une moyenne de 1,273 $ US en 2016 (ATD, 2017). Un portrait des investissements actuels dans la formation en entreprise nous amène à constater que celle-ci est toujours d’actualité, toujours importante, et que les considérables sommes engagées demandent une réflexion quant à l’efficacité des formations offertes dans les organisations. Cette efficacité, ou ce que l’on nomme « effets de la formation » peut être évaluée de différentes manières. On y verra ainsi une définition de ce qu’est l’évaluation d’une formation, comment elle a progressé à travers les années, quels objectifs elle veut atteindre et comment elle est évaluée aujourd’hui.
    Les investissements dans ce domaine étant majeurs, les organisations pourraient tirer avantage d’évaluer leurs programmes de formation afin de s’assurer qu’ils répondent bien aux objectifs de départ et qu’ils en valent l’investissement. Comme l’évaluation de la formation en entreprise est une discipline assez récente, elle comporte son lot d’enjeux quant à la variabilité des méthodes disponibles, aux nombreux indicateurs pouvant être mesurés et à l’abondance des modèles d’évaluation dans la littérature. Ce sont ces enjeux qui seront présentés dans cette communication par affiche.

  2. Développement et validation d’un questionnaire de satisfaction en télémédecine pour les patients et professionnels de la santé
    Michelle Dorion (UOttawa) et Éric Dionne (UOttawa)

    Les professionnels de la santé dans l’ensemble du pays font appel à la télémédecine dans de nombreux domaines thérapeutiques et son impact sur le système de santé est bien documenté dans la littérature. Elle est une avenue porteuse de succès pour faire face à certains enjeux auxquels sont confrontés les systèmes de santé actuels notamment en ce qui concerne l’objectif de garantir une égalité d’accès aux soins à toutes les personnes sur leur territoire. Ceci étant dit, l’organisation d’un programme en télémédecine ne repose pas uniquement sur des considérations technologiques et soulève plusieurs questionnements. Elle contribue de manière marquante aux transformations des processus des soins et services obligeant du même coup les professionnels et les patients à s’engager dans un processus d’adaptation des pratiques.
    Dans ce domaine, on utilise fréquemment des instruments s’apparentant à des échelles de satisfaction comme indicateur de qualité pour évaluer l’atteinte des objectifs d’un programme en développement, mais aussi pour mesurer l’opinion, la perception et l’attitude de ses utilisateurs. Force est de constater que les propriétés psychométriques de ces instruments sont peu documentées. En effet, la recension des écrits que nous avons réalisée révèle que ces instruments sont développés et utilisés, mais sont critiqués pour leur manque de rigueur méthodologique. Dans le cadre de cette présentation, nous allons présenter les principaux instruments répertoriés dans les écrits scientifiques qui visent à mesurer le construit de satisfaction associé au domaine de la télémédecine. Nous allons ensuite présenter les propriétés psychométriques associées à ces instruments. Enfin, nous exposerons des pistes de recherche dans l’espoir de développer un outil clinique valide et fiable qui permettra le renouvellement des pratiques en santé de la plus haute qualité.

  3. L’évaluation d’un programme de formation continue en ligne dans le domaine de l’optométrie : l’apport de la modélisation de Rasch
    Nathalie Renaud (UOttawa), Éric Dionne (UOttawa) et Luigi Bilotto (Brien Holden Vision Institute)

    La formation continue est imposée à bon nombre de professionnels de la santé, dont les optométristes, afin qu’ils puissent maintenir, perfectionner et développer leurs compétences. Il est généralement accepté qu’un programme de formation continue efficace doive non seulement permettre d’augmenter les connaissances, mais aussi provoquer des changements d’attitudes et de conduite clinique, et ultimement, améliorer les résultats pour les patients. Toutefois, les résultats d’apprentissage de programmes de formation continue peuvent, pour toutes sortes de raisons, être plutôt limités, voire inexistants. Comme il existe peu d’information sur les effets de la formation continue en optométrie, notre étude a comme objectif d’évaluer l’efficacité d’un programme de formation continue en ligne, soit le Myopia Management Program, diffusé par le Brien Holden Vision Institute Academy. Nous cherchons à déterminer, entre autres, les changements perçus au niveau de la confiance, de l’auto-efficacité et des choix thérapeutiques résultant de cette formation sur le contrôle de la myopie. Pour ce faire, nous avons mis à profit la modélisation de Rasch afin de développer des questionnaires pré et postintervention éducative et étudier leurs propriétés métriques. Les modèles de Rasch, utiles pour le développement et la validation d’instruments de mesure et permettant même de surmonter certaines faiblesses des approches psychométriques traditionnellement utilisées (ex. analyse factorielle), sont en fait peu répandus dans les études mesurant l’efficacité de la formation continue, toutes disciplines confondues. Cette communication vise à présenter nos stratégies d’analyse des données, recueillies auprès de plus d’un millier d’optométristes ayant complété la formation dans huit pays différents, de même que les résultats obtenus.

  4. Évaluation de modules d’autoapprentissage en éducation médicale : un état des lieux
    Salomon Fotsing (UOttawa) et Éric Dionne (UOttawa)

    Problématique : Les directives anticipées de fin de vie n’ont pas de réglementation à l’échelle canadienne et ne sont généralement pas traitées de façon approfondie dans les programmes de formation en médecine. En 2016, des médecins ont développé un module d’autoapprentissage (MAA) portant sur ce sujet et donc touchant principalement des dimensions cognitives et affectives. Lors de sa conception, les outils d’évaluation des compétences de type CanMeds n’ont pas été développés, ce qui représente une limite importante (Franck, Snell, Sherbino et Boucher, 2015). Le contenu hautement sensible des construits abordés peut représenter un défi en ce qui concerne l’évaluation motivant notre projet de recherche qui vise, d’une part, à documenter les instruments de mesure et d’observation répertoriés dans les écrits scientifiques et, d’autre part, à rendre compte de tels apprentissages. Dans le cadre de cette présentation, nous allons mettre l’accent sur les écrits en lien avec l’utilisation des MAA et leur évaluation dans un contexte d’éducation médicale. Méthodes : Nous avons effectué une recension suivant Aromataris et Riitano (2014), soit une recherche d’articles dans la littérature grise puis dans les sources d’articles scientifiques, notamment celles spécialisées en médecine (MEDLINE), en éducation (ERIC), en psychologie (PsycINFO), en sciences infirmières et paramédicales (CINAHL) ainsi que dans d’autres sources jugées pertinentes. Des mots clés tirés de notre sujet aussi bien en français qu’en anglais ont été combinés afin de générer de nombreux articles scientifiques (Dumez, 2011; Aromataris et Riitano, 2014). Ces articles ont été classés en plusieurs catégories qui seront décrites plus en détail lors de notre présentation. Résultats : Les résultats préliminaires tendent à montrer que le format d’item le plus couramment employé dans le cadre des MAA est celui à réponse sélectionnée. Les propriétés psychométriques de ces items sont demeurées peu documentées.

  5. L’évaluation des étudiants en médecine au cours de leur résidence : un état de la question
    David Adjo (UOttawa) et Éric Dionne (UOttawa)

    Depuis plus de vingt ans, une réforme mondiale est en marche dans les systèmes éducatifs en médecine pour intégrer l’approche par compétences dans les curriculums. Au Canada, les compétences que les médecins doivent développer sont consignées dans le référentiel CanMEDS. Ces réformes curriculaires ont amené des changements dans les pratiques pédagogiques et évaluatives. Les études en médecine ont des caractéristiques particulières puisque les étudiants doivent faire des stages supervisés par plusieurs précepteurs. Les écrits scientifiques relatifs à l’évaluation des compétences des résidents par rapport au CanMEDS demeurent rares. Cette carence dans la littérature, eu égard à l’importance de l’évaluation dans le processus de formation médicale, nous amène à nous interroger sur la façon dont sont évaluées les compétences des résidents. Cette communication vise donc à faire le bilan des recherches qui se sont intéressées : 1) aux dispositifs d’évaluation utilisés dans le contexte de l’évaluation des résidents, 2) aux outils de mesure et d’observation utilisés pour rendre compte des compétences des résidents et 3) aux perceptions que les résidents entretiennent face à ces dispositifs d’évaluation. Pour progresser en vue d’atteindre cet objectif, nous avons effectué une recension de la littérature et collecté les articles couvrant nos différentes questions de recherche. Ainsi, nous avons été en mesure de mettre en lumière les outils de mesure et d’observation utilisés par les précepteurs pour établir la preuve de l’apprentissage et de la progression des stagiaires dans les différentes compétences attendues. Ces outils ont été regroupés en plusieurs catégories en fonction des compétences visées par le référentiel. La perception des étudiants face à ce dispositif d’évaluation a été également analysée. Au cours de cette présentation, nous exposerons le devis méthodologique employé pour réaliser cette recension des écrits ainsi que les principales conclusions qui s’y dégagent.

  6. L’influence des contextes sur la pertinence et la cohérence des recommandations dans l’évaluation périodique des programmes d’études
    Simon Deschênes (UdeM) et Micheline Joanne Durand (UdeM)

    L’évaluation de programmes a pour mandat de s’assurer que les programmes de formation postsecondaire correspondent le plus possible aux exigences du marché du travail. Chacun de ces programmes évolue dans un contexte qui lui est propre, soit la politique d’évaluation élaborée par l’établissement ou les diverses spécificités du programme.
    Cette recherche vise à déterminer dans quelles mesures le contexte de l’évaluation (politique d’évaluation des programmes, choix des outils de collecte de données, présence d’un seuil de réussite et présence des parties prenantes) ainsi que le contexte du programme (les problèmes auxquels il fait face) influencent la cohérence et la pertinence des recommandations émises à la suite de l’évaluation. Pour ce faire, deux universités et un cégep ont collaboré en rendant disponibles trois rapports d’autoévaluation. Dans un premier temps, chaque rapport a été analysé de façon individuelle en portant une attention aux méthodes de collecte de données et aux arguments. Dans un second temps, une analyse comparative a été réalisée entre les différents rapports.
    L’analyse des résultats montre que les exigences fixées par la CEEC et la CRÉPUQ à l’égard de la culture évaluative instaurée influencent la qualité des recommandations et que le choix des outils semble jouer une influence mineure, bien que chaque outil ait ses avantages et ses limites. Par ailleurs, les résultats n’ont pu déterminer un niveau d’influence significatif pour l’utilisation d’un seuil de réussite et, contrairement à ce que l’on retrouve dans les théories en évaluation de programmes, la présence de toutes les parties prenantes ne semble pas affecter la qualité des recommandations. Également, bien que cela ne s’inscrive pas dans le cadre de la recherche initiale, il a été observé que la méthode de rédaction du rapport semble affecter la quantité et la qualité des recommandations en vue de résoudre les problèmes du programme. Finalement, une comparaison des rapports au sein d’un même établissement soulève le fait que certains problèmes pourraient se situer au niveau institutionnel puisqu’un même problème se situe dans les trois rapports.

  7. La pratique évaluative dans un contexte d’inclusion : enjeux et défis de la réflexion à la lumière de la théorie de la complexité
    Ali Messaoud (UdeM) et Micheline Joanne Durand (UdeM)

    Dans bien des recherches en éducation, y compris celles qui s’intéressent à l’évaluation dans un contexte d’inclusion, les approches réductionnistes sont prédominantes. La pensée complexe qui s’inspire de la théorie de la complexité est indispensable à l’apprivoisement de la complexité du réel. Ceci constitue un défi qu’on ne peut relever qu’en adoptant un mode de réflexion qui puisse accepter et gérer la complexité. L’innovation des pratiques d’évaluation dans un contexte d’inclusion est un thème d’actualité qui crée en nous un sentiment de complexité et pour lequel il y a nécessité de trouver un paradigme assez robuste. Ce thème est en lien avec le concept de la culture d’évaluation qui, elle aussi, est complexe de nature. La théorie de la complexité constitue un paradigme émergent et prometteur qui nous permettrait de saisir et concilier les paradoxes et les antagonismes inhérents à la question de l’évaluation inclusive et innovante. L’innovation se situe non seulement au niveau des représentations et des pratiques, mais également au niveau des outils. Les avancées de la technologie ont permis de mettre les nouvelles technologies au service de l’évaluation et de la différenciation. C’est dans ce contexte qu’on se propose d’explorer le portrait de ce paysage technopédagogique et social à la lumière de la théorie de la complexité qui pourrait éclairer notre réflexion sur le sujet mieux que les paradigmes traditionnels.

  8. Traduction, adaptation culturelle et validation des Ages and Stages Questionnaires (ASQ) à travers le monde : une revue systématique
    Roselyne Savard (UQTR), Michel Rousseau (UQTR) et Carmen Dionne (UQTR)

    Les Ages and Stages Questionnaires (Squire, Twombly, Bricker et Potter, 2009) sont des outils de dépistage des retards de développement des enfants de 1 à 66 mois. Développés initialement aux États-Unis, ils ont été traduits ou adaptés dans de nombreux contextes culturels. Étant utilisés par les services de santé et sociaux de différents pays, ils sont un instrument de choix pour effectuer des études transculturelles sur le développement des enfants à travers le monde. Cette revue systématique se veut une synthèse visant premièrement à dresser un portrait du nombre d’adaptations disponibles et de leurs usages. En second lieu, elle a pour but de décrire les processus qui sous-tendent la traduction et l’adaptation culturelle. Enfin, elle cherche à décrire les procédés de validation des équivalences linguistiques, fonctionnelles, culturelles et métriques. La recherche documentaire est effectuée dans Cinahl, ERIC, PsycINFO, Education Source, Medline et Scopus et inclut les articles rédigés en anglais, en français ou en espagnol et revus par les pairs. La première étape aura permis d’identifier 816 sources uniques. À la suite de l’application des critères d’inclusion et d’exclusion, la revue systématique compte 87 articles et dénombre près de 50 adaptations, réparties sur tous les continents. Les résultats préliminaires font ressortir que si certaines adaptations de l’ASQ sont bien documentées telles que les versions coréenne, chinoise et brésilienne, les processus de traduction, d’adaptation culturelle et de validation de plusieurs autres sont peu ou pas étayés. Cette revue systématique est une étape préalable pour des comparaisons interculturelles sur le développement des enfants et l’identification d’indicateurs communs pour mesurer le bienêtre et la préparation de l’enfant au niveau scolaire.