Utilisation du cycle SMART
de gestion qualité des évaluations standardisées
dans le contexte d’une Haute Ecole :
regard critique en termes de validité, fidélité,
sensibilité des mesures, diagnosticité, praticabilité,
équité, communicabilité et authenticité
Jean-Luc GILLES
Chargé de recherches, directeur du SMART-ULg
[email protected]
XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004
Le fichier de cette présentation
est téléchargeable sur le site web du
SMART-ULg :
http://www.smart.ulg.ac.be/congres/amse2004/
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
www.smart.ulg.ac.be
Structuration de cette communication
1. NOUVEAUX
ACTEURS
2. METHODOLOGIE
« SMART »
3. DISPOSITIFS
TECHNOLOGIQUES
4. CRITERES X
ETAPES
Mutations dans notre
enseignement supérieur…
Un modèle de construction et de
gestion qualité des évaluations
standardisées
Logiciels web, boîtiers de votes,
lecture optique de marques
Analyse d’une épreuve en
fonction des étapes et critères
Perspectives pour une quête de
5. PISTES
D’AMELIORATIONS l’excellence …
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Nouveaux acteurs
… une conséquence (parmi d’autres):
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Nouveaux acteurs
Grands
groupes
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Méthodologie « SMART »
Un système qualité pour la réalisation des évaluations :
validité
 fidélité
 sensibilité
 diagnosticité
Critères
de qualité
 praticabilité
 équité
 communicabilité
 authenticité
Ressources
en personnel et
en matériel
nécessaire au
SMART
Besoins
des enseignants & des
étudiants
Modèles
& procédures
SMART
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Critères de « qualité SMART » d’une épreuve pédagogique
• La validité :
les scores des apprenants doivent représenter
ce que l’enseignant veut mesurer, couvrir les aspects importants des
apprentissages (validité de contenu) et permettre des inférences
solides (validité de construct) ;
• La fidélité :
la note (d’une épreuve corrigée) classée dans une
catégorie donnée doit l’être de la même façon si
elle est traitée par d’autres correcteurs
(concordance interjuges)
ou/et à un autre moment (consistance intrajuge) ;
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Critères de « qualité SMART » d’une épreuve pédagogique
• La sensibilité :
la mesure doit être précise, refléter des
phénomènes subtils ;
• La « diagnosticité » :
les résultats doivent permettre le diagnostic précis des
difficultés d’apprentissage (et idéalement de leurs causes),
des processus maîtrisés, de ceux qui ne le sont pas ;
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Critères de « qualité SMART » d’une épreuve pédagogique
• L’équité :
tous les étudiants doivent être traités de façon juste,
en principe de la même façon (standardisation) avec respect ;
• La « praticabilité » :
la réalisation des évaluations doit être faisable endéans des
délais raisonnables et à l’aide des ressources en personnel et
en matériel disponibles et proportionnées à l’importance
relative des enjeux ;
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Critères de « qualité SMART » d’une épreuve pédagogique
• La « communicabilité » :
les informations non confidentielles relatives au déroulement
du processus doivent être communiquées et comprises par les
partenaires (enseignants, étudiants, équipe SMART) engagés
dans la réalisation des épreuves.
• L’« authenticité » :
les questions doivent être en rapport avec des situations qui ont
du sens pour les étudiants, pertinentes par rapport au monde
réel et propre à favoriser les transferts dans des contextes et des
pratiques qu’on peut rencontrer dans la vie.
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Méthodologie « SMART »
Un cycle de réalisation des évaluations en 8 étapes :
1. Analyse des
objectifs de
l’enseignement
- Points Enseignés
- Catégories de
Performances
- Priorités
2. Mise en forme
de l’épreuve
- Définition des
Modalités de
Questionnement
- Équilibrage de
l’épreuve
8. Macro régulation (recueil des
3. Construction
de l’épreuve
- Rédaction des
questions
- Barèmes et tarifs
- Contrôle qualité
a priori
4.Entraînement
avis des étudiants)
Cycle
SMART de
réalisation des
évaluations
7. Feed-back
aux examinés
6. Correction et
discussion
- FB « matières »,
« processus
mentaux» et
« métacognitifs »
- infos sur
l’analyse des
questions
- performances
- analyse des
propositions,
contrôle qualité a
posteriori : rpbis,
rectifications
5. Epreuve
- préparation du
matériel, des
locaux, consignes
- vérification du
timing
- procédures antifraude
(Gilles & Leclercq, 1995)
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Méthodologie « SMART »
Un modèle de construction et de gestion de la qualité des évaluations :
- Taxonomies d’objectifs
- Analyse de contenu
(liens conceptuels )
- Interdisciplinarité
- Transférabilité
Plus d'une
trentaine de
procédures
"qualité"
Evaluation des
- objectifs
- contenus
- processus
mentaux
- processus
d’enseignement
- procédures
d’évaluation
Analyse du cours
- Contenus
- Processus
mentau x
- Objectifs
Recueil des avis
(étudiants et
enseignants)
Kaléidoscope des tech. de
questionnement :
QCM -SGI, degrés de
certitude, justifications , th.
des décis ions , training
- Règles de rédaction
- Historique et
représ entativité des Q.
- pronostic par les
enseignants
Construction des
questions
Choix de la
forme d’examen
- Construction
d’échelles
- Instructions aux
notateurs
- Rédaction des
questions
- Oral/écrit
- Pratique
- Travail de l’année
- ...
Champ du
logiciel
EVALENS
EEEVI
8 étapes
Champs des
logiciels
GUESS et TIMI
(via internet)
Entraînement
- Individualis é
- Sur demande
- Avant le premier
examen
- Feedback détaillé
BVE
Champs des
logiciels
CERT
TVI et WINCHECK
Une série de
dispositifs
technologiques
Feed-back aux
examinés
- FB « matières » et
« processus
mentaux »
- scores métacognitifs
- score final
- analyse des
questions
Correcti on de
l’examen
-
distribution
moyennes
marge de variation
écart-type
analyse des questions
EXAMEN
- papier crayon en
auditoire
- à l’aide d’un
ordinateur (par ex.
WINCHECK au
CAFEIM-FAPSE)
- Procédures antifraude
- Justifications
- Avis des
examinés
- précis ion
- r.bis des
(Gilles & Leclercq, 1995)
- rapididité
questions
- disponibilité
- A lpha de
Feedback
sur
Cronbach de
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
l’épreuve
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès del’épreuve
l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Dispositifs technologiques du SMART
Logiciels web : ex. Testing Interactif Multimédia via Internet
(T.I.M.I.)
4.Entraînement
5. Epreuve
- préparation du
matériel, des
locaux, consignes
- vérification du
timing
- procédures antifraude
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Dispositifs technologiques du SMART
Boîtiers de Votes Electroniques (B.V.E.)
Formulaire de réservation en ligne des BVE
http://www.smart.ulg.ac.be/evaletu/bve/
4.Entraînement
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Dispositifs technologiques du SMART
Dispositif de Lecture Optique de Marques (L.O.M.)
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Analyse des étapes en fonction des critères de qualité
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Analyse des étapes en fonction des critères de qualité
Le cas du cours de système de gestion de base de données
Prof. Vinciane Lovinfosse
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Analyse des étapes en fonction des critères de qualité
Pourcentages de certitude (Leclercq, 1986)
Que signifie l’expression SQL ?
1. Structured Query Language
2. Strong Question Language
3. Structured Question Line
- Dispositif de lecture optique
- Logiciels de traitements
- Feedbacks via internet
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Analyse des étapes en fonction des critères de qualité
Entraînement en ligne
à l’utilisation des
pourcentages de certitude
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Pistes d’améliorations
Situation actuelle
Espace des améliorations possibles à l’initiative de l’enseignante
Espace des améliorations possibles avec l’aide du SMART
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Pistes d’améliorations
Appliquer la méthode
des « trinômes » permettrait
d’encore améliorer
le contrôle de la validité…
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Pistes d’améliorations
La méthode des « trinômes », une procédure docimologique pour améliorer la validité
Les Modalités de
Questionnement (MQ)
QCM « à livres ouverts »
QCM « à livres ouverts »
avec « cas » à analyser
QROL
QCM simples
Les Catégories de
Performances
Sollicitées chez les
étudiants (CP)
Les Points de matière
qui seront Evalués (PE)
[ PE x CP ]
[ CP x MQ ]
[ PE x CP x MQ ]
Trinômes composés de
points de matière à
évaluer (PE) en
recherchant certains
types de performances
(CP) évaluées selon des
modalités de
questionnement (MQ)
adaptées
« trinôme »
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
…
Pistes d’améliorations
Nécessité d’un logiciel intégrant les procédures
de contrôle qualité à toutes les étapes :
… le projet e-C&QCST
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Conclusions
• Notre enseignement supérieur est en pleine mutation, notamment en ce
qui concerne la taille des groupes d’étudiants dans les 1er cycles d’études
• L’enseignant, dans ce contexte, ne peut plus gérer à lui seul les évaluations
de ses grands groupes (parfois plus de 600 étudiants…)
• Le SMART apparaît comme un nouvel acteur susceptible de répondre aux
besoins des enseignants et des étudiants tout en améliorant la qualité
des évaluations des acquis de grands groupes, notamment à l’aide :
- de ses critères de qualité ;
- de ses dispositifs technologiques ;
- des modèles qu’il a mis au point.
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en termes de validité, fidélité, sensibilité des
mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité – XIVème Congrès de l’AMSE – 10 au 14 mai 2004 – J.-L. GILLES & V. LOVINFOSSE
Si vous souhaitez plus d’informations
ou utiliser nos méthodes et ressources,
n’hésitez pas à prendre contact :
[email protected]
http://www.smart.ulg.ac.be
Descargar

Slide 1