Difficulté et validité des questions

Les VRAI-FAUX sont plus complexes à élaborer que ce que l'on pense habituellement. La difficulté et la validité des questions vont dépendre de la formulation de la question. Par exemple, dans les questionnaires oui/non portant sur l'acquisition de connaissances la formulation des questions (négatives, avec ou sans connecteur logique, etc.) permet d'augmenter la difficulté des questions mais le risque est alors d'évaluer non plus seulement des connaissances, mais l'activité de raisonnement (ce qui peut entraîner une perte de validité de la mesure). 

Le problème paraît plus simple avec les questionnaires à choix multiples, mais il faut savoir que la difficulté de la réponse dépend alors fortement des distracteurs et pas uniquement de la connaissance de la réponse. Par exemple à la question "quel est le poids d'un électron ?" peu de gens peuvent répondre. La même question évaluée par le choix multiple (A) suivant donnera probablement 100% de réponses justes et ce ne sera pas le cas dans la formulation (B).

(A) Le poids d'un électron est de :  🞏 1000g    🞏 9,1*10-28g    🞏 500g   🞏 1 g 

(B) Le poids d'un électron est de :   🞏 9,1*10-24g         🞏 9,1*10-26g    🞏 9,1*10-28g    🞏 9,1*10-30g 

En fait le choix multiple permet dans la formulation (A) d'évaluer grossièrement la connaissance de l'ordre de grandeur du poids d'un électron. En proposant des valeurs plus proches de la réponse attendue (formulation B), on  évalue une connaissance plus précise de cet ordre de grandeur.

Exemples d'items d'un des premiers tests à choix multiples : Alpha Test, Yerkes, 1917

       • Les thermomètres sont utiles parce que :

🞏 Ils régulent la température

🞏 Ils indiquent la température

🞏 Ils contiennent du mercure

       • Chaussure – pied ; chapeau – ?

🞏 chaton

🞏 tête

🞏 couteau

 Exemples d'items évaluant des connaissances

       • Binet a été le premier à introduire : 

🞏  La notion de QI         

🞏  La mesure de l’âge mental        

🞏  La notion d’âge réel

🞏  Les tests mentaux

         • Qui serait à l'initiative des "QCM" ? :

🞏  J. Watson        

🞏  B.F. Skinner

🞏  F. J. Kelly        

🞏  E. Thorndike

🞏  A. Binet

Réponses : 2 ; 2; 2; 3