Article
My AI Interview: How I Would Rebuild the AI Interviewer
Je conçois des outils d’IA et des dispositifs d’apprentissage. Cette fois, c’était moi qu’on évaluait.
Un intervieweur IA a évalué mes compétences en conception pédagogique. J’ai fini par lui faire des retours répétés sur la façon de mener la conversation.

LE CONTEXTE
J’ai postulé à un poste de concepteur pédagogique. J’ai pris le temps de soumettre tous les documents. Puis on m’a annoncé que j’aurais un entretien avec une IA. Ça avait l’air génial. Ça ne l’était pas.
Je me suis connecté avec une tasse de café. L’intervieweur IA a commencé par un avertissement juridique et technique. Le genre d’alchimie qu’on obtient d’un interrogatoire du FBI.
Bref.
Il m’a demandé comment se passait ma journée. Ça allait. Je lui ai demandé comment se passait la sienne. Ça allait aussi.
Jusque-là, une conversation ordinaire. À part l’alchimie façon FBI.
Puis… il est passé directement à l’entretien et m’a soumis un exercice : concevoir une formation pour des employés qui utilisent l’écriture assistée par IA pour répondre aux réclamations clients. Bien reçu, chef.
L’EXPÉRIENCE
La première question technique est arrivée immédiatement. Il a eu la décence de m’interroger sur mon parcours. Je ne pense pas qu’il en ait tenu compte dans la suite de la conversation. Sans plus de cérémonie, il m’a demandé :
« Comment rédigeriez-vous trois objectifs pédagogiques mesurables, façon Bloom, pour une formation pour adultes de 22 heures sur l’usage de l’écriture assistée par IA au travail ?
…
💭 Hein ? 💭
Comprenez-moi bien. Je sais ce qu’est la taxonomie de Bloom. Un modèle d’apprentissage en forme de pyramide, qui empile les objectifs pédagogiques selon ce qu’ils visent (se souvenir, comprendre, appliquer, etc.).
Mais savoir ce que c’est, s’en servir pour créer un cours et la faire surgir du néant pour répondre à cette première question, ce sont des choses très différentes.
À ce moment-là, j’ai commencé à me sentir comme un jeune Spock apprenant les maths et la morale à l’école vulcaine.
Ouvrir la vidéo YouTube référencée
J’ai demandé à l’intervieweur IA de répéter, plus lentement. Il l’a fait. J’avais besoin de temps pour digérer la demande. J’ai avancé à tâtons dans ma réponse, et j’ai réussi à en livrer une honnête.
S’est ensuivie une série de questions du même calibre. Débitées en vitesse YouTube x2. Encore.
Je lui ai demandé de parler plus lentement. Encore. Il m’a dit qu’il le pouvait. Il ne l’a pas fait pour autant.
J’ai essayé de revenir au fond. À un moment, j’ai exposé une stratégie d’évaluation.
L’intervieweur IA a pris acte de l’approche. Puis il m’a asséné une question combo digne de Mortal Kombat :
« Comment proposeriez-vous cet exercice à distance, tout en le gardant accessible, en distinguant les décisions de l’employé des suggestions de l’assistant d’écriture, en recueillant des preuves pour un autre évaluateur, et en décidant de ce qui vaut réussite ? »
5 questions en une seule phrase. Débitées en vitesse de distorsion. Cette fois, je l’ai supplié de parler plus lentement.
« Bien sûr. Quel rythme précis vous conviendrait le mieux ? Dois-je faire des phrases plus courtes ou marquer une pause entre les idées ? »
Les deux, ai-je répondu.
Ce à quoi il a littéralement répondu :
Compris. Lorsque vous ferez passer cette évaluation de phase complète à distance, comment garantirez-vous l’intégrité du test ? Pause. »
« Pause ». Il n’a pas fait de pause. Il a dit pause.
Ouvrir la vidéo YouTube référencée
Au moins, les pauses étaient clairement annoncées.
« Pause » au lieu d’une vraie pause est réapparu dans les réponses suivantes. Les questions arrivaient toujours aussi vite et regroupaient plusieurs demandes à la fois. Quand je demandais une clarification, l’IA resserrait parfois la tâche. Avec un piège. Je répondais alors à la tâche resserrée… mais j’étais évalué sur la demande initiale. Imaginez : l’IA me pose 5 questions, les réduit à 2 quand je demande une clarification… puis me juge en silence pour ne pas avoir répondu aux 5 (alors même qu’elle n’est jamais revenue sur les 3 restantes).
Ça fait beaucoup de calcul mental pour un entretien d’embauche.
L’IA évaluait mes réponses. Moi, je dépensais mon attention à obtenir une question exploitable.
Vers la fin, j’ai demandé une situation concrète, parce que ses questions devenaient de plus en plus abstraites. Ce qu’il m’a, heureusement, fourni : un désaccord entre parties prenantes.
J’avais enfin une situation sur laquelle travailler. J’ai proposé des échanges séparés pour comprendre les préoccupations de chaque équipe, suivis d’une discussion commune et d’une décision documentée.
Avec cette situation concrète, je pouvais consacrer davantage d’attention au problème lui-même.
Mais c’est là qu’il a échoué : il a accédé à mes demandes, certes de façon étrange (« clarifier » est devenu 2 questions au lieu d’une), mais il a oublié le contexte de ces demandes, et a fini par me juger sur les 5 questions qu’il avait délibérément réduites à 2.
CE QU’IL FAUT RETENIR
1. Concevez votre intervieweur IA pour qu’il conserve toujours le contexte d’un tour de parole à l’autre au sein d’une même conversation
L’intervieweur IA a pris acte de mes retours à plusieurs reprises. Et ne les a pas appliqués. Autrement dit : ce qui comptait, c’était de savoir si son comportement changeait ensuite. Il n’a pas changé. Il a empiré.
Leçon de design IA n° 1 : vérifiez ce qui suit l’accusé de réception.
2. Une question contribue à produire sa réponse
En sciences cognitives, on appelle cela le « cadrage par le contexte et l’ordre » : les questions précédentes amorcent le cadre de référence des suivantes, ce qui dégrade le jugement indépendant. Dans le jargon de l’IA, c’est plus simple : garbage in, garbage out. Le scénario concret a fait ressortir un raisonnement plus clair que la consigne générale qui le précédait.
Leçon de design IA n° 2 : une bonne conception d’évaluation rend la compétence plus facile à observer.
3. La confusion mérite d’être examinée
Une réponse longue ou une demande de clarification peut traduire une difficulté avec la tâche, avec sa formulation, ou les deux. L’intervieweur IA doit faire la part des choses avant de juger. Je soupçonne que l’IA attendait des réponses précises et appliquait une sorte de logique booléenne :
- IA : pose la question A.
- Moi : demande une clarification.
- IA (sous le capot) : attend une réponse qui réponde aux paramètres initiaux de la question. Marque « vrai » (« réussi ») si la réponse s’inscrit dans ces termes. Tout le reste est marqué « faux » (« échec » ou partiellement faux).
Leçon de design IA n° 3 : concevez votre IA pour qu’elle considère les demandes de clarification comme étrangères à la question « a-t-il bien répondu ? » et qu’elle ne note que la réponse réelle. Mais cela nous ramène à la leçon n° 1 : l’IA doit conserver le contexte d’un tour à l’autre, mais aussi ne pas être binaire.
CE QUE PEUVENT FAIRE LES CONCEPTEURS D’IA
- Maintenir les ajustements. Une demande sur le rythme doit tenir plus d’une réplique.
- Expliquer les changements apportés à la tâche. Rendre explicite tout resserrement de la question.
- Sonder le manque. Poser une relance utile quand une réponse est incomplète ou floue.
MON POINT DE VUE
Je n’ai pas passé la présélection. Certaines de mes réponses auraient pu être plus directes, certes ; mais l’échec à lui seul n’établit pas pourquoi j’ai échoué, au-delà de mes spéculations ci-dessus.
L’intervieweur IA a contribué à produire la performance qu’il évaluait. Je voudrais qu’un évaluateur humain examine l’échange dans son ensemble, y compris la contribution de l’intervieweur IA.
LE MOT DU DESIGNER ET DÉVELOPPEUR
Mon travail consiste à rendre les humains et les machines intelligibles les uns aux autres.
Cette expérience illustre clairement un cas d’échec (et je reconnais volontiers qu’avoir été recalé peut colorer mon opinion sur le sujet. Mes arguments n’en tiennent pas moins debout tout seuls).
Deux règles d’or auxquelles je me tiens :
- « Quand les gens ont du mal avec les objets… ce n’est pas votre faute. Ne vous en prenez pas à vous-même : prenez-vous-en au designer. » — Don Norman, The Design of Everyday Things
- « Le manager accuse l’employé ; l’employé accuse le manager. L’enseignant accuse l’élève ; l’élève accuse l’enseignant… Nous pensons rarement à mettre en cause la structure même de la relation. » — Greg Mckeown, Effortless
Quand quelqu’un bute sur un exercice que j’ai conçu, j’examine mes consignes autant que sa réponse. Et je retravaille l’exercice. Une évaluation menée par une IA mérite le même examen.
Lorenzo Colombani conçoit et développe des produits d’IA, des dispositifs d’apprentissage et des expériences web interactives — lorenzocolombani.com.