11 KiB

Raw Permalink Blame History

Script

Méta
Étapes et Script

Méta

Quézaco

Ce dépôt contient un certain nombre de script Python que j'utilise pour faire corriger des copies par Gemini.

Les copies sont découpées suivant les labels des questions.
Des requêtes de correction sont faites à Gemini, qui met une note entre 0 et 4 à la question, ajoute des commentaires, et encadre certaines parties de la réponse.
Une version pdf annotée de la copie est générée, faite pour être éditée sur tablette tactile. Le correcteur humain peut modifier la note, supprimer des commentaires de l'IA, ou ajouter des remarques manuscrites.
Ces annotations manuscrites sont lues et recompilées en une version de la copie pour l'élève.

Disclaimer

J'utilise régulièrement cet outil et j'en suis satisfait, mais j'ai fait peu d'efforts pour le rendre universel et simple à l'emploi. Plusieurs parties de mon workflow sont spécifiques à mes représentations internes des sujets d'examens et/ou à mon environment.

L'utilisation de ce système nécessite une familiarité avec python et la ligne de commande unix ; cette familiarité n'est probablement pas suffisante en l'état, mais en théorie il devrait être possible de le faire tourner sur le dossier Example qui contient une copie initiale, les fichiers correspondant au sujet de l'interro, et des examples du rendu final (dans le sous dossier BGnot).

Cette situation s'améliorera peut-être, mais faciliter l'utilisation de ce système n'est pas une priorité.

Requirements

Python

Libraries :

pip install numpy pandas matplotlib pillow pydantic pypdf pdf2image reportlab img2pdf pymupdf ftfy ezodf google

Poppler (for pdf2image)

Linux : install poppler-utils
Windows : Download from: https://github.com/oschwartz10612/poppler-windows and add it to your PATH

Accès à Gemini

Il faut créer une clef API pour Gemini (pas facile).

NB : Lors de la création, google offre (offrait ?) 300€ d'utilisation, mais seulement pendant les trois mois à venir.

Puis ajouter GEMINI_API_KEY à l'environnement avec :

export GEMINI_API_KEY=…

Correction d'un paquet de copies

Créer un fichier names dans le dossier courant, avec les noms/prénoms des élèves, un par ligne
Créer un dossier correspondant à l'évaluation, comme Interro
Mettre les fichiers pdfs scannés dans Interro.
Dans le dossier Interro créer un fichier labels avec les labels des questions, comme Ex 1 : 1)a), un par ligne.
Il faudra créer des dossiers Text, Sol et Persp, et dans ces dossiers créer, pour chaque label (ou groupe de labels : par exemple un seul fichier Ex 1 peut être utilisé pour toutes les questions de l'exercice 1) un fichier texte qui contient respectivement l'énoncé, un corrigé, et des indications de comment corriger (Gemini met une note sur 4, on peut demander 2 points pour tel truc, etc)
Suivre les étapes plus bas.

Étapes et Script

Prétraitement de l'énoncé

Dans le dossier de l'évaluation, mettre :
- `enonce.pdf`
- `enonce.tex`
- `correction.tex`.
`python gemini_for_enonce.py Interro` Se charge de créer des dossiers `Text` et `Sol` avec
- Le fichier `Text` contient

Prétraitement des copies

./rotate_all.sh Interro (facultatif) Retourne toutes les pdf de 180°
./rename_to_copie.sh Interro change le nom des copies en Copie{id}.pdf
python page_splitter.py Interro

Découpe des copies A3 en pages A4, en retirant les pages vides.
- s pour garder les deux pages
- t/n pour garder celle de gauche/de droite
- r pour jeter les deux pages
Les key bindings ne sont pas adaptés à un clavier azerty… À changer…

Fix issues with python page_splitter.py Interro14/Copies/Copie01.pdf
python cutleft.py Interro Découpe la partie gauche des copies, là où il devrait y avoir les labels des exercices/questions. Rerun on a single file with python cutleft.py Interro/Copies/Copie01.pdf

Génération d'information sur l'énoncé

python enonce_info.py Interro (gestion perso)

python gemini_for_enonce.py Interro
- Nécessite enonce.tex/org et `correction.tex/org`

Labelisation et regroupement

Set proxy with export HTTPS_PROXY="http://10.0.0.1:3128"

python gemini_for_labels.py Interro, avec éventuellement --overwrite Fait des requêtes à Gemini pour identifier les labels des questions dans images générées à partir des parties gauches des copies.
python plotting.py Interro

Permet de vérifier visuellement les labels trouvés.
- Sous linux, on peut faire e pour ouvrir le fichier .json et l'éditer a la main.
- Quand un label est manquant, il est possible de cliquer sur l'image, ce qui copie les coordonnées dans le presse papier (sous linux…), puis on peut l'ajouter à la main.
- Utilisation de `_`, `|…` et `…|` :
  - `|…` n'est pas arrêté verticalement par son type opposé.
  - `…|` est stoppé horizontalement par le `|…` le plus proche.
Pour modifier une seule copie : python plotting.py Interro/Copies/Copie01.pdf

It also generates les Copie01.json, à partir des Copie01_01.json
1. En cas de soucis, (par exemple les pages ne sont pas dans le bon ordre)
  - Réordonner les pages du fichier pdf
  - Rerun python cutleft.py Interro/Copie{id}
  - Rerun python gemini_dir_batching.py Interro/Copie{id} ?? À vérifier, pas sûr que ça marche.
python splitting_int.py Interro Découpe les copies suivant les exercices Peut-être appelé avec une seule copie.
python grouping.py Interro Regroupe les mêmes questions de différentes copies en groupes de tailles raisonnables.

Correction et annotation