CRFPiA - Les IA au barreau
CRFPiA - Les IA au barreau
L'examen comme étalon
Le CRFPA (Centre Régional de Formation Professionnelle des Avocats) ouvre l'accès à la profession d'avocat en France. Chaque septembre, des milliers de candidats composent sur des cas pratiques en droit des obligations, droit civil et droit public.
CRFPiA part d'une idée simple : au moment même où les candidats humains composent, on soumet les mêmes sujets aux modèles de langage récents. GPT-4, Claude, Gemini, Mistral passent l'épreuve, dans des conditions aussi proches que possible.
Pourquoi le CRFPA
Les épreuves du CRFPA présentent un intérêt particulier pour évaluer les modèles : elles sont publiées après la date de coupure des données d'entraînement. Les sujets eux-mêmes ne peuvent donc pas avoir été mémorisés pendant l'apprentissage. Le droit applicable, lui, figure évidemment dans les corpus ; ce qu'on mesure, c'est la capacité à le mobiliser sur un cas neuf, non la restitution d'une réponse déjà vue.
Ces sujets ne sont pas des exercices académiques abstraits. Ils servent à vérifier l'aptitude à exercer une profession réglementée, et leur niveau d'exigence est fixé par une longue pratique de correction. Le terrain est plus sérieux que la plupart des benchmarks synthétiques.
Répété chaque année, l'exercice constitue une série temporelle. On peut suivre la progression, ou la stagnation, des capacités juridiques des modèles, et comparer 2024 à 2023.
Le protocole
La démarche privilégie la simplicité et la reproductibilité. Les sujets sont récupérés dès leur publication officielle, puis soumis aux modèles avec des prompts partagés entre tous, pour que la comparaison soit équitable. Les copies sont générées sans accès aux codes, contrairement aux candidats humains.
L'évaluation est confiée à un modèle correcteur, qui note chaque copie sur 20 en appliquant une grille pondérée construite à partir des attentes méthodologiques du CRFPA : compréhension des faits, qualification juridique, citation des sources, structure du raisonnement. Une grille distincte existe pour le cas pratique et pour la consultation. Ce n'est pas une correction par des correcteurs réels, et c'est une limite assumée : elle rend en revanche l'exercice reproductible et comparable d'une année sur l'autre.
Les modèles sont testés dans leur configuration de base, sans fine-tuning, sans RAG, sans optimisation poussée. On cherche à mesurer leurs capacités intrinsèques, non ce qu'une ingénierie dédiée permettrait d'en tirer. Autre limite connue du protocole : une seule copie est générée par modèle et par sujet, là où il faudrait idéalement retenir la meilleure de plusieurs tentatives.
Trois matières
À partir de 2025, le corpus se concentre sur trois matières. Le droit des obligations fournit le socle commun et la rigueur du syllogisme juridique. Le droit civil apporte la technicité du droit privé et ses cas pratiques difficiles. Le droit public couvre les questions administratives et environnementales contemporaines. L'ensemble suffit à évaluer les compétences juridiques fondamentales tout en gardant un corpus comparable d'une année sur l'autre.
Ce que CRFPiA n'est pas
CRFPiA ne compare pas les IA aux humains. Les conditions ne sont pas équivalentes : les modèles n'ont pas accès aux codes et ne subissent pas la contrainte de temps réelle. Les copies générées sont des expérimentations, non des références juridiques.
Demander un conseil juridique à une IA reste hasardeux. CRFPiA documente des capacités en progression, non une maturité professionnelle.
Lecteurs visés
Les juristes y trouveront une base factuelle sur ce que les modèles savent réellement faire en droit français. Les formateurs, une indication des compétences qui résistent encore aux machines, utile pour décider ce qu'il faut continuer d'enseigner en priorité. Les chercheurs en IA, un terrain d'évaluation exigeant, avec des sujets garantis hors corpus d'entraînement : les faiblesses observées (citations inventées, raisonnements circulaires, méconnaissance des évolutions récentes) sont autant de pistes de travail.
Résultats
Les résultats détaillés, les copies générées et les rapports d'analyse sont disponibles sur crfpia.hommemachine.com. Le site est mis à jour automatiquement à chaque session.
La progression d'une année sur l'autre est sensible, même si des faiblesses structurelles persistent : l'affirmation sans source, la difficulté avec la jurisprudence récente, la tendance à inventer des références qui n'existent pas.
Perspective
CRFPiA ne prétend pas trancher l'avenir des professions juridiques ; il documente une transformation en cours. Les avocats de demain travailleront avec ces outils, et il vaut mieux savoir avec précision ce qu'ils peuvent et ne peuvent pas faire.