CRFPiA - Les IA au barreau
CRFPiA - Les IA au barreau
L'examen comme étalon
Le CRFPA (Centre Régional de Formation Professionnelle des Avocats) ouvre l'accès à la profession d'avocat en France. Chaque septembre, des milliers de candidats composent sur des cas pratiques en droit des obligations, droit civil et droit public.
CRFPiA part d'une idée simple : au moment même où les candidats humains composent, on soumet les mêmes sujets aux modèles de langage récents. GPT-4, Claude, Gemini, Mistral passent l'épreuve, dans des conditions aussi proches que possible.
Pourquoi le CRFPA
Les épreuves du CRFPA présentent un intérêt particulier pour évaluer les modèles : elles sont publiées après la date de coupure des données d'entraînement. Les réponses ne peuvent donc pas avoir été mémorisées pendant l'apprentissage. On mesure une capacité de raisonnement, non une restitution.
Ces sujets ne sont pas des exercices académiques abstraits. Ils servent à vérifier l'aptitude à exercer une profession réglementée, et leur niveau d'exigence est fixé par une longue pratique de correction. Le terrain est plus sérieux que la plupart des benchmarks synthétiques.
Répété chaque année, l'exercice constitue une série temporelle. On peut suivre la progression, ou la stagnation, des capacités juridiques des modèles, et comparer 2024 à 2023.
Le protocole
La démarche privilégie la simplicité et la reproductibilité. Les sujets sont récupérés dès leur publication officielle, puis soumis aux modèles avec des prompts standardisés. Les copies sont générées sans accès aux codes, contrairement aux candidats humains, et évaluées selon les critères habituels des correcteurs.
Les modèles sont testés dans leur configuration de base, sans fine-tuning, sans RAG, sans optimisation poussée. On cherche à mesurer leurs capacités intrinsèques, non ce qu'une ingénierie dédiée permettrait d'en tirer.
Trois matières
À partir de 2025, le corpus se concentre sur trois matières. Le droit des obligations fournit le socle commun et la rigueur du syllogisme juridique. Le droit civil apporte la technicité du droit privé et ses cas pratiques difficiles. Le droit public couvre les questions administratives et environnementales contemporaines. L'ensemble suffit à évaluer les compétences juridiques fondamentales tout en gardant un corpus comparable d'une année sur l'autre.
Ce que CRFPiA n'est pas
CRFPiA ne compare pas les IA aux humains. Les conditions ne sont pas équivalentes : les modèles n'ont pas accès aux codes et ne subissent pas la contrainte de temps réelle. Les copies générées sont des expérimentations, non des références juridiques.
Demander un conseil juridique à une IA reste hasardeux. CRFPiA documente des capacités en progression, non une maturité professionnelle.
Lecteurs visés
Aux juristes, le projet offre une vision factuelle des capacités actuelles des modèles en droit français, sans fantasme apocalyptique ni promesse technologique excessive.
Aux formateurs, il indique les compétences que les modèles maîtrisent le mieux et celles qui leur résistent, ce qui peut orienter les programmes vers ce qui demeure proprement humain.
Aux chercheurs en IA, il fournit un terrain d'évaluation exigeant, avec des sujets garantis hors corpus d'entraînement. Les faiblesses observées, citations inventées, raisonnements circulaires, méconnaissance des évolutions récentes, sont autant de pistes de travail.
Résultats
Les résultats détaillés, les copies générées et les rapports d'analyse sont disponibles sur crfpia.hommemachine.com. Le site est mis à jour automatiquement à chaque session.
La progression d'une année sur l'autre est sensible. Les modèles de 2024 produisent des copies qui auraient été impensables en 2022. Des faiblesses structurelles persistent : l'affirmation sans source, la difficulté avec la jurisprudence récente, et la tendance à inventer des références qui n'existent pas.
Perspective
CRFPiA s'inscrit dans une réflexion plus large sur l'avenir des professions juridiques, non pour annoncer leur disparition, dont les modèles de 2024 restent loin, mais pour documenter une transformation en cours. Les avocats de demain travailleront avec ces outils ; il vaut mieux savoir avec précision ce qu'ils peuvent et ne peuvent pas faire.