CRFPiA - Les IAs au barreau

L'examen comme étalon

« Qui veut devenir avocat doit d'abord passer le CRFPA. »

Le CRFPA (Centre Régional de Formation Professionnelle des Avocats) est le sésame vers la profession d'avocat en France. Chaque septembre, des milliers de candidats planchent sur des cas pratiques exigeants en droit des obligations, droit civil, droit public.

L'idée de CRFPiA est simple : au moment où les candidats humains composent, soumettre les mêmes sujets aux modèles de langage les plus avancés. GPT-4, Claude, Gemini, Mistral — tous passent l'épreuve, dans les mêmes conditions (ou presque).

Pourquoi le CRFPA ?

Des sujets toujours neufs

Les épreuves du CRFPA présentent un avantage décisif pour l'évaluation des IAs : elles sont publiées après la date de coupure des modèles. Impossible donc que les réponses aient été mémorisées lors de l'entraînement. On teste réellement la capacité de raisonnement, pas la restitution.

Un calibrage professionnel

Ces épreuves ne sont pas des exercices académiques abstraits. Elles sont conçues pour évaluer l'aptitude à exercer une profession réglementée. Le niveau d'exigence est calibré par des décennies de pratique. C'est un terrain d'évaluation autrement plus sérieux que les benchmarks synthétiques habituels.

Une série temporelle

En répétant l'exercice chaque année, CRFPiA constitue progressivement une série temporelle précieuse. On peut ainsi mesurer objectivement la progression (ou la stagnation) des capacités juridiques des IAs. En 2024, où en sont-elles par rapport à 2023 ?

Le protocole

Notre approche privilégie la simplicité et la reproductibilité :

1. Récupération des sujets dès leur publication officielle
2. Soumission aux modèles avec des prompts standardisés
3. Génération des copies sans accès aux codes (contrairement aux candidats humains)
4. Évaluation selon les critères habituels des correcteurs

Nous testons les modèles « généralistes » dans leur configuration de base. Pas de fine-tuning, pas de RAG, pas d'optimisation poussée. L'objectif est de mesurer les capacités intrinsèques des modèles, pas ce qu'on pourrait en tirer avec un travail d'ingénierie.

Trois matières, trois regards

À partir de 2025, le corpus se concentre sur un triptyque représentatif :

• Droit des obligations — le socle commun, la rigueur du syllogisme juridique
• Droit civil — la technicité du droit privé, les cas pratiques retors
• Droit public — les enjeux administratifs et environnementaux contemporains

Ces trois matières offrent un panorama suffisant pour évaluer les compétences juridiques fondamentales, tout en gardant le corpus lisible et comparable d'une année sur l'autre.

Ce que CRFPiA n'est pas

Il faut le dire clairement : CRFPiA ne compare pas les IAs aux humains. Les conditions ne sont pas équivalentes (pas d'accès aux codes pour les IAs, pas de contrainte de temps réelle). Les copies générées sont des expérimentations, pas des références juridiques.

Et surtout : demander des conseils juridiques à une IA reste périlleux. CRFPiA documente des capacités en progression, pas une maturité professionnelle.

À qui s'adresse CRFPiA ?

Aux juristes

Une vision factuelle des capacités actuelles des IAs en droit français. Ni fantasme apocalyptique, ni techno-solutionnisme béat. Des données.

Aux formateurs

Quelles compétences les IAs maîtrisent-elles le mieux ? Le moins bien ? Ces informations peuvent guider l'évolution des programmes de formation, vers les compétences distinctivement humaines.

Aux chercheurs en IA

Un terrain d'évaluation exigeant, avec des sujets garantis hors corpus d'entraînement. Les faiblesses révélées (citations inventées, raisonnements circulaires, méconnaissance des évolutions récentes) sont autant de pistes d'amélioration.

Résultats

Les résultats détaillés, copies générées et rapports d'analyse sont disponibles sur crfpia.hommemachine.com. Le site est mis à jour automatiquement à chaque session.

Sans dévoiler tous les résultats, disons que la progression est notable d'une année sur l'autre. Les modèles de 2024 produisent des copies qui auraient été impensables en 2022. Mais des faiblesses structurelles persistent : tendance à l'affirmation sans source, difficulté avec la jurisprudence récente, et cette propension agaçante à inventer des références qui n'existent pas.

Perspective

CRFPiA s'inscrit dans une réflexion plus large sur l'avenir des professions juridiques. Non pas pour prédire leur disparition — les IAs en 2024 sont encore loin du compte — mais pour documenter une transformation en cours.

Les avocats de demain travailleront avec ces outils. Autant savoir précisément ce qu'ils peuvent et ne peuvent pas faire.