Avant-propos
Cet article est une republication de celui que j’ai rédigé sur le blog Vaniila pour le CATIE.
Contenu du guide
J’ai récemment traduit le Guide sur l’évaluation des LLM de Clémentine Fourrier.
Que vous soyez un chercheur, un développeur ou simplement curieux d’en savoir plus sur l’évaluation des LLM, ce matériel vous offrira des renseignements précieux et des méthodologies éprouvées pour mener à bien vos évaluations. Il fournit notamment des informations détaillées sur différents sujets tel que :
- comment créer votre propre évaluation 🧪
- un aperçu des avantages et des inconvénients des méthodes actuelles ⚖️
- des conseils de dépannage 🔧
- de nombreuses recommandations et astuces 👻
- un notebook montrant comment réaliser des expériences d’évaluation rapidement et suivre les bonnes pratiques 📓
et bien plus encore 🎉
Le lien pour accéder au guide sur Hugging Face 🤗 : https://huggingface.co/spaces/CATIE-AQ/Guide_Evaluation_LLM.
En complément de celui-ci, 5 autres ressources ont été traduites pour l’accompagner (3 articles de blog et 2 recettes sous forme de notebook) :
- https://huggingface.co/blog/fr/evaluation-structured-outputs
- https://huggingface.co/blog/fr/open-llm-leaderboard-drop
- https://huggingface.co/blog/fr/open-llm-leaderboard-mmlu
- https://huggingface.co/learn/cookbook/fr/llm_judge
- https://huggingface.co/learn/cookbook/fr/structured_generation
Un grand merci à Clémentine et à Aymeric Roucher pour la relecture de ces ressources 🤗
En espérant que cela vous plaise et vous soit utile.
Bonne lecture !
