INTRODUCTION AU TRIMMING
Trimming - Une introduction à une technique permettant de réduire le nombre de paramètres d’un modèle tout en maintenant ses performances d’origine
Posts par année
2026
2025
STATISTIQUES DES MODELES DES 50 ENTITES LES PLUS TELECHARGEES SUR HUGGING FACE
Divers – Analyse des données du Hub d’Hugging Face
UN GUIDE VISUEL SUR LES AGENTS
Divers – Explorer les composants principaux des agents individuels et multiples
UN GUIDE VISUEL SUR LES LLM AVEC RAISONNEMENT
NLP – Explorer le concept de raisonnement chez les LLM
UN GUIDE VISUEL SUR LE MELANGE D’EXPERTS (MoE)
Divers - Démystifier le rôle des mélanges d’experts (mixture of experts ou MoE)
UN GUIDE SUR L’ÉVALUATION DES LLM
NLP - Traduction du guide de Clémentine Fourrier sur l’évaluation des LLM
UN GUIDE VISUEL SUR LA QUANTIFICATION
Divers - Démystifier la compression des grands modèles de langage
LE FLASH ATTENTION T5 (FAT5)
NLP - Extension de la Flash Attention au T5 via des noyaux CUDA et Triton
2024
TOUJOURS VERIFIER LA QUALITE DES JEUX DE DONNEES
Divers - Le problème des fuites et des données dupliquées
LA RECONNAISSANCE D’ENTITÉS NOMMÉES (NER)
NLP - Explication de la tâche de reconnaissance d’entités nommées
2023
ÉVOLUTION DES STATE SPACE MODELS (SSM) EN 2023
SSM - Revue de littérature des SSM parus lors de l’année 2023
HISTORIQUE DES STATE SPACE MODELS (SSM) EN 2022
SSM - Revue de littérature des SSM parus lors de l’année 2022
INTRODUCTION AUX STATE SPACE MODELS (SSM) ET AU S4
SSM - Bases des SSM en apprentissage profond via le modèle S4
JEUX DE DONNÉES AUDIO POUR LE FRANÇAIS
Audio - Jeux de données pour pré-entraîner un modèle d’audio puis le finetuner sur une tâche en particulier
LE QUESTION ANSWERING
NLP - Explication de la tâche de question answering
2022
COURS SUR L’APPRENTISSAGE PROFOND (EDITION 2021) DE YANN LE CUN ET ALFREDO CANZIANI
Projet - Cours sur l’apprentissage profond (édition 2021) de Yann Le Cun et Alfredo Canziani
2021
COURS SUR L’APPRENTISSAGE PROFOND (EDITION 2020) DE YANN LE CUN ET ALFREDO CANZIANI
Projet - Cours sur l’apprentissage profond (édition 2020) de Yann Le Cun et Alfredo Canziani
2020
L’AUGMENTATION DE DONNEES EN NLP
NLP - Un aperçu des techniques disponibles pour réaliser de l’augmentation de données textuelles en traitement du langage naturel
ILLUSTRATION D’ALBERT
NLP - Illustration du modèle ALBERT de Lan et al.
ILLUSTRATION DU REFORMER
NLP - Illustration du modèle Reformer de Kitaev et Kaiser
LE PRETRAITEMENT ET LES TOKENIZERS EN NLP
NLP - Illustration des divers prétraitement réalisables en NLP ainsi que des différents tokenizers fréquemment utilisés
TACHES ET JEUX DE DONNÉES FREQUEMMENT UTILISÉS DANS LES PUBLICATIONS DE NLP
NLP - Taches et jeux de données fréquemments utilisés dans les publications de NLP
LES ARCHITECTURES ISSUES DU TRANSFORMER
NLP - Aperçu des architectures basées sur le Transformer de Vaswani et al.
2019
ILLUSTRATION DU GPT2
NLP - Illustration du GPT2 de Radford et al.
ILLUSTRATION DE BERT
NLP - Illustration du modèle BERT de Devlin et al. et de ses dérivés, notamment français : CamemBERT et FlauBERT
ILLUSTRATION DU TRANSFORMER
NLP - Illustration du modèle Transformer de Vaswani et al.
LE SEQ2SEQ ET LE PROCESSUS D’ATTENTION
NLP - Illustration du principe de séquence vers séquence et du processus d’attention en traitement du langage naturel
LES RNN, LES LSTM, LES GRU ET ELMO
NLP - Illustration des réseaux de neurones récurrents, des Long short-term memory, des Gated Recurrent Unit et de ELMo.
ILLUSTRATION DU WORD EMBEDDING ET DE WORD2VEC
NLP - Illustration du word embedding et d’une technique de word embedding : le word2vec de Google
ILLUSTRATION DU BAG-OF-WORDS
NLP - Illustration de la technique du bag-of-words