Le fine-tuning consiste à réentraîner un modèle IA existant pour modifier son comportement. Contrairement au RAG qui apporte du contexte externe et au prompting qui guide le modèle via des instructions, le fine-tuning ajuste les paramètres du modèle pour qu'il intègre définitivement de nouvelles connaissances ou adopte un comportement.
Prenons un exemple. Une entreprise doit réaliser 20 rapports par jour, en suivant une trame complexe, qui peut être impactée par plusieurs variables. Les rapports produits par les chatbots généralistes comme ChatGPT et Claude ne seront pas tous conformes, et l’entreprise ne peut pas accepter cette instabilité.
Selon le coût de cette tâche, le fine-tuning peut se justifier. Il faudra alors réentraîner un modèle sur des milliers d'exemples annotés pour graver définitivement le comportement attendu dans ses paramètres internes.
Le processus de fine-tuning se déroule en trois étapes :
- La collecte et la préparation des données, avec des milliers d'exemples de qualité, annotés et nettoyés, représentatifs des comportements attendus ;
- Le réentraînement proprement dit, en ajustant les paramètres du modèle sur ces données via des serveurs GPU pendant plusieurs heures ou jours ;
- La validation, pour tester le modèle fine-tuné sur des cas réels afin de vérifier qu'il a bien intégré les comportements souhaités (sans « oublier » ses capacités d’origine).
💡 Le conseil de Moon
Commencez toujours par le prompting (few-shot learning) pour tester rapidement vos cas d'usage. Si vos données évoluent régulièrement ou si vous avez besoin de traçabilité des sources, passez au RAG. Le fine-tuning n'intervient qu'en dernier recours, quand vous constatez une instabilité persistante du ton, des formats ou des comportements malgré un bon prompt et un RAG bien configuré. La majorité des PME et ETI n'auront jamais besoin de fine-tuning : le couple prompting + RAG couvre 90 % des besoins.
