Cedille, un grand modèle autorégressif en français - cedille.ai

L'augmentation de la taille et de l'apprentissage des modèles de langage autorégressifs a conduit à de nouvelles façons de résoudre les tâches de traitement du langage naturel en utilisant l'apprentissage zéro-shot et few-shot. Alors que les modèles de langage à grande échelle tels que GPT-3 offrent des capacités multilingues, l'apprentissage zero-shot pour les langues autres que l'anglais reste largement inexploré. Nous présentons ici Cedille, un grand modèle de langage auto-régressif open source spécifiquement entraîné pour la langue française. Nos résultats montrent que Cedille surpasse les modèles de langue français existants et est compétitif avec GPT-3 sur une gamme de repères zéro-shot français. En outre, nous fournissons une comparaison approfondie de la toxicité de ces modèles, montrant que Cedille marque une amélioration de la sécurité des modèles de langage grâce au filtrage des ensembles de données.

‍

‍