Le modèle français du Cedille est-il vraiment open-source ?

Oui, notre modèle de langue française est bien open-source ! De nombreux utilisateurs nous ont demandé si Cedille est vraiment un modèle open-source, car le repo Github est vide lorsqu'ils le consultent. Quelques explications ci-dessous.

Le modèle français a été formé à partir de GPT-J. Le code open-source que nous avons utilisé provient donc de leur propre dépôt, disponible ici. Notre modèle est également disponible sur HuggingFace où tout le monde peut le télécharger.

Nous avons depuis laissé quelques notes sur notre page Github pour rendre plus claires. Les checkpoints du modèle y sont fournis (sous licence MIT). Ce modèle a été entraîné en utilisant le code mesh-transformer-jax. Vous pouvez l'exécuter soit en utilisant la bibliothèque Transformers (licence Apache-2.0), soit avec mesh-transformer-jax selon vos besoins.