Messages de réponse automatique des médecins de Nabla
Nabla, une application médicale innovante qui propose des consultations par chat, a affiné Cedille pour son propre cas d’usage. Ils ont ainsi partagé leurs résultats avec nous sur Twitter. Nous étions curieux de voir comment et si de grands modèles affinés pouvaient aller jusqu’à imiter les médecins !
Dans leur article de blog, ils expliquent en détail comment ils ont perfectionné Cedille pour répondre aux questions des patients avec un ton et un style similaires à ceux des médecins chez Nabla.
Utiliser le NLP pour répondre aux questions
En bref, Cedille aurait pu être meilleure dans l'exécution de cette tâche car les réponses étaient parfois non-sécurisées (violation de la confidentialité des patients) ou fausses. Cependant, Cedille a été la plupart du temps capable de comprendre rapidement les questions et de fournir un court résumé de qualité.
Maxime Lewandowski, ingénieur en machine learning chez Nabla et auteur de l'article, raconte comment l’équipe d’ingénieurs ont travaillé sur la création d'un outil permettant l'autocomplétion, l'extraction de propos et la catégorisation. Grâce à ce travail, ils permettent à leurs médecins de se concentrer davantage sur les soins qu'ils apportent aux patients. Pour atteindre cet objectif, et comme l'explique Maxime, les modèles de traitement du langage naturel (NLP) sont généralement utilisés pour générer du texte. Mais en les adaptant, ils peuvent également les utiliser pour en extraire des données.
Tester le modèle sans l’affiner
Alors comment s’en sont-ils sortis avec Cedille ?
Ils ont d'abord commencé à utiliser le modèle tel quel. En fournissant le message d'un patient comme contexte (voir ci-dessous). C'était d’ailleurs le seul contexte donné au modèle.
PATIENT : Je suis sous optimizette depuis plus d'un mois et j'ai des règles très irrégulières et quasi permanentes, est ce que c'est normal ?
DOCTEUR :
En général, ils ont constaté que les résultats étaient très corrects, mais que les réponses du médecin ne ressemblaient pas aux messages que les vrais médecins de Nabla auraient pu écrire. Il arrivait également que le modèle laisse échapper des informations personnelles (voir l'image ci-dessous).
Affiner le modèle
Comme l'explique Maxime, affiner un modèle signifie réentraîner une partie d'un modèle déjà pré-entraîné, mais maintenant en utilisant des données propres et personnalisées pour générer des résultats plus probants, ce que Nabla a fini par mettre en place.
Quel résultat ? Un modèle original (Cedille donc) mis à jour, en tenant compte des données fournies et de la compétence à entraîner désirée.
Là encore, Nabla voulait affiner le modèle pour fournir des réponses ressemblant davantage aux messages réels de leurs médecins. Pour ce faire, ils ont donc simplement pris des conversations anonymes de Nabla et les ont montrées au modèle. L'idée était que le modèle apprenne le ton et le style d'écriture que leur équipe utilise pour répondre aux patients.
Des résultats prometteurs
Vous trouverez ci-dessous quelques exemples de ce que leur version optimisée de Cedille est capable de faire lorsqu'elle est soumise à divers contextes. D'autres exemples sont également présentés dans leur article de blog.
Bien que le modèle commence parfois à improviser et à générer des textes qui ne répondent pas nécessairement à la question, Cedille a très bien appris à structurer les messages comme ceux des médecins de Nabla. Le modèle a généré des phrases très cohérentes, une bonne ponctuation, a énuméré des choses sous forme de liste et a même pu produire des caractères spéciaux de temps à autre.
Les ingénieurs ont également testé le modèle avec des contextes plus complexes (voir ci-dessous). Cette fois, vous pouvez trouver deux réponses distinctes pour le même contexte afin de les comparer.
Les équipes de Nabla ont noté que le résumé de la question était excellent et qu'il répétait avec succès les dates explicites. Le reste des messages tournait parfois autour du sujet et pouvait aborder des règles générales du vaccin au COVID-19.
Réactions au cas d'utilisation
Globalement, il s'agit d'un cas d'utilisation très intéressant de Cedille et l'un des premiers où le modèle est réellement affiné pour une tâche spécifique qui n'est pas encore disponible sur notre playground.
Comme l'écrit Nabla, les possibilités d'affiner des modèles comme Cedille pour des compétences telles que l'extraction d'informations, le résumé, les chatbots, etc. sont très nombreuses. Nous travaillons actuellement à perfectionner ces compétences pour les rendre accessibles à tous !
Yann LeCun, professeur à l'université de New York et Chief AI Scientist chez Meta, a même répondu au tweet de Nabla (voir ci-dessous). Comme il le souligne, les grands modèles de langue n'ont actuellement pas la capacité d'imiter les réponses des médecins, mais ils ont beaucoup d'autres atouts à exploiter.
Au final, affiner Cedille n'a pas été une tâche facile pour Nabla, car plusieurs facteurs auront causé quelques difficultés.
C'est aussi pourquoi nos ingénieurs en machine learning travaillent activement à l’entraînement du modèle sur de nouvelles compétences qui seront bientôt disponibles sur notre plateforme.
Vous avez déjà une compétence en tête pour laquelle vous souhaitez affiner Cedille ? Demandez l'accès à notre API ici. Et si vous préférez que nous développions les compétences pour vous, contactez-nous!