La correspondance sémantique entre les textes est l’une des sous-tâches de la Natural Language Understanding (NLU). Elle a un large éventail d’applications, telles que la recherche informelle, la réponse aux questions et la détection des paraphrases.
Traditionnellement, les modèles d’apprentissage automatique basés sur les représentations de la fréquence des mots ou de l’intégration des mots ont été utilisés pour l’évaluation de la similarité. Bien que ces modèles puissent être rapides et efficaces dans de nombreux cas, ils ne peuvent pas déterminer la similarité sémantique entre deux morceaux de texte lorsqu’un concept donné est représenté dans deux formulations différentes.
Plus récemment, les modèles de langage basés sur des transformateurs ont atteint une grande performance dans la correspondance de séquences textuelles. Le problème est que ces modèles sont coûteux en termes de calcul et nécessitent des unités de traitement graphique (GPU) très efficaces. Ces restrictions rendent indispensable le développement de modèles évolutifs et efficaces en fonction de certaines mesures de performance.
En se concentrant sur l’évolutivité et les mesures de performance, différentes approches ont été utilisées pour la mise en correspondance des similarités sémantiques. Ces approches entrent généralement dans l’une des catégories suivantes :
- Celles basées sur l’interaction entre deux séquences textuelles
- Celles basées sur des représentations statiques, ouvrant la voie au pré-calcul et à la réutilisation de ces représentations
Mais quelle approche est la plus efficace? C’est ce que les spécialistes des données de Coveo ont examiné dans leur article : Semantic Similarity Matching Using Contextualized Representations.
Ils ont expérimenté trois types de modèles pour évaluer lesquels sont les plus efficaces en termes de performance et de temps d’inférence requis. Les modèles expérimentés sont les suivants :
- Un modèle basé sur l’interaction
- Un modèle basé sur la représentation
- Un nouveau type de modèle qui combine les mécanismes des modèles basés sur l’interaction et sur la représentation
Les conclusions ont montré que le modèle basé sur l’interaction a obtenu les meilleures performances en termes de précision. Cependant, ce type de modèle n’est pas assez efficace pour être utilisé dans des tâches de recherche où chaque nouvelle requête doit être comparée à plusieurs autres échantillons.
Inversement, alors que le modèle basé sur la représentation a obtenu la plus faible performance en termes de précision parmi les modèles testés dans l’expérimentation, il s’est également avéré être le plus efficace en termes de temps d’inférence et a montré qu’il peut être utilisé dans des situations où il n’y a pas d’accès aux GPU ou dans des cas d’utilisation où le temps d’inférence est le facteur le plus important.
Enfin, le modèle combinant les mécanismes des modèles basés sur l’interaction et sur la représentation a montré que, lorsque les ressources GPU sont disponibles, il obtient une meilleure précision que le modèle basé sur la représentation et qu’il est plus efficace que le modèle basé sur l’interaction.
La réponse à la question « Quelle approche est la plus efficace? » dépend donc du cas d’utilisation dans lequel le modèle est utilisé. Doit-il être utilisé pour des tâches de recherche? Doit-il fournir un temps d’inférence très faible? A-t-on accès à des GPU efficaces? Ça c’est avéré très utile dans nos cas d’utilisation; les modèles de Coveo doivent naviguer dans divers environnements, et trouver le bon équilibre entre la précision et les inférences pour s’adapter au mieux aux besoins et aux attentes de chacun de nos clients est essentiel pour fournir un service pertinent.
Ce sont des questions et des défis auxquels un spécialiste NLP serait régulièrement confronté chez Coveo. On est toujours à la recherche de nouveaux collègues, joins la Coveolife si ce genre de projets t’intéresse!
Pour plus de détails sur les méthodes et l’architecture des modèles utilisés pour cette expérimentation, nous t’invitons à lire l’article complet Semantic Similarity Matching Using Contextualized Representations qui a été publié pour la 34e Conférence Canadienne sur l’Intelligence Artificielle.