Les modèles linguistiques et la prédiction de texte
Les outils de prédiction de texte sont très utiles lorsqu'on utilise notre bon sens. Ils nous aident à taper plus vite et avec moins d'erreurs, et certains peuvent même suggérer des emojis ou des mots qui correspondent mieux au ton du texte !
Essentiellement, les modèles de langage doivent connaître la grammaire de la langue utilisée. Pour comprendre le contexte de la phrase, le modèle doit aussi avoir suffisamment de connaissances générales pour prédire avec succès les mots. Avec des réseaux de neurones élaborés et une énorme quantité de données d'entraînement, ils peuvent apprendre à anticiper une phrase. Grâce à l'apprentissage auto-supervisé, les modèles peuvent apprendre une langue en général et transférer leurs connaissances à d'autres fins.