Terme
LLM (grand modèle de langage)
Réseau de neurones entraîné sur de très grands volumes de texte pour prédire le token suivant, capable de comprendre et de produire du langage naturel.
Réseau de neurones entraîné sur de très grands volumes de texte pour prédire le token suivant, capable de comprendre et de produire du langage naturel.
modèlesAussi : Large Language Model, grand modèle de langage, modèle de langage
Un LLM (Large Language Model) génère du texte token par token à partir d'un contexte. Il ne « sait » rien de l'entreprise : ses connaissances s'arrêtent à ses données d'entraînement.
Dans la Box, le LLM tourne localement sur le GPU intégré et reçoit, via le RAG, les passages de documents nécessaires pour répondre. Sa taille (nombre de paramètres) détermine la mémoire nécessaire et la vitesse de génération.