« LLaMA » : différence entre les versions
m →LLaMA 2 : reecriture META -> Meta |
Correction du nombre de paramètres (ref. article en anglais, site de meta) ainsi que de la ponctuation. |
||
| Ligne 5 : | Ligne 5 : | ||
== Version initiale == |
== Version initiale == |
||
La version initiale a été publiée en février 2023, en quatre tailles différentes : 7, 13, 33 et 65 |
La version initiale a été publiée en février 2023, en quatre tailles différentes : 7, 13, 33 et 65 milliards de paramètres. À l'origine, seuls la méthodologie, l'architecture des modèles et les résultat expérimentaux furent publiés, mais les paramètres eux-mêmes ont fait l'objet d'une fuite quelques jours plus tard. |
||
== LLaMA 2 == |
== LLaMA 2 == |
||
Version du 8 septembre 2023 à 22:27
LLaMA (Large Language Model Meta AI) est un grand modèle linguistique développé par Meta. Il sert de fondation à plusieurs applications, dont plusieurs agents conversationnels, parfois appelés llama chat, et un assistant de programmation, Code llama. Un exemple d'agent conversationnel est Alpaca, un modèle de language finement ajusté à partir de Llama.
L'acronyme ressemble au nom du lama, un camélidé sud-Américain. Cette homonymie[1] est probablement souhaitée pour une meilleur mémorabilité. Ce nom est ce qui justifie le choix d'Alpaca comme nom pour le modèle dérivé déjà mentionné. L'alpaga (alpaca en anglais) est en effet un autre camélidé d'Amérique du Sud.
Version initiale
La version initiale a été publiée en février 2023, en quatre tailles différentes : 7, 13, 33 et 65 milliards de paramètres. À l'origine, seuls la méthodologie, l'architecture des modèles et les résultat expérimentaux furent publiés, mais les paramètres eux-mêmes ont fait l'objet d'une fuite quelques jours plus tard.
LLaMA 2
En juillet 2023, Meta publie une deuxième version, en trois tailles différentes cette fois. L'architecture est sensiblement la même mais l'entrainement a été réalisé à partir d'un corpus environ 40% plus volumineux. Cette-fois, META publie elle-même les paramètres.
Caractéristiques
Contrairement à Bard ou à ChatGPT qui ont leur propre modèle de génération de texte intégré, LLaMA chat va être en mesure de charger dynamiquement le modèle que vous lui avez fourni. La particularité est donc que vous êtes en mesure d'installer le modèle de votre choix afin de définir vous même la personnalité du chatbot.
Atouts
LLaMA est un outil open source (dans sa version accessible sur GitHub). Vous avez donc accès au code source, vous pouvez le modifier et l'adapter à vos besoins. LLaMA peut fonctionner en local sur votre propre ordinateur sans connexion à internet. Certains services en ligne proposent de passer par leur serveur pour utiliser LLaMA. La contrepartie d'une utilisation en ligne du service est que vous n'avez pas accès à tous les paramètres et vous ne pouvez pas charger vos propres modèles.
Articles connexes
Notes et références
- le nom anglais du lama s'écrit llama
Liens externes
- (en) Site officiel
