| Metas AI Assistant wird einen KI-Assistenten mit dem neuen hochleistungsfähigen LLM Llama-3 direkt in hochgradig verbreitete Consumer-Software katapultieren. Die technische Basis Llama 3 und der Meta-AI-Assistent im Überblick. |
| |
| Llama-3 soll ein besseres Verständnis für komplexere Fragestellungen und Anweisungen bieten, weniger falsch-positive Ablehnungen von Anfragen ("Zeit totschlagen" wird beispielsweise nicht mehr mit dem Hinweis auf ein potentiell illegales Vorhaben herausgefiltert) liefern und laut eigenen Benchmarks von Meta Googles Gemini 1.5 Pro und Mistrals Medium (7B) sowie Claude 3 ausperformen. |
| |
Meta erklärt im Blogpost zu Lllama 3 ausführlich die industrieüblichen Benchmarks sowie ein eigenentwickeltes Benchmark-Test-Set, unabhängige reproduzierte Benchmarks sind bisher noch nicht verfügbar.
|
| Erwähnenswert ist auch die Tatsache, dass Meta die Vorgängerversion Llama 2 dazu verwendet hat, um gezielt, aber begrenzt, Trainingsdaten für Lllama 3 zu erzeugen. Etwas, das in der Vergangenheit zu "KI-Rinderwahnsinn" geführt hat. Ein Punkt, den es sich im Auge zu behalten lohnt, da künstlich generierte Trainingsdaten ein Thema sind, das zukünftig immer wichtiger werden könnte. In welchem Umfang künstliche Daten zum Training verwendet wurden, ist aber nicht detailliert von Meta angegeben worden. |
| |
Wie der Vorgänger Llama 2 ist Llama 3 offen und frei verfügbar, ein Gegenentwurf zu nur kommerziell verfügbaren Modellen wie beispielsweise von OpenAI. (Einen Schutzmechanismus gegen die direkten Mitbewerber hat Meta in die Lizenz eingebaut: Plattformen mit mehr als 700 Millionen monthly active users dürfen Llama nicht kommerziell verwenden. Ein paar andere Einschränkungen exisitieren auch, deshalb verwende ich nicht den Begriff "Open Source".)
|
| Steckbrief Meta Llama 3 |
| Trainingsdatensatz: |
| 15 Billionen Token aus "öffentlich verfügbaren Quellen" |
| |
| Trainingssprachen |
| Über 30 Sprachen, 95 Prozent der Pre-Trainings-Daten sind englischsprachig, 5 Prozent fremdsprachig. |
| |
| Die Pre-Trainingsdaten dienen dazu, einem LLM ein grundlegendes Sprachverständnis beizubringen, während die Trainingsdaten spezifische, menschlich kommentierte Datensätze sind die dem Modell dabei helfen seine Leistung für konkrete Aufgaben zu optimieren und zu verfeinern. |
| |
| Übersicht über die Llama-3-Modelle |
- 8 Milliarden Parameter, Datenbasis bis März 2023 (veröffentlicht)
- 70 Milliarden Parametern, Datenbasis bis Dezember 2023 (veröffentlicht)
- 400 Milliarden Parameter (angekündigt, wird gerade trainiert)
|
| |
Datenblatt zu Llama-3
|
| Zum Vergleich |
GPT 3 hatte rund 175 Milliarden Parameter und Trainingsdaten von rund 300 Milliarden Token, für GPT 4 wurde Gerüchten zufolge 1,8 Billionen Parameter verwendet, allerdings in 16 "Teilen" in einer Art Modell-Cluster namens "Mixture of Experts" mit jeweils 111 Milliarden Parametern. Mistral verwendet eine ähnliche Architektur.
|
| Kontext-Länge Llama-3 |
| Beide Modelle haben eine Kontextlänge von rund 8K, also etwa 8000 Tokens. Die Kontextlänge, ist ein von den LLM-Herstellern gerne genutzter Differenzierungspunkt. Es ist die maximale Textlänge, die eine LLM innerhalb einer Anfrage berücksichtigen kann. |
| |
| 8K ist ein gängiger Wert , GPT 4 unterstützte zum Start ebenfalls rund 8k, soll aber mittlerweile das Kontext-Fenster auf 32k erweitert haben. |
| |
| GPT 4 Turbo unterstützt sogar rund 128k Tokens. Googles Gemini Pro bietet auch ein Kontext-Fenster von rund 128k, soll aber beispielsweise in der Enterprise-Version zukünftig bis zu 1 Million Tokens nutzen können. |
| |
| Letzteres würde laut Google für ein Kontext-Fenster von rund 700.000 Wörtern reichen, das würde (je nach Sprache) knapp für die Bibel mit 740.000 Wörtern in Deutsch oder auf jeden Fall für den Herrn der Ringe mit etwa 500.000 Wörter reichen. (Die Tokens sind eigentlich am ehesten als Wortbestandteile zu verstehen, die Angaben hier dienen nur der Veranschaulichung). |
| |
Das Training der neuen Meta-Modelle verschlang nach eigenen Angaben bisher zusammengerechnet eine Rechenzeit von über 7.7 Milliarden GPU-Stunden und verursachte 2290 Tonnen Co2-Emission.
|
| Der strategische Wert von Metas AI Assistent und Lllama-3 |
| Was kann Llama 3, ist die grundlegendste Frage. Die Antwort ist einfach: Aufgrund von Text-Prompts textbasierte Inhalte und Code generieren. Für Metas smarte Brille soll aber auch die Erkennung von Bilddaten trainiert worden sein. |
| |
| Der Assistent Meta AI soll mit Unterstützung von Llama-3 aber auch Bilder generieren können und Recherchen im Netz durchführen und deren Ergebnisse samt Quellenangaben ausgeben. |
| |
| Metas AI Assistant ist auf Basis von Llama-3 gebaut worden und steht Nutzer:innen zukünftig in Facebook, Instagram, WhatsApp und Messenger zur Verfügung. Außerdem wird Llama-3 in Kürze auch auf Metas Smart-Glasses von Ray-Ban verfügbar sein. |
| |
| (In den USA und in vielen Ländern außerhalb Deutschlands ist Meta AI schon verfügbar, der Rollout scheint aber sukzessive zu erfolgen, da nicht alle Nutzer:innen Zugriff zu haben scheinen.) |
| |
| Damit wird ein KI-Assistent erstmals außerhalb eines B2B-Kontextes auf einen Schlag einer riesigen Nutzerbasis verfügbar gemacht, die salopp gesagt mit KI bisher eher wenig am Hut hatte. Damit muss niemand mehr extra zu OpenAI oder zum Microsoft CoPilot marschieren, um Alltagserfahrungen mit KI zu machen. |
| |
| Damit könnte jetzt ein KI langsam, aber sicher, in den Alltag der Menschen einziehen und damit "normalisiert" werden. |
| |
| Dass Meta den Assistenten und die technische Grundlage dazu frei zur Verfügung stellt, ist ein Versuch, den proprietären Konkurrenten das Wasser abzugraben. So will Meta sowohl den Zugang zu den Nutzer:innen als auch seine Werbeeinnahmen erhalten. |
