| Ein KI-Pionier und ein österreichischer Mobilitätskonzern gründen aus einer Forschungskooperation heraus ein Unternehmen, das ein vielversprechendes Large-Language-Model baut, das schneller, effizienter und genauer als ChatGPT sein soll. |
| |
Der KI-Pionier Sepp Hochreiter, der Company Builder Netural X sowie die Pierer Digital Holding, ein Unternehmen des Mobilitätskonzerns Pierer gründen im österreichischen Linz das Unternehmen NXAI. (Zu Pierer gehört unter anderem die Motorradmarke Ktm). Hofreiter und seine Partner haben ein ambitioniertes Vorhaben: Im Rahmen einer Forschungskooperation mit der Johannes Kepler Universität Linz will NXAI als erstes Projekt ein LLM zur Marktreife bringen, das Europa direkt an die Spitze der KI-Branche katapultieren könnte.
|
| Hofreiter will "ChatGPT-Scheiß" vom Markt verdrängen |
| Poltern kann Sepp Hofreiter. Das wird spätestens klar, als er in einem Interview mit dem Industrial AI Podcast die ChatGPT zugrundeliegende Architektur als Nonsens bezeichnet und verkündet, den "ChatGPT-Scheiß" am liebsten vom Markt drängen zu wollen. |
| |
| Klar, mit solchen vollmundigen Ankündigungen produziert man Schlagzeilen, das dürfte dem KI-Forscher und Unternehmer Prof. Sepp Hofreiter klar sein, der in diesem Interview über sein frisch gegründetes Unternehmen NXAI und seine Ambitionen auf ein europäisches Large-Language-Modell spricht. |
| |
| Die "David fordert Goliath heraus"-Analogie in Überschriften von Tech-Medien dürfte eine der überstrapaziertesten Analogien des Jahrtausends sein. |
| |
| Und wäre Hofreiter nicht einer der europäischen KI-Spitzenforscher, dessen Algorithmus LTSM zu einer Grundlage für leistungsfähige moderne neuronale Netzwerke wurde. Eine Grundlage, die von Apple, Amazon, Google und Microsoft genutzt wurde und noch wird. |
| |
| Dann wäre die Analogie auch hier überstrapaziert. Tatsächlich aber könnte Hochreiters Unternehmen große Umwälzungen bewirken und OpenAIs ChatGPT in den Schatten stellen. |
| |
Und dieses Mal will Hofreiter das Know-how und die Rechte für seine Technologie in Europa halten, im Gegensatz zu seinem ersten Algorithmus, der die Produkte der großen US-Tech-Giganten befeuerte.
|
| Der LTSM-Algorithmus: Ein Meilenstein in der Entwicklung von Künstlicher Intelligenz |
| Vor mehr als 30 Jahren, 1991, führten Sepp Hofreiter und Jürgen Schmidhuber mit dem LTSM-Algorithmus eine Technologie ein, die den neuronalen Netzwerken eine Art lang anhaltendes Kurzzeitgedächtnis hinzufügte. |
| |
| Ähnlich wie ein menschliches Gehirn, sollte ein neuronales Netzwerk Erfahrungen und Informationen speichern, damit das Netzwerk nicht bei jeder Aufgabe wieder bei null beginnen muss, sondern auf bereits erworbenes Wissen zurückgreifen kann. Jedoch vergruben komplexe neuronale Netzwerke in ungünstigen Fällen in der Tiefe und "vergaßen" sie einfach. |
| |
| Hofreiters LTSM-Algorithmus beseitigte dieses Problem, in dem intelligent bestimmt wurde, was erinnerungswürdig ist und was nicht, sowie wie Verknüpfungen zu dem gespeicherten Wissen hergestellt werden. Die marktführende Transformer-Architektur, die heute beispielsweise ChatGPT von OpenAI einsetzt, löste 2017 die LSTM-Architektur ab. |
| |
| Bis dahin hatte LTSM Einzug in Milliarden Smartphones gehalten und wurde von großen Tech-Unternehmen wie Amazon, Apple, Google, Microsoft und Deepl zur Sprachverarbeitung und Textanalyse in Produkten wie den Sprachassistenten Alexa, Siri oder Übersetzern verwendet. |
| |
| Jetzt hat Hofreiter seinen Algorithmus grundlegend überarbeitet und arbeitet an einer auf dem weiterentwickelten xLSTM-Algorithmus basierenden Large Language Model Technologie. |
| |
| Was xLTSM besser können soll, als die bisherige GPT-Technologie |
| Bis März will Hofreiter das erste Training abgeschlossen haben, mit einer kleineren bis mittleren Größe der Trainingsdaten, im Juni soll dann eine große Menge an Trainingsdaten eingesetzt werden. |
| |
| In einer Pressemitteilung schreibt die Johannes Kepler Universität (JKU) aus Linz: "Erste Ergebnisse zeigen, dass xLSTM effizienter (mit weniger Rechenkapazität), schneller und vor allem besser (höhere Genauigkeit) arbeitet als alle bisherigen LLMs. Insbesondere versteht xLSTM die Semantik von Texten besser als die bisherigen LLMs und kann dadurch komplizierte Texte verstehen und generieren." |
| |
| Damit forschen und entwickeln NXAI und die JKU genau auf der Achillesferse von CHatGPT, wie vielen Nutzer:innen bewusst sein dürfte, die mit komplexen Prompts und komplexen, großen Texten arbeiten. OpenAI hat die Anzahl der Tokens und die verarbeitete Textmenge immer weiter eingeschränkt, weil die Rechenintensität sowohl hinsichtlich der Kapazität als auch hinsichtlich der Kosten zu einer Belastung wurde. |
| |
| Auch wenn noch unklar ist, wie viel Strom die enorme Rechenleistung im Gesamten verschlingt, die für Künstliche Intelligenz benötigt wird, ist eines klar: Es ist nicht wenig und wird immer mehr, je stärker KI im Alltag ankommt. |
| |
| Sollte Google den Hauptanteil der Suchanfragen per KI beantworten, könnte das Unternehmen laut eines Forschers aus Amsterdam dafür den Stromverbrauch eines mitteleuropäischen Staates erreichen. Und hört man auf die Stimmen kritischer Initiativen, könnte das nur ein Bruchteil der Klimabilanz von KI-Rechenzentren sein. |
| |
| Eine schnellere, kostengünstigere, stromsparende und damit umweltfreundlichere LLM-Technologie könnte ein Ausweg aus diesem Dilemma sein. |
