Nvidia und Microsoft haben das bisher grösste Sprachmodell erstellt

Microsoft und Nvidia hat in einer Kooperation ein das grösste Sprachmodell entwickelt. Anscheinend wurde das MT-NLG mit 530 Milliarden Parametern präzisiert.

Wu-Tang Clan Microsoft — Der Softwarekonzern Microsoft senkt wegen Währungseffekten ihre Prognose. - DPA

Das Wichtigste in Kürze

Microsoft und Nvidia stellen das grösste Sprachmodell MT-NLG vor.
Das Modell wurde mit zirka 530 Milliarden Parametern trainiert.

In der Kooperation von Microsoft und Nvidia kam das bislang grösste Sprachmodell der Welt zustande. Das Megatron-Turing Natural Language Generation Model (MT-NLG) soll mit ungefähr 530 Milliarden Parametern programmiert worden sein. Es ist damit dreimal grösser als das KI-Modell GPT-3 von OpenAI.

Das Projekt MT-NLG wurde auf den bisherigen Arbeiten aufgebaut und führen diese nun auch zusammen. Forschungsziel war die stetige Parallelisierung und Optimierung des Trainings von derart riesigen KI-Modellen. Die kompletten Übungen lief dabei auf Nvidias Selene Supercomputer.

Das neue Modell biete je nach Tests zahlreiche Verbesserungen. Zum Beispiel beim Erstellen von Verbindungen zwischen Sätzen. Es sei darüber hinaus in der Lage, einfache arithmetische Berechnungen abzuleiten und korrekte Resultate auszugeben.