Künstliche neuronale Netze und Ihre Rechenleistung

Erfolgreiche künstliche neuronale Netze (ANN) haben in der Regel eine enorme Größe mit unzähligen Parametern, um komplexe Probleme zu lösen. Dies erzeugt jedoch hohe Rechenleistungen. Unsere KI-Agentur ontolux stellt einige der bekanntesten neuronalen Netze für NLP hinsichtlich ihrer Leistung, Größe und Energieeffizienz vor.

2017 veröffentlichte Google "Attention is all you need" und revolutionierte die neuronale NLP-Gemeinschaft. Google schlug eine neuartige Modellarchitektur vor, die vollständig auf einem sogenannten Attention Mechanismus basiert, dem sogenannten Transformer. Seitdem basieren die meisten erfolgreichsten NLP-Modelle auf einer Transformer-Architektur. Bereits 2018 veröffentlichte Google BERT (Bidirectional Encoder Representations from Transformers). Seither sind viele andere erfolgreiche Modelle entwickelt worden, die mit wachsender Anzahl von Parametern auch die Rechenkapazitäten erhöhen.

Mit dem Switch Transformer von Google und dem chinesischen Wu Dao 2.0 sind 2021 zwei Modelle erschienen, die bei steigender Parameterzahl die Anzahl der mathematischen Operationen beibehalten.

Mehr zu Neuronalen Netzen für NLP Anwendungen

Veröffentlichung am 07.12.2021
Bildquelle: Photo by Moritz Kindler on Unsplash