Die vier großen Durchbrüche in LLMs basierten jeweils auf neuen Datenquellen (ImageNet, Webtexte, menschliche Labels, Verifizierer).
Zentrale KI-Methoden wie Deep Neural Networks und Reinforcement Learning waren bereits in den 1990ern bekannt.
Der wesentliche Fortschritt in der KI wird durch neue Datenquellen getrieben, nicht durch völlig neue Ideen.
Jeder Durchbruch führte zu intensiver Datensammlung und -optimierung, um verbleibendes Potenzial auszuschöpfen.
Es gibt eine natürliche Obergrenze dessen, was sich aus einem bestimmten Datensatz lernen lässt.
Der nächste Paradigmenwechsel wird voraussichtlich durch bislang ungenutzte Datenquellen wie YouTube-Videos oder Roboterdaten entstehen.
Get notified when new stories are published for "🇩🇪 Hacker News Deutsch"