LLMs są znacznie tańsze w użyciu niż popularne wyobrażenia i mogą być porównywane do wyszukiwarek internetowych, które są również bezpłatne dla użytkowników końcowych.
Koszty inferencji dla modeli LLM spadły dramatycznie w ostatnich latach, co przeczy powszechnemu przekonaniu, że są one drogie w eksploatacji.
Porównano ceny LLM z cenami API wyszukiwarek internetowych takich jak Google i Bing, wykazując, że LLM mogą być tańsze na poziomie jednostkowym.
W artykule obalono mit, że ceny LLM są sztucznie obniżane tylko po to, by zdobywać udział w rynku.
Pomimo niskich kosztów jednostkowych, wiele firm AI ponosi straty finansowe, co wynika z faktu, że nie podejmują aktywnie działań w celu monetyzacji ruchu konsumenckiego.
Autor zauważa, że realne wyzwania związane z kosztami dotyczą utrzymania zaplecza usługowego AI, a nie samych LLM.
Przewiduje się, że modelkażu dla LLM będą dostosowywane, w tym dla agend AI, co może prowadzić do różnorodnych scenariuszy ekonomicznych.
Podkreślono, że niższe koszty produkcji mogą doprowadzić do wzrostu popytu na społeczne i nowe zastosowania AI.
Get notified when new stories are published for "🇵🇱 Hacker News Polski"