Понимание Нейросетей: Что Мы Знаем и Не Знаем

Мы полностью понимаем математику создания и обучения нейросетей.

Нейросети состоят из матриц и обучаются методом градиентного спуска.

Цели обучения заранее определены, например, предсказание токенов или генерация изображений.

Мы не понимаем, как именно внутренние веса вызывают конкретное поведение моделей.

Механистическая интерпретируемость и обратное проектирование позволяют частично выяснить внутренние механизмы.

Некоторые неожиданные способности, как арифметика, объясняются скрытыми геометрическими представлениями.

Для практического использования глубокое понимание не всегда требуется, но важно для исследований и надёжности.