Производные, градиенты, Якобиан и Гессиан

Производная показывает, как быстро и в каком направлении изменяется функция, и применяется для поиска её минимума.

Градиент представляет собой вектор частных производных многомерной функции и указывает направление наибольшего роста (а обратное направление — убывания).

Якобиан — это матрица градиентов для функции, дающей вектор на выходе, он описывает локальное искажение пространства (растяжение, сжатие, поворот).

Гессиан — матрица вторых частных производных функции, отражающая её кривизну и позволяющая ускорить методы оптимизации.