Что такое производная: наклон, предел, цепное правило — интерактивно

Производная функции $f$ в точке $x$ — это число

Словами: насколько быстро меняется выход на единицу изменения входа, если мерить так близко к $x$, что значение имеет только локальное поведение $f$.

У того же числа есть второе прочтение, и оно полезнее первого. При малых $h$

Вблизи $x$ функция ведёт себя как прямая с наклоном $f'(x)$ — касательная. Всё на этой странице — одна и та же прямая, прочитанная с разных сторон: касательная — её изображение, конечные разности её оценивают, цепное правило переносит её на композиции функций, обратное распространение ошибки вычисляет её сразу для миллионов входов, а градиентный спуск по ней спускается вниз.

Маршрут повторяет первую лекцию курса Андрея Карпаты Neural Networks: Zero to Hero, где построение нейросети с нуля начинается именно с производной. Каждая панель ниже живая: измените что-нибудь — и числа пересчитаются; ни одно из них не вписано вручную.

В лекции используется парабола $3x^2 - 4x + 5$. На этой странице вместо неё нарочно неровная кривая: её наклон меняет величину и знак от места к месту, и впадин, в которые можно скатиться, больше одной:

У одной точки нет наклона

Через одну точку кривой проходит бесконечно много прямых. Какая из них «имеет наклон кривой»?

Тащите точку по кривой и поворачивайте прямую за круглую ручку. Издалека подходящими выглядят многие прямые. Врезка показывает маленькое окно вокруг точки под лупой, и там разница видна: неверная прямая при любом увеличении продолжает пересекать кривую под углом, а одна прямая с кривой сливается. Эта прямая и есть касательная, а её наклон равен $f'(x)$.

Легенда измеряет то, что видно в лупе: зазор между кривой и прямой, делённый на расстояние от точки, при $\Delta x = 0.1$, $0.01$ и $0.001$. При $x = 3$ горизонтальная прямая даёт $2.64,\ 3.42,\ 3.49$ — отношение подбирается к $3.50$ и там остаётся, и любой другой неверный наклон так же застревает на своей ошибке. Поверните прямую до наклона $3.5$ — и те же три числа станут $-0.86,\ -0.08,\ -0.01$: в десять раз меньше при каждом десятикратном увеличении. Сдвиньте точку: наклон, который только что подходил, больше не подходит. Производная — не одно число на всю кривую, а новое число в каждой точке.

Почему прямая ровно одна? Разложим кривую в окрестности $x$. Зазор между ней и прямой с наклоном $m$ в расчёте на единицу расстояния $u$ равен

При уменьшении $u$ исчезает всё, кроме первого слагаемого. Любая ошибка наклона переживает увеличение; только $m = f'(x)$ позволяет отношению уйти в ноль. Именно это, а не «прямая, которая касается кривой в одной точке», и есть касательная: прямая может коснуться кривой один раз и всё равно её пересечь, а касательная может кривую пересекать (в точке перегиба так и происходит).

От секущей к касательной: предел

Одна точка наклона не даёт, поэтому возьмём вторую. Точки $x$ и $x+h$ задают прямую — секущую, и её наклон равен отношению катетов оранжевого треугольника:

Это тангенс угла наклона секущей к горизонтали, $\tan\alpha$, — подъём, делённый на смещение.

Теперь тащите вторую точку к первой. Ползунок $h$ делает то же самое: его правый край — всегда край графика, левый — один пиксель, при любом масштабе. По мере уменьшения $h$ секущая поворачивается, пока не ляжет на касательную.

При $x = 3$ истинный наклон равен $f'(3) = 3.4998$. Секущая приближается к нему шаг за шагом:

При $h = 1$ у секущей даже неверный знак: она перепрыгивает через гребень сразу за $x = 3$. Каждое следующее уменьшение $h$ в десять раз уменьшает ошибку в десять раз.

Теперь приблизьте — ползунком масштаба или щипком на трекпаде. Вторая точка остаётся на своём месте на экране, так что $h$ уменьшается вместе с окном, а кривая под ней распрямляется: секущая ложится на касательную, хотя $h$ никто не трогал. При тысячной доле исходной ширины кривую уже не отличить от касательной. Именно поэтому предел вообще существует: гладкая функция локально линейна. Производная — наклон этой локальной прямой.

Производная как функция

Раз у каждой точки свой наклон, производная сама является функцией: $x \mapsto f'(x)$. Напрямую через предел её вычисляют редко. Достаточно нескольких правил, каждое из которых один раз доказывается из определения:

• производная суммы равна сумме производных: $(u + v)' = u' + v'$;
• постоянный множитель выносится: $(c\,u)' = c\,u'$;
• степени: $(x^n)' = n\,x^{n-1}$;
• произведение: $(u\,v)' = u'\,v + u\,v'$;
• $(\sin x)' = \cos x$;
• $(e^x)' = e^x$ — функция, которая сама себе наклон (такие только она и её кратные $c\,e^x$);
• цепное правило для композиции: $\bigl(g(u(x))\bigr)' = g'(u(x)) \cdot u'(x)$.

Вместе они дают $\tanh x = \dfrac{e^{2x} - 1}{e^{2x} + 1}$ — активацию первого нейрона в лекции: по правилам $(\tanh x)' = 1 - \tanh^2 x$. Этот наклон равен $1$ в нуле и затухает к $0$ с ростом $|x|$, поэтому нейрон, загнанный глубоко в насыщение, почти не учится: любой пришедший к нему градиент умножается почти на ноль.

Для нашей кривой цепное правило превращает $\sin(2.5x)$ в $\cos(2.5x) \cdot 2.5$, а остальное дифференцируется почленно:

Именно по этой формуле построены пунктирные касательные на этой странице.

Там, где $f'(x) = 0$, касательная горизонтальна. На показанном отрезке это происходит 7 раз; где $f'$ меняет знак с минуса на плюс, у кривой локальный минимум — самый глубокий при $x \approx 1.885$, где $f \approx -4.406$, — а где с плюса на минус, локальный максимум.

Не у всякой функции производная есть всюду. У $|x|$ наклон $-1$ слева от $0$ и $+1$ справа; у секущей в $0$ нет единого предела, поэтому $|x|$ там не дифференцируема. У функции активации ReLU, $\max(0, x)$, такой же излом, и библиотеки для нейросетей просто договариваются использовать там $0$.

Приблизьте излом и убедитесь сами. Панель проводит из точки две секущие, влево и вправо, и $h$ привязано к масштабу. На гладкой кривой приближение распрямляет картинку, и две секущие складываются в одну прямую. В изломе $|x|$ картинка не меняется никогда: при любом увеличении это та же галочка, левая секущая остаётся на $-1$, правая — на $+1$. Единого числа, которым могла бы быть производная, просто нет.

Насколько малым брать h на компьютере?

В точной арифметике чем меньше $h$, тем лучше. На компьютере — нет.

Наклон секущей $\bigl(f(x+h) - f(x)\bigr)/h$, прямая разность, вычитает два почти равных числа. 64-битное число с плавающей точкой хранит около 16 значащих цифр, поэтому разность теряет столько из них, сколько их общих у $f(x+h)$ и $f(x)$. Оставшаяся ошибка округления затем делится на крошечное $h$.

Две ошибки тянут в противоположные стороны:

• ошибка усечения — кривая не прямая — примерно равна $\tfrac12 |f''(x)|\,h$ и убывает вместе с $h$;
• ошибка округления примерно равна $\varepsilon\,|f(x)|/h$, где $\varepsilon = 2^{-52} \approx 2.2 \cdot 10^{-16}$ — точность числа с плавающей точкой, и растёт по мере уменьшения $h$.

Их сумма минимальна около $h \approx \sqrt{\varepsilon} \approx 1.5 \cdot 10^{-8}$.

Центральная разность $\bigl(f(x+h) - f(x-h)\bigr)/2h$ берёт точки с обеих сторон. Слагаемые с $f''$ сокращаются, её ошибка усечения имеет порядок $h^2$, а наилучшее $h$ сдвигается вверх, примерно к $\sqrt[3]{\varepsilon} \approx 6.1 \cdot 10^{-6}$.

Панель вычисляет обе формулы в обычной 64-битной арифметике и строит график их ошибки в зависимости от $h$; ведите по графику, чтобы менять $h$.

Читайте график справа налево — так, как уменьшается $h$. Сначала обе линии падают с наклонами 1 и 2: каждое уменьшение $h$ в десять раз делит ошибку прямой разности на 10, а центральной — на 100. Затем верх берёт округление, и обе линии поворачивают вверх, в шум.

При $x = 3$ прямая разность точнее всего при $h \approx 4 \cdot 10^{-9}$, с ошибкой $1.3 \cdot 10^{-8}$. Центральная разность достигает $3 \cdot 10^{-11}$ при $h \approx 4 \cdot 10^{-6}$ — примерно в 450 раз точнее, при $h$ в 1000 раз больше.

Поэтому численные производные используют, чтобы проверять аналитические, — это «проверка градиента» центральной разностью с $h$ около $10^{-5}$, — а не чтобы обучать сети: каждая оценка стоит дополнительных вычислений функции на каждый вход, а ответ верен лишь примерно до десяти знаков.

Цепное правило на вычислительном графе

Настоящие формулы — это композиции простых операций. Разобьём

на шаги: $e = a \cdot b$, $d = e + c$, $L = d \cdot s$. Это вычислительный граф.

Прямой проход вычисляет значения слева направо. При $a = 2,\ b = -3,\ c = 10,\ s = -2$: $e = -6,\ d = 4,\ L = -8$.

Обратный проход отвечает на другой вопрос: насколько изменится $L$, если чуть сдвинуть данный узел? Это производная $\partial L / \partial \text{node}$, которую называют градиентом узла. Значение узла и его градиент — разные числа.

Каждой операции достаточно знать собственную локальную производную:

• для $L = d \cdot s$: $\partial L / \partial d = s$ и $\partial L / \partial s = d$;
• для $d = e + c$: $\partial d / \partial e = \partial d / \partial c = 1$ — сложение передаёт градиент без изменений;
• для $e = a \cdot b$: $\partial e / \partial a = b$ и $\partial e / \partial b = a$ — умножение отдаёт каждому входу значение другого.

Скорости вдоль цепочки перемножаются. Лекция берёт пример Джорджа Симмонса: если машина едет вдвое быстрее велосипеда, а велосипед вчетверо быстрее пешехода, то машина быстрее пешехода в $2 \cdot 4 = 8$ раз. Цепное правило точно так же перемножает локальные производные вдоль пути:

Двигайте ползунок обратного прохода: каждое деление обрабатывает одну операцию, справа налево, и подписывает каждое пройденное ребро его локальной производной. Затем потащите любой вход вбок.

Всё начинается с $\partial L / \partial L = 1$: сдвиг выхода на $\varepsilon$ меняет его на $\varepsilon$. В конце $\partial L/\partial a = 6,\ \partial L/\partial b = -4,\ \partial L/\partial c = -2,\ \partial L/\partial s = 4$, а перетаскивание проверяет их по старинке. Сдвиньте $a$ с $2$ до $2.5$ — и $L$ изменится на $3$, ровно на $\partial L/\partial a \cdot \Delta a = 6 \cdot 0.5$. Градиент и есть это предсказание: насколько сдвигается выход на единицу сдвига входа. Здесь оно точное, потому что $L$ линейна по каждому входу в отдельности; для кривой функции оно верно только для малых сдвигов — в этом и состоит всё содержание формулы $f(x+h) \approx f(x) + f'(x)\,h$.

Теперь сдвиньте все четыре входа сразу. «Шаг по градиенту» прибавляет к каждому входу $0.01$ его собственного градиента, и $L$ растёт с $-8.00$ до $-7.29$. Градиент предсказывал рост на $0.01 \cdot (6^2 + 4^2 + 2^2 + 4^2) = 0.72$; настоящий — $0.71$. Разница — это произведения входов, $a \cdot b$ и $e \cdot s$, которые меняются одновременно и которых предсказание первого порядка не видит: $L$ линейна по каждому входу в отдельности, но не по всем сразу. Шаг против градиента, наоборот, уменьшил бы $L$ — и в этом всё обучение, как покажет последний раздел.

«—», пока проход не дошёл до узла, означает «ещё не вычислено», а это не то же самое, что ноль. Сдвиньте $s$ до $0$ — и все градиенты левее станут нулевыми, хотя значение ни одного из этих узлов не равно нулю: когда последний множитель равен нулю, ничто выше по графу не может сдвинуть $L$.

Это и есть обратное распространение ошибки (backpropagation). Один обратный проход даёт градиент единственного выхода по каждому узлу ценой небольшой константы, умноженной на стоимость прямого прохода. У сети одна функция потерь и миллионы параметров, и именно из-за этого соотношения её обучают назад, а не вперёд.

Одна переменная, несколько путей: градиенты складываются

А если значение используется больше одного раза? Возьмём

Переменная $x$ входит в граф трижды: дважды как вход $x \cdot x$ и один раз в $k \cdot x$. Каждое использование — отдельный путь к $L$, и каждый путь возвращает свой вклад: $x$ с каждой стороны произведения и $k$ от второго слагаемого. Цепное правило для функций многих переменных говорит, что производная равна их сумме:

Поэтому движок обратного распространения ошибки пишет grad += ..., а не grad = .... Вторая кнопка воспроизводит ошибку: каждый вклад затирает предыдущий, выживает только последний, и касательная, построенная по такому градиенту, проходит мимо кривой.

Перетащите точку в $x = -1.5$ при $k = 3$. Сумма равна нулю, и касательная горизонтальна, но ни один путь не исчез: $-1.5 - 1.5 + 3 = 0$. Вклады могут взаимно уничтожаться, и нулевой градиент не значит, что от $x$ ничего не зависит.

«Накоплением» градиентов называют две разные вещи, и их полезно не путать. Внутри одного обратного прохода вклады обязаны складываться. Между шагами обучения сохранённые градиенты нужно сначала обнулить — иначе градиент предыдущего шага прибавится к новому. Первое — это цепное правило; забыть второе — ошибка.

Порядок тоже важен. Узел может передать свой градиент дальше только после того, как отчитались все его использования, поэтому обратный проход обходит узлы в обратном топологическом порядке.

Зачем нужна производная: градиентный спуск

Знак $f'(x)$ говорит, в какую сторону $f$ растёт. Чтобы спускаться, нужно шагать в противоположную:

Размер шага $\eta$ называется скоростью обучения. Где склон крутой, шаг длинный; у минимума, где $f' \approx 0$, — короткий, и спуск останавливается сам.

Из $x = 3$ при $\eta \approx 0.03$ спуск за 20 шагов доходит до самой глубокой впадины, $x \approx 1.885$. Перетащите старт (или сдвиньте его ползунок) в $x = 3.3$ — чуть дальше вершины в $3.198$ — и пунктирное превью покажет, как то же правило уводит точку в другую сторону, в более мелкую впадину в $4.294$. Производная — локальная информация: она знает, где низ здесь, но не знает, где лучшая впадина.

Теперь увеличьте $\eta$. У минимума в $1.885$ кривизна равна $f''(1.885) \approx 19.5$, и спуск сходится, только если $\eta < 2/f'' \approx 0.10$. Выше этого порога каждый шаг перелетает дальше, чем исправляет, и точка скачет между стенками впадины, вместо того чтобы остановиться.

Обучение нейросети — тот же самый цикл. $x$ превращается в миллионы весов, $f$ — в функцию потерь на обучающих данных, $f'(x)$ — в вектор градиента, а обратное распространение ошибки вычисляет его за один проход. Остальная часть лекции строит ровно это поверх крошечного движка из панелей выше.

Короткие ответы

Что такое производная одним предложением?

Производная f′(x) — это скорость, с которой f меняется на единицу изменения аргумента вблизи x, то есть наклон прямой, которая лучше всего приближает график в этой точке.

Почему касательная определяется через предел?

Одна точка не задаёт наклон прямой: через неё проходит бесконечно много прямых. Вторая точка на расстоянии h задаёт одну — секущую, а касательная — это то, во что секущая превращается, когда h стремится к нулю.

У любой ли функции есть производная?

Нет. У |x| в нуле излом: слева наклон −1, справа +1, поэтому у секущей нет единого предела. У ReLU, max(0, x), такой же излом; библиотеки для нейросетей просто выбирают там какое-то значение, обычно 0.

Чем производная отличается от градиента?

Производная — это скорость изменения функции одной переменной. Градиент собирает частные производные функции многих переменных, по одной на каждый аргумент, в вектор; он указывает направление наискорейшего роста.

Численное, символьное или автоматическое дифференцирование — что есть что?

Численное дифференцирование оценивает наклон по значениям функции в близких точках и обменивает ошибку усечения на ошибку округления. Символьное дифференцирование преобразует формулы. Автоматическое дифференцирование, частным случаем которого является обратное распространение ошибки, применяет цепное правило к фактической последовательности операций, выполненных программой, и даёт точные производные с точностью до округления в арифметике с плавающей точкой.

Почему обратное распространение ошибки идёт в обратную сторону?

У сети одна функция потерь и миллионы параметров. Если идти назад от функции потерь, один проход по графу даёт производную этого единственного выхода по каждому входу — ценой небольшой константы, умноженной на стоимость прямого прохода. Движение вперёд потребовало бы по одному проходу на каждый параметр.

Почему при обратном распространении ошибки градиенты накапливаются через +=?

Потому что значение, которое используется в нескольких местах, влияет на выход по нескольким путям, и по цепному правилу для функций многих переменных его производная равна сумме вкладов всех этих путей. Присваивание вместо сложения оставляет только последний путь.

Литература

• A. Karpathy, «The spelled-out intro to neural networks and backpropagation: building micrograd», Neural Networks: Zero to Hero, lecture 1, 2022. Лекция, по которой построена эта страница.
• 3Blue1Brown, Essence of Calculus, video series, 2017. Геометрическая интуиция за производными и цепным правилом.
• M. Spivak, Calculus, 4th ed., Publish or Perish, 2008. Главы 9–10: определение производной и правила дифференцирования со строгими доказательствами.
• J. Nocedal, S. J. Wright, Numerical Optimization, 2nd ed., Springer, 2006. Глава 8: конечные разности, их ошибки и автоматическое дифференцирование.
• A. G. Baydin, B. A. Pearlmutter, A. A. Radul, J. M. Siskind, «Automatic differentiation in machine learning: a survey», Journal of Machine Learning Research 18 (2018), 1–43.
• A. Griewank, A. Walther, Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation, 2nd ed., SIAM, 2008. Основной справочник по дифференцированию в обратном режиме.

Nikolay Eremeev, Senior Data Infrastructure Engineer. Пишет о том, что строит в продакшене. CV ·hi@nikolay-eremeev.com