Комментарии 4
Где бы обратный проход нормализации найти в понятном пошаговом виде (не как в википедии - это я сколько не читал, так и не понял). Прямой легко реализуется.А вот обратный...
Очень хорошая статья. Но в некоторых местах с точки зрение математики и программирование надо делать изменение:
Нормализация:
, где ϵ — маленькое число для избежания деления на ноль.
Тут эпсилон не маленькое число а именно маленький положительной число. Это для того чтобы избежать от деление на ноль(в случай что сигма = ноль).
4. Использование ограничения веса: Веса сети могут увеличиваться в размерах в ответ на вероятностное удаление активаций слоя. Чтобы противодействовать этому, можно наложить ограничение на веса, чтобы норма всех весов в слое была ниже определенного значения.
В некоторых ситуациях при удаление активации слоя веса сети могут уменьшиться в размерах. Это вполне возможно если все веса слоя отрицательные. В этом случай не только сверху надо ограничить а ещё надо ограничить и снизу тоже.
Dropout и Batch normalization