запишу, пока не забыл
Jun. 14th, 2018 07:47 pmСлушал сегодня Нати Сребро про нейронные сети и их тайну. По мотивам этой статьи, частично - этой.
Прекрасная постановка вопроса, потом результаты - но они пока очень сырые, для сферического коня в вакууме все сходится, как это обобщить на продолговатую лошадь - ну.. направление в целом понятно, ясно, что суть примерно та же.
( чуть-чуть подробностей )В общем, мне очень понравилось. Обычно на вопрос "а как же там с VC-dimension?" слышишь глубокомысленное "для этого у нас dropout есть - все будет в порядке" (а иногда: "ты че, бля! работает - не трогай!"), а тут - становится потихоньку понятно, почему же оно действительно работает.
Прекрасная постановка вопроса, потом результаты - но они пока очень сырые, для сферического коня в вакууме все сходится, как это обобщить на продолговатую лошадь - ну.. направление в целом понятно, ясно, что суть примерно та же.
( чуть-чуть подробностей )В общем, мне очень понравилось. Обычно на вопрос "а как же там с VC-dimension?" слышишь глубокомысленное "для этого у нас dropout есть - все будет в порядке" (а иногда: "ты че, бля! работает - не трогай!"), а тут - становится потихоньку понятно, почему же оно действительно работает.