L1正則化とL2正則化について
絶対忘れそうなので、まとめておく。
（機械学習の本を読んでいると当たり前のように出てくるのですが
当たり前なんですか？）
まず、ちゃんと言葉の整理。
『正則化』
wikipedia先生曰く
「正則化（せいそくか、英: regularization）とは、数学・統計学において、特に機械学習と逆問題でよく使われるが、機械学習で過学習を防いだり、逆問題での不良設定問題を解くために、追加の項を導入する手法である。モデルの複雑さに罰則を科すために導入され、なめらかでないことに罰則をかけたり、パラメータのノルムの大きさに罰則をかけたりする。」
要は
『L1正則化』
不要なパラメータを削りたいことを削る時に使う
『L2正則化』
過学習を抑止するのに役にたつ
この図を見れば一目瞭然!!
(理解するまで30分かかった汗)
（引用：
http://tjo.hatenablog.com/entry/2015/03/03/190000）
最後に3つ言わせてくれ。
・L１L２の「L」の何の略だ？(ルベーグ??）
・こんなことを当たり前のように書くのやめてほしい
・大学の時に教授がノルムノルムとか言っていたけど、もはやキレイだなぁとしか思わない
参考
https://ja.wikipedia.org/wiki/正則化
http://tjo.hatenablog.com/entry/2015/03/03/190000
【機械学習】LPノルムってなんだっけ？
https://qiita.com/kenmatsu4/items/cecb466437da33df2870
Lpノルム
