数理最適化

多くの機械学習手法はデータに対するモデル出力の誤差を定義し、誤差を最小化するようにパラメータの更新（学習）をおこなう。誤差を計算する関数、すなわち損失関数を最小化する学問体系は応用数学において数理最適化（解かれる問題は最適化問題）と呼ばれる。

例えばニューラルネットワークでは損失関数に対して微分をおこなう勾配法（確率的勾配降下法など）で学習がしばしばおこなわれる。勾配法による最適化が最適解に収束するか否かは数理最適化の理論によって研究される。また用いられる最適化法によってニューラルネットワークに課される制約も異なり、勾配法を用いるには連続する関数適用がすべて微分可能である（バックプロパゲーションが可能である）ことが求められる（生成モデルのサンプリングに強く制約を与える）。 

ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜馬渕教室