ディープラーニングの基礎
ディープラーニングとは特徴表現学習である。単純パーセプトロンとは入力層と出力層のみによって構成され隠れ層を持たないニューラルネットワークである。ニューラルネットワークにおける活性化関数とは入力を出力に変換する関数でその真逆のフィードバック（誤差逆伝播法）もある。ReLU関数は入力が負の時0を出力し0以上の時は入力をそのままで出力する今トレンドな活性化関数のうちのひとつである。一方でそれに後れを取っている前時代の活性化関数として2クラス分類に使われるシグモイド関数と多クラス分類に使われるソフトマックス関数がある。ReLU関数が隠れ層で使われる関数であるのに対しこれらの関数は出力層で使われる。深層学習距離における損失では2データの組を用いて計算されるロスのContrastive Lossと3データの組を用いて計算されるロスのTriplet Lossがある。L0正則化…0ではない大きさのパラメータ総数を損失関数に加える.L1正則化…パラメータの大きさの絶対値総和を損失関数に加える.L3正則化…パラメータの大きさの二乗和を損失関数に加える.ドロップアウトとはニューラルネットワークくレンジにニューロンを除外する方法のことを言う。確率的勾配降下法がミニバッチ学習（訓練データから一部データをランダム抽出して学習する方法）の手法のうちのひとつである。二重降下現象…学習中に減少していたテストデータが増加した後に減少する現象.ノーフリーランチ定理…あらゆる問題において優れた汎化性能を持つモデルは存在しないという定理.ハイパーパラメータ…学習によって最適化できないパラメータのことでこれは学習前に事前設定をするモデル構造決定のための定数-そしてハイパーパラメータをチューニング（学習と誤差の評価を繰り返すこと）する方法として網羅的グリッドサーチと抽出的ランダムサーチが存在する.
