過学習を自動的に防ぐ
過学習とは,モデルが訓練集合外のデータに一般化することに失敗することである.過学習を防ぐ方法の一つとして,ホールドアウト検証データ集合でのモデルの性能を監視し,その性能が向上しなくなったら訓練を中止するというものがある.この例では,NetTrainのTrainingStoppingCriterionオプションを使うことでネットが向上しているかどうかを判断する基準を指定し,過学習を防ぐ方法を示す.
簡単なネットを作成する.
アヤメのデータ集合でネットを訓練し,100ラウンド行っても検定F1スコアが改善しなくなったら訓練を中止する.
このネットを,早期中止しないで訓練した同じネットと比較する.FIスコアは似ているが,後者の訓練時間はずっと長い.この例では,訓練集合を過学習したため,検証のF1スコアが低下した.