学習率の調整

DCGANのモデルを学習させていると生成される画像が似たような画像を行ったり来たりすることがあります。

長期間どのエポックでもそれが起きてるならおそらくモデルのオプティマイザーの学習率が高いのが原因かもしれません。

機械学習は正しい答えを出力できるようにニューラルネットワークに見立てたモデルの重みを学習していきます。

学習率が高い場合、良い重みが何度かいったりしたりしている重みの中間の部分にある状態になってしまっている可能性があります。

例えばある重みが0.6が1番最適な重みだとして、現在の重みが0.4だとします。

この時学習率が高く0.4刻みでしか重みを動かせない設定では0.0か0.8の何れかにしか調整させられず、最適な重みに調整できない状態になります。

こうなると学習を進めてもずっと0.0や0.8付近を行ったり来たりすることになるので同じような出力を繰り返し続けることになります。

学習が進むにつれて段々と最適な重みに調整され、細かい微調整をしながら学習していく必要が出てきます。

学習が進んできたら学習率を落とすという対応をすると、さらに微妙な出力ができるように微調整しながら学習されていくのでさらに高精度な学習ができることが期待できます。