夜は短し歩けよ未来大生

未来大生が人工知能を中心に勉強していく上で、学習メモや日記として書いていきます。

夏休みDay5(DL4US課題)

今日は明後日までに期限が迫ってきたDL4USの課題に取り組んでいました。

詳しいことは自分で調べてもらうとDL4US( DL4US | Deep Learning for All of Us )が何なのかわかりやすい説明が出てくると思います。

DL4USの資料や課題の詳しい内容はもちろん言ってはいけないと思うので、言える範囲でやったことを言っていこうかなと思います。

今回の内容

今回の内容は画像認識なんかによく使われる技術の解説がメインでした。
具体的には畳み込み層やData Augmentationとか学習のテクニックとかですね。

課題の内容

そして、気になる課題の内容はよくある多クラスの画像分類問題でした。
深層学習ライブラリのチュートリアルとかにもでてくるような有名なデータを使って画像の分類をしました。

自分はまず、何も考えずに畳み込み層と活性化関数だけの単純なネットワークでやってみました。
何も考えずにやると大体50%くらいが限界でした。

そこから自分はRes-Netを参考にネットワークを構築しようと考えました。
具体的にはSkip Connectionを使った、勾配消失問題への対策を考えたネットワークを構築しました。

途中なぜかフィルタの数でエラー吐いてました。。。。issueを見てると全く同じ悩みを抱えてる人がいましたが、自分がどうやって解決できたのかいまいち分かってないので助けてさしあげられません。。。ごめんなさい!!!

学習させた結果は大体70%くらいでした。
ですが、これはエポック数が30で、もう少し精度が伸びそうだったんで今もう一度最大エポック50回で学習しなおしてます。時間がかかりますね。。。。

社会人の人が土日にしかできないーって言ってる人もいましたが、暇な夏休みなのを良いことにばんばん時間を使っていこうかと思います!!!

おまけ

パラメータ 数値
最適化関数 SGD+Momentum
学習率 0.01
Momentum 0.9
weight decay 0.0001

全てRes-Netの論文を参考にしました。
[1512.03385] Deep Residual Learning for Image Recognition

ここら辺もまだまだ弄りがいがありそうなところですね。