＜その他＞10/4 小ネタ(読書会/AIが演奏会)

読書会やりました

10/4 19:00-22:00に、ゼロから作るDeepLearningの読書会をやりました。
参加者６人でした。
第３章４節まで進みました。

以下、質問について回答いたします。

• 活性化関数にReLUとかSigmoidとか出てきたけど結局何を使えばいいの？
  www.procrasist.com
  qiita.com

  結論からいうと、LeakyReLU、PReLUが強いみたいです。
  ReLUがいい理由について、２個めのサイトの「スパース性がある」という表現がいいですね！

  ReLUは、f(x)<0ならば0に押し込めるのに対して、LeakyLeRUはf(x)<0ならばf(x)に定数a(0<a<1)を乗算するみたいです。

  数式でいうと

  • ReLUは max(0, f(x))です。
  • LeakyReLUは、max(f(x)*a, f(x))です。※a:定数。任意の値を設定

  Sigmoid関数には勾配消失問題があります。(ゼロから作るDeepLearning P.180を参照。)

今、強化学習(DQN)の活性化関数で何を使うかを考察していて勉強していたので、調べたことを書いてみました。

AI関連でびっくりしたニュース

AIが演奏会！？

ニュース記事
style.nikkei.com

公式サイト DCEXPO2017 – コンテンツ技術をテーマとした国際イベント

人間がひとつの楽器を演奏すると、それを聞いたAIが即興でアンサンブルするみたいです。
この話を聞いてめっちゃ感動しました。行ってみたいけど、東京か…。