＜その他＞9/28 大阪pythonの会に参加＋LTやってみた

退職関係でバタバタしたり卓球の試合でたりでバタバタして、全然更新できていませんでした。。

9/28に、大阪pythonの会に参加しました。
osakapython.connpass.com

LTやってみた

LT（ライトニングトーク）というものをやってみたので、スライドあげときます。
(Ubuntuに標準であるLibreOffice Impressをslideshareにアップするの結構苦労しました…)

https://www.slideshare.net/secret/JeZAP8SaIlNovc

話を聞いてみて

びっくりしたこと

• Faas(Function As a Service)
  サーバレスコンピューティング。
  もはやサーバすら立てない。
  プログラム(function)をサーバに置いて、それを呼ぶときだけサーバが立ち上がる（？）
  Docker的な感じでしょうか？(Dockerよく知りませんが)
  初めて知って結構感動しました

その他

• 自分と同じ投資テーマで発表している人がいて、勉強になりました。

全体的に

• LTしてみてよかったです。技術的な話を全くせずだったとか、反省はあったけど…
• pythonの話もさることながら、投資の話ができたのが面白かった。笑 主に仮想通貨。
• 証券会社の人とか公務員の人とか、本業以外の人が一定数いた。
• 読書会第２回やります
  前回は、４人に対して８人申し込み→当日来たのが一人という感じだったので定員を増やしました笑
  osaka-prg-school.connpass.com

＜基礎学習＞9/21-9/23 AI白書（〜1.8）の読書メモ

AIの業界についても勉強しなきゃいけないなと思い、AI白書を読んでいます。
1.1〜1.8の中で気になったところをメモ。

1.DeepLearningの分野と実用性

分野

• パターン認識
  • 画像認識
  • 音声認識
• 自然言語処理
  • 文脈解釈
  • 意味解釈
  • 要約

実用性

• パターン認識は結構実用的なレベル
• 自然言語処理はまだまだ？

2.AlphaGo

最近話題になった囲碁のAI。

仕組み

AlphaGoは以下構成で成り立っている。

• ディープラーニング
• モンテカルロ木探索
• 強化学習

大量のプロ棋士の棋譜をディープラーニングで学習させ、ある程度の強さのプログラムを作る。そこから、そのプログラム同士を何度も対局させ強化学習することによって更に強く。

3.ハードウェア

主に、組み込み系のところが気になりました。

書いてあったこと

• 計算資源の乏しいデバイスに推論をさせるために…
  • 専用チップの開発
  • 32bitではなく16bit、8bitで計算するための仕組みを構築

全体を通して思ったこと

• ディープラーニングは万能ではない
  ディープラーニングだけではなく、従来の機械学習や統計的な手法等を組み合わせることが必要。
  現時点で、「汎用的な人工知能(=ニューラルネットワーク)を作る」という発想はやめたほうがいい
  • 組み合わせとして使えるもの
    • prolog(第２次AIブームで流行した。pepperやIBMのワトソンもコレを使っているとか)
    • 機械学習
• 「ディープラーニングである程度学習→強化学習」、を何かでやってみたい。

＜基礎学習＞9/19-9/20 物体検出(SSD_Keras)をやってみた★9/22追記

今日書くこと

• SSD_Kerasで、学習→推論ができるまで

SSD_Kerasを触った経緯

（「いきさつ」と打って変換すると「経緯」に変換されてびっくり。どうでもいいですね）

知人のお手伝いで物体検出をやっていて、その中でいいフレームワーク？がないかということで探していたところSSD_Kerasを見つけました。
物体検出のイメージとしてはこんな感じです。

ハイキューを彷彿とさせる絵面ですね

参考にしたサイト

ai-coordinator.jp

自分が詰まったところメモ

• Trainingするソースどれやねん…
  →SSD_training.ipynb。jupiterNotebookの形式らしいので、これを.pyに変換しました。
  9/22追記:ipynb→pyの変換
  以下のコマンドを叩いてください。

jupyter nbconvert --to python ファイル名.ipynb  

• 学習終わらん…(Epoch 1/30でずっと止まる)
  →batch_size > テスト画像数になると駄目みたいで、ずっと止まります。具体的には以下。

gen = Generator(gt, bbox_util, 16, 'frames/',
                train_keys, val_keys,
                (input_shape[0], input_shape[1]), do_crop=False)

230行目あたりでGeneratorを生成する時に指定している第３引数がbatch_sizeです。
batch_sizeは、1回の学習に使うデータの数のことです。
デフォルトは16になっていますが、必要に応じて合わせる必要があります。 テストデータは1枚としていたので、ここを1に足す必要があります。

9/22追記:学習データの作り方

• アノテーションデータの作成
  「物体検出用SSD_Kerasで使える学習モデルの作成方法」で言及されたツール(http://qiita.com/slowsingle/items/9006383145a650c84cb0)を使います。(結果がXML形式で出力されます）
  出力されたXMLファイルを、PASCAL_VOC/get_data_from_XML.pyを使ってpklファイルに書き込みます。
  同プログラムの下の方に書いてあるところを環境に合わせて変更してください。

## example on how to use it
import pickle
data = XML_preprocessor('testxml/').data
pickle.dump(data,open('gt_pascal.pkl','wb'))

• アノテーションデータの準備①-XMLファイルの作成
  生成されたgt_pascal.pklをルートディレクトリ(SSD_training.py等プログラムがあるところ)に格納してください。
• アノテーションデータの準備②-テストデータが格納されているパスを指定
  テストデータに使う画像のpathを、232行目あたりのpath_prefix、233行目あたりのGeneratorの4つ目の引数で指定してください。
• 学習
  SSD_training.py（※ssd_training.pyではありません）を流してください。
  学習結果は、/checkpointsに出力されます。(※学習前にフォルダを作成しておいてください）
• 推論の準備① - タグの編集
  SSD.py（※ssd.pyではありません）を編集します。
  デフォルトはVOC2007のタグ付けになっています。

voc_classes = ['Aeroplane', 'Bicycle', 'Bird', 'Boat', 'Bottle',
               'Bus', 'Car', 'Cat', 'Chair', 'Cow', 'Diningtable',
               'Dog', 'Horse','Motorbike', 'Person', 'Pottedplant',
               'Sheep', 'Sofa', 'Train', 'Tvmonitor']  ```

• 推論の準備② - 読み込む画像の編集
  提供されているプログラムは、パスを直書きしています。
  手間なので、フォルダの中のすべてのファイルが読み込まれるように変更しました。
  以下は、/framesに画像を格納する場合の例です。

files = glob("frames/*.jpg")
for file in files:
    img = image.load_img(file, target_size=(300, 300))
    img = image.img_to_array(img)
    images.append(imread(file))
    inputs.append(img.copy())
inputs = preprocess_input(np.array(inputs))

• 推論
  学習結果をSSD.pyに読み込ませることで、自分が作ったネットワークと画像で推論ができます。

動かしてみた

できた！
あとは、学習データを増やしてみて、実用的なレベルまで持って行きたいです。

感想

• インターネットすごい。こんな難しいこともググればすぐ出来るようになるなんて…。

所要時間

５時間程度でした。

＜その他＞9/18 「ゼロから作るDeepLearning」の読書会やってみた

osaka-prg-school.connpass.com

9/18に、書籍「ゼロから作るDeepLearning」の読書会を行ったので、メモ。 読書会は開催・参加ともに初めてでした。

開催の意図

• DeepLearningやる仲間が欲しかった
• DeepLearningを教えてみたかった

会場

いつも参加しているもくもく会のスペースをお借りすることができました。

読書会の進め方

1. 15ページ〜20ページをその場で全員で黙読(1ページ/分)
2. 書いてあったことの要約、分からなかったことをシェア

出た質問

• 活性化関数として選ばれる「Sigmoid関数」「ReLU関数」はどう使い分けるの？
  →損失関数としてCrossEntropyを使う場合、活性化関数にSigmoid関数を使うのが相性がいいらしいです。
  　でも、勾配消失するからSigmoidはあまりよくない？ReLUが基本的にはいいみたいです。
• 「活性化関数が線形関数だと層を深くする意味がなくなる」が納得いかなかった
  →ちゃんと答えられず。

感想

• 参加者ドタキャンを計算できなかったのが反省点です。定員4人、申込8人に対して最後来るの1人って笑
  次は多めに募集しておきたいです。
• 上記のスタイルだと、構成するメンバーは2人〜3人が最適なのかなと思いました。
  6人参加だと、2人×3グループに分けるとか？

＜基礎学習＞9/14-9/16 AutoEncoder - あずにゃん、唯、りんごの特徴量を抽出する（２）

画像の特徴量分類

前回の続きです。
りんごの画像10枚、あずにゃん3枚、唯3枚を入力データとし、2次元に圧縮（特徴量抽出）しました。

赤：りんご
青：あずにゃん
黄：唯

人間とりんごを区別できました笑。

値動き分類

時価総額50億以下の銘柄の「過去300日の値動き」を2次元に圧縮してplotしてみました。
青色の点が、5日以内に+5%以上値上がりする銘柄。
黒色の点が、上記以外。

2次元では特徴量をつかめませんでした。

今回勉強になったこと

• TensorFlowの理解が進みました!（重み・バイアスを取得する方法がわかった、sess.run()のおまじないが少しわかった、など…）
• いいブログを見つけました。（AIだけでなく株式投資の考え方もめちゃくちゃ参考になります。）
  we.love-profit.com

雑感

• 株価を分析するには、説明変数が圧倒的に不足していますね。。

＜基礎学習＞9/13 AutoEncoder - あずにゃん、唯、りんごの特徴量を抽出する

目次

1. まえがき
2. 概要
3. AutoEncoderとは
4. 今回のテスト
5. その他

1.まえがき

僕はなぜ株のAIを作ろうと思ったのか？
根本は「AIを勉強する」ことだと思い直しました。

根本の欲求を満たすために、
①AI関連の技術を勉強し実装する（コードの綺麗さ度外視）
②株に当てはめて考えてみる
の流れで、いろんな技術を触ってみようと思います。
ミソは①。とにかくスピード重視、ソースコード汚いの大歓迎で新しいものを触りまくります。
今回は、その第一弾。AutoEncoderを触ってみました。
画像認識のお手伝いの時に教えてもらっていろいろ触っていたのですが、株にも応用してみます。

2.概要

仮説

株価がN％以上UPする前の値動き、N％以上DOWNする前の値動きって何か特徴あるんじゃない？

検証

AutoEncoderを使って、値動きデータを2次元に（むりやり）圧縮してプロット。
N％UPの集団とN%DOWNの点が離れている＝特徴あり！

作業フロー

①簡単な実装：唯、あずにゃん、りんごの画像を学習させ、特徴を２次元にプロットする ②本番実装：N％以上UPする前の値動きおよびN％以上DOWNする前の値動きを学習させ、特徴を２次元にプロットする

3.AutoEncoderとは

• 教師なし学習（教師データは入力層）
• 入力データを圧縮→正確に復元できるようニューラルネットワークが学習する
• 入力データを次元圧縮した値が特徴量になる
• 概念としては機械学習の主成分分析に似てます（たぶん）

4.今回のテスト

今日は、簡単な実装をしてみました。

入力層

画像９枚を入力データとします。
・内容：りんご３枚、唯３枚、あずにゃん３枚。（本当はもっと取るべきなのですがめんどくさかった）
入力層の次元数は3000000次元です。（画像はプログラム内で1000*1000pxに圧縮するため、縦横で1000000pxです。さらに1pxごとにRGBの値があるため、入力層は10000000×3=3000000次元になります。）

圧縮

今回は2次元に圧縮します（＝隠れニューロン数が2）。可視化のため2次元にしていますが、本当はもっと高次元にします。

結果

今回の例でいうと、3000000次元を2次元に圧縮し、3000000次元に復元する。その復元の精度を高めるための学習をするということになります。
上記の学習を行ったネットワークを使って、入力データ(3000000次元)を2次元に圧縮します。 その結果をplotしてみます。

…間違って消してしまったので、再学習させてます。結果はまた明日。

5.その他

ソースコード

以下にAutoEncoderのソース公開しています。
（テスト的に書いたベタ書きソースなので信じられないくらい汚いです）
github.com

所感

とりあえず、迷走するだけしてみようかなと思います。。笑

＜株進捗＞9/9-9/12 学習とバックテスト→一区切りつきました

学習→トレード

よい結果を残したパラメータを使って、「時価総額＜２０億」の銘柄2012年〜2016年のデータを20万回食わせてみました。
そして2017年1月〜7月でトレードさせてみたのですが、利益は出ず。
手数料込みで▲1.1%程度の成績でした。

今後

ここまで1ヶ月半、結構時間を費やしてきましたが成果は出ませんでした。
いろいろ粘りましたが、僕の今の発想や今の手法では勝てないんだろうと思います。
ちょっと一旦距離を置きます。

今後確実にやりたいこと

• 一区切りついた感じがするので、どこかの時間で振り返ろうと思います。反省の多い１ヶ月半だったな…。
• 信ぴょう性のある「先行事例」「論文」を読み漁ります。（個人のブログじゃなくて、ちゃんとした論文を）
  我流でやるのはやっぱり良くない。

今後考えること

• 株予測に費やす時間を減らすか？
  (根本の目的は「AIの勉強」なので、自然言語処理など別の分野も触ってみたい）
• 強化学習をやってみる？

その他ひとりごと

• 今回の開発で、AI関係なく投資のシュミレーションができる環境が整いました。(過去２００営業日で高値超えたあとの値動きのデータを時価総額別に集計する、など…）
  いろいろな分析に使えそうです。
• 「AIにデータを食わせれば結果が出る」といった、AIに0から100までやらせるには時代が早すぎ？
  投資の世界では、AIはあくまで人間の判断を補助するレベルでしかないのかも？
• 仮説→検証のサイクルが遅すぎる。