<株進捗>8/23 株学習の準備(完了)、シュミレーション起動

目次 学習させる株データの作成(昨日の続き) シュミレーション実行!! 今後やりたいこと その他 1.学習させる株データの作成(昨日の続き) 昨日の記事(以下)の続きをやりました。 昨日まで以下の2つの仮説を検証すべく、学習フェーズのプログラムの改修を行…

<株進捗>8/22 株学習の準備3

目次 学習させる株データの作成 雑多なタスク その他 1. 学習させる株データの作成に伴う改修 昨日まで以下の2つの仮説を検証すべく、学習フェーズのプログラムの改修を行っていました。 目標達成の仮説1:学習データを「100銘柄の100日分」とする。…

<株進捗>8/20-21 株学習の準備2

目次 学習させる株データの作成 その他 1.学習させる株データの作成 以下の流れのうち赤文字部分の実装を行いました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習させる。 翌営業日の株価を予想するために取り込むデータ数(例:100日分を取り込…

<株進捗>8/19 株学習の準備

目次 株学習データの作成 その他 1.株学習 以下の流れのうち赤文字部分の実装を行いました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習させる。 翌営業日の株価を予想するために取り込むデータ数(例:100日分を取り込み次の1日の株価を予想) …

<株進捗>8/18 データ学習方法の改良

目次 リファクタリング作業内容の整理 データ学習方法の改良 その他 1.リファクタリング作業内容の整理 コメダにこもって考えました。 2.データ学習方法の改良 今日は以下の赤文字部分の改良をしました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習…

<株進捗>8/17 資産管理クラスの作成完了。株売買プログラム骨組み完成!

目次 資産管理クラスの作成 骨組み完成 今後の予定 1.資産管理クラスの作成 株を買う判断をする前に、そもそも資産の面(主にリスク)でこの株を買っていいのか?を判断する機能の実装です。 赤字部分を作成しました。 ・総資産の10%は現金を保有すること…

<株進捗>8/16 売買成績の算出

目次 売買成績の算出 資産管理クラスの設計+ちょっと作成 コミットログ 1.売買成績の算出(trade_test.py) 今日は以下の赤文字部分を実装しました。 ①学習モデルを用意 (完了) ②学習モデルの読み込み (完了) ③現在日付の設定 (完了) →2017/1/1からスタ…

<株進捗>8/15 売買プログラムのテスト

目次 売買プログラム実装 売買プログラムのテストコード作成 雑感 1.売買プログラム実装(trade.py) 今日は以下の赤文字部分を実装しました。 ①学習モデルを用意 (完了) ②学習モデルの読み込み (完了) ③現在日付の設定 (完了) →2017/1/1からスタート ★④…

<株進捗>8/14 売買アルゴリズムの作成

目次 売買アルゴリズムの作成 GitHubを使いこなす(Issue管理) 雑感 1.売買アルゴリズムの作成 株売買のパフォーマンス計測ができるまでの流れを以下にまとめてみました。 ①学習モデルを用意 (完了) ②学習モデルの読み込み (完了) ③現在日付の設定 (完了…

<株進捗>8/13 株売買テスト基盤

やったこと 株売買テスト基盤の設計と一部製造 株売買テストの設計 今回は丁寧に設計してやってみています。 設計しているときが一番面白いですね。 いろいろなパターンでテストするときにプログラムをいちいち書き換えずにすむように、機能単位にクラス化し…

<株進捗>8/10-8/12 クラスタリング

進捗サマリ 今後の見通しの確認 株データのグルーピング (その他雑感:「ディープラーニング」って?) 今後の見通しの確認 今後の見通しについて再度整理しました。 成果目標 2016年度までを学習データとし、2017年度のデータで年利10%を記録する。 作業の…

<株進捗>8/10やったこと・・・データ標準化の改修

今日やったことサマリ データ標準化の機能を切り離してクラス化 今日やったこと データ標準化のやりかた見直し 右往左往して、結局昨日のままで良いことがわかりました。 データ標準化の機能切り離し もともとStockオブジェクトにデータ標準化の機能をゴリゴ…

<株進捗>8/9やったこと・・・学習モデルのデバッグ、プログラムバグ修正

今日やったことサマリ 学習モデルはそれなりに動いている 標準化のバグが予測おかしくしていた? 今日やったこと 学習モデルのデバッグ 昨日の続きです。 株が学習できない理由の絞り込み。 仮説1:学習がうまく行っていないんじゃないの? に対する検証と…

<株進捗>8/8やったこと・・・デバッグプログラムの作成、実行

今日やったこと 学習モデルのデバッグプログラム作成 ランダムに2次〜4次関数を作成→学習させる、というプログラムを作成。 N次関数を作るメソッド(N=(2,3,4))を昨日実装したので、イメージとしては以下の通りでいけるかと… for i in [2,3,4]: for k in rang…

<株進捗>8/7やったこと・・・プログラムの検証

東京で仕事帰りに泊まりがけで遊んで帰って、プログラムの進捗が遅れてました。 一度習慣が崩れるとダメですね…。 今日やったことのサマリ プログラムが悪いのか、株価予想はそもそも無理なのか検証! (ここまでくるのにもグダグダ…) いくつかのベンチマーク…

<株進捗>8/3やったこと・・・チューニング

8/3やったこと tensorboardの導入 ネットワークが可視化できる。 実装自体は簡単。ただ、見てもさっぱり分からない… 勉強で作ったsin波予測プログラムと今回の株予測プログラムを比較して、変なところがないか確認してちょこちょこ修正しました。 ハイパーパ…

<株進捗>8/2やったこと・・・BidirectionalRNN

8/2やったこと やっぱり株価データをちゃんと学習しない!! いくら学習させても、予想がちゃんとできない…(500kepochしてもだめでした) ということで今日は以下を試してみました。 y = √xの予測 そもそもプログラムがバグっていないか??という確認のため…

<株進捗>8/1やったこと・・・BatchNormalization、リファクタリング

今日やったこと 昨日の処理ぶん回しの結果確認 指定した銘柄と相関がある240銘柄の3年分の値動きを学習させて、指定した銘柄の株価を予想させる。 →学習はうまくいっていませんでした…。過学習でもなく、単純に学習ができていない感じです。 学習回数(epoch)…

<株進捗>今日やったこと

今日やったこと RNN、LSTMをもう一度勉強しなおし 学習の制度が全然あがらず詰まったので… 学習データの絞り込み これまでは、4000銘柄全部のデータを学習→1銘柄の株価変動を予測としていましたが、以下の通り変更しました。 ターゲット株と、対象期間N(現在…

<株分析>今日やったことと成果

今日やったこと スケールダウン 最初は、始値、高値、安値、終値、出来高…など、たくさんの変数から次の日の終値を予想しようとしていましたが、ちょっと難易度が高すぎました。。 ということで、過去100日の終値→次の日の終値を予想する、という単純なロ…

<メモ>新PCと旧PCで株学習の性能比較とか

GPU環境、CPU環境で株のデータを学習させてみました。 検証内容 ・ネットワーク:GRU ・入力層:7(日付、始値、高値、安値、終値、出来高、証券コード) ・出力層:5(始値、安値、高値、終値、出来高) ・隠れ層:2000 ・データ数:280(1銘柄、約1.5年分) ・1データ…

<メモ>PC購入→Ubuntu導入、GPU認識まで・・・

PC購入〜GPU活用まで PC購入 ゲーミングPCを購入。 GALLERIA XF(ガレリア XF)|ドスパラ通販【公式】 Corei7 7700/GeForce1070/メモリ16GB/SSD500GB+HDD2TB 税込17.8万円 ※OSいじると1年保証の対象外になりますと念を押されました。 しかし、保証書にはそ…

<その他>GitHubでソース公開

GitHubでソース公開 便利さとか使い方があまり良くわかっていないので、今回公開して終わりになるかもしれませんが… kaggleのデータサイエンスコンペのプログラム ちょっと前に取り組んでいたやつです。 公開している2本は完成。 SBS.pyがプログラムとしては…

<進捗>株分析の進捗と課題

分析の進捗 分析ログ epoch(学習させる回数)=5 ※普通は5000回くらい 1株だけ学習させる ※実際は4000銘柄 lossが減るほど学習が進んでいるということです。 totalは時間(単位:秒)です。 結果がこれ 点線は、実際の株の値動き 実線は、予測した株価 →全然ダメ…

<つまづきメモ>loss関数がNaN値になる

評価関数(loss関数)がNaN値になる。 原因 inputデータに,float32の最大値(232=2147483647)を超えるデータが存在した。 (売上高とかあるんだから当たり前ですよね…) 対策 float64を使う a = np.array([]) a.astype(float) a = pd.read_csv(path).values 2行目…

<技術メモ>printデバッグからの卒業

概要 pythonのデバッガの使い方 最近知り合ってよく一緒にプログラミングをする人に、VBAや統合開発環境でいうところの「ブレークポイント」とかが使えることを教えてもらいました。 Python3.6 / Ubuntu16.04LTS 参考サイト 27.3. pdb — Python デバッガ — P…

株分析プログラムの進捗

株分析プログラムの進捗 プログラムは完成した。 株データ取得→編集→読み込み→RNN(GRU)に学習させる→結果を予想する、というプログラムの流れは完成しました。 テスト的に少量の株データを読ませると、ちゃんと学習して結果を予想しました。(データが少ない…

分析データの加工

分析データの加工ができました。 株の値動きのデータと、株の情報(総資産や純利益等)を結合しました。 データに欠損や間違い?が多くて、それを分析するのにとても苦労しました。 あとデータの結合の方法も微妙です。(後で結合の方法や欠損データの補完に…

目標と課題(日本株投資×DeepLearning)

目標 深層学習(DeepLearning)を用いて、日本株の株価予想を行う 課題 データの取得元 株価 k-db http://k-db.com/stocks/ からCSVをスクレイピング (日足) 会社情報(総資産、売上等…) 決算プロ http://ke.kabupro.jp/doc/down40.htm から取得。 ※ アドレスを…

文字コード変換

ダウンロードしてきたCSVファイル(Shift-JIS)をUTF-8に変換する バージョン : python3.6 import codecs def sjis_to_utf8(input_path, output_path): ''' SJIS -> UTF-8 にコード変換。 input_path : コード変換するファイルのパス output_path : コード変換…

自己紹介と目的

自己紹介 文系学部卒。 SIerで5年勤務(公共系パッケージ導入が主。Java/COBOLを扱うレガシーな業務システム。) 趣味:株と麻雀。テキサスホールデム。卓球。 kaggleID:kurupical kurupical | Kaggle GitHubID:kurupical(放置中…) ブログ解説の目的 技術の備忘…