目次 学習させる株データの作成(昨日の続き) シュミレーション実行!! 今後やりたいこと その他 1.学習させる株データの作成(昨日の続き) 昨日の記事（以下）の続きをやりました。 昨日まで以下の２つの仮説を検証すべく、学習フェーズのプログラムの改修を行…
目次 学習させる株データの作成 雑多なタスク その他 1. 学習させる株データの作成に伴う改修 昨日まで以下の２つの仮説を検証すべく、学習フェーズのプログラムの改修を行っていました。 目標達成の仮説１：学習データを「１００銘柄の１００日分」とする。…
目次 学習させる株データの作成 その他 1.学習させる株データの作成 以下の流れのうち赤文字部分の実装を行いました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習させる。 翌営業日の株価を予想するために取り込むデータ数（例：１００日分を取り込…
目次 株学習データの作成 その他 1.株学習 以下の流れのうち赤文字部分の実装を行いました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習させる。 翌営業日の株価を予想するために取り込むデータ数（例：１００日分を取り込み次の１日の株価を予想） …
目次 リファクタリング作業内容の整理 データ学習方法の改良 その他 1.リファクタリング作業内容の整理 コメダにこもって考えました。 2.データ学習方法の改良 今日は以下の赤文字部分の改良をしました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習…
目次 資産管理クラスの作成 骨組み完成 今後の予定 1.資産管理クラスの作成 株を買う判断をする前に、そもそも資産の面（主にリスク）でこの株を買っていいのか？を判断する機能の実装です。 赤字部分を作成しました。 ・総資産の１０％は現金を保有すること…
目次 売買成績の算出 資産管理クラスの設計＋ちょっと作成 コミットログ 1.売買成績の算出(trade_test.py) 今日は以下の赤文字部分を実装しました。 ①学習モデルを用意 （完了） ②学習モデルの読み込み （完了） ③現在日付の設定 （完了） →2017/1/1からスタ…
目次 売買プログラム実装 売買プログラムのテストコード作成 雑感 1.売買プログラム実装(trade.py) 今日は以下の赤文字部分を実装しました。 ①学習モデルを用意 （完了） ②学習モデルの読み込み （完了） ③現在日付の設定 （完了） →2017/1/1からスタート ★④…
目次 売買アルゴリズムの作成 GitHubを使いこなす(Issue管理) 雑感 1.売買アルゴリズムの作成 株売買のパフォーマンス計測ができるまでの流れを以下にまとめてみました。 ①学習モデルを用意 （完了） ②学習モデルの読み込み （完了） ③現在日付の設定 （完了…
やったこと 株売買テスト基盤の設計と一部製造 株売買テストの設計 今回は丁寧に設計してやってみています。 設計しているときが一番面白いですね。 いろいろなパターンでテストするときにプログラムをいちいち書き換えずにすむように、機能単位にクラス化し…
進捗サマリ 今後の見通しの確認 株データのグルーピング （その他雑感：「ディープラーニング」って？） 今後の見通しの確認 今後の見通しについて再度整理しました。 成果目標 2016年度までを学習データとし、2017年度のデータで年利10%を記録する。 作業の…
今日やったことサマリ データ標準化の機能を切り離してクラス化 今日やったこと データ標準化のやりかた見直し 右往左往して、結局昨日のままで良いことがわかりました。 データ標準化の機能切り離し もともとStockオブジェクトにデータ標準化の機能をゴリゴ…
今日やったことサマリ 学習モデルはそれなりに動いている 標準化のバグが予測おかしくしていた？ 今日やったこと 学習モデルのデバッグ 昨日の続きです。 株が学習できない理由の絞り込み。 仮説１：学習がうまく行っていないんじゃないの？ に対する検証と…
今日やったこと 学習モデルのデバッグプログラム作成 ランダムに2次〜4次関数を作成→学習させる、というプログラムを作成。 N次関数を作るメソッド(N=(2,3,4))を昨日実装したので、イメージとしては以下の通りでいけるかと… for i in [2,3,4]: for k in rang…
東京で仕事帰りに泊まりがけで遊んで帰って、プログラムの進捗が遅れてました。 一度習慣が崩れるとダメですね…。 今日やったことのサマリ プログラムが悪いのか、株価予想はそもそも無理なのか検証！ (ここまでくるのにもグダグダ…) いくつかのベンチマーク…
8/3やったこと tensorboardの導入 ネットワークが可視化できる。 実装自体は簡単。ただ、見てもさっぱり分からない… 勉強で作ったsin波予測プログラムと今回の株予測プログラムを比較して、変なところがないか確認してちょこちょこ修正しました。 ハイパーパ…
8/2やったこと やっぱり株価データをちゃんと学習しない！！ いくら学習させても、予想がちゃんとできない…(500kepochしてもだめでした) ということで今日は以下を試してみました。 y = √xの予測 そもそもプログラムがバグっていないか？？という確認のため…
今日やったこと 昨日の処理ぶん回しの結果確認 指定した銘柄と相関がある240銘柄の3年分の値動きを学習させて、指定した銘柄の株価を予想させる。 →学習はうまくいっていませんでした…。過学習でもなく、単純に学習ができていない感じです。 学習回数(epoch)…
今日やったこと RNN、LSTMをもう一度勉強しなおし 学習の制度が全然あがらず詰まったので… 学習データの絞り込み これまでは、4000銘柄全部のデータを学習→1銘柄の株価変動を予測としていましたが、以下の通り変更しました。 ターゲット株と、対象期間N(現在…
今日やったこと スケールダウン 最初は、始値、高値、安値、終値、出来高…など、たくさんの変数から次の日の終値を予想しようとしていましたが、ちょっと難易度が高すぎました。。 ということで、過去１００日の終値→次の日の終値を予想する、という単純なロ…
GPU環境、CPU環境で株のデータを学習させてみました。 検証内容 ・ネットワーク:GRU ・入力層:7(日付、始値、高値、安値、終値、出来高、証券コード) ・出力層:5(始値、安値、高値、終値、出来高) ・隠れ層:2000 ・データ数:280(1銘柄、約1.5年分) ・1データ…
PC購入〜GPU活用まで PC購入 ゲーミングPCを購入。 GALLERIA XF（ガレリア XF）｜ドスパラ通販【公式】 Corei7 7700/GeForce1070/メモリ16GB/SSD500GB+HDD2TB 税込17.8万円 ※OSいじると1年保証の対象外になりますと念を押されました。 しかし、保証書にはそ…
GitHubでソース公開 便利さとか使い方があまり良くわかっていないので、今回公開して終わりになるかもしれませんが… kaggleのデータサイエンスコンペのプログラム ちょっと前に取り組んでいたやつです。 公開している2本は完成。 SBS.pyがプログラムとしては…
分析の進捗 分析ログ epoch(学習させる回数)=5 ※普通は5000回くらい 1株だけ学習させる ※実際は4000銘柄 lossが減るほど学習が進んでいるということです。 totalは時間(単位:秒)です。 結果がこれ 点線は、実際の株の値動き 実線は、予測した株価 →全然ダメ…
評価関数(loss関数)がNaN値になる。 原因 inputデータに,float32の最大値(232=2147483647)を超えるデータが存在した。 (売上高とかあるんだから当たり前ですよね…) 対策 float64を使う a = np.array([]) a.astype(float) a = pd.read_csv(path).values 2行目…
概要 pythonのデバッガの使い方 最近知り合ってよく一緒にプログラミングをする人に、VBAや統合開発環境でいうところの「ブレークポイント」とかが使えることを教えてもらいました。 Python3.6 / Ubuntu16.04LTS 参考サイト 27.3. pdb — Python デバッガ — P…
株分析プログラムの進捗 プログラムは完成した。 株データ取得→編集→読み込み→RNN(GRU)に学習させる→結果を予想する、というプログラムの流れは完成しました。 テスト的に少量の株データを読ませると、ちゃんと学習して結果を予想しました。（データが少ない…
分析データの加工ができました。 株の値動きのデータと、株の情報（総資産や純利益等）を結合しました。 データに欠損や間違い？が多くて、それを分析するのにとても苦労しました。 あとデータの結合の方法も微妙です。（後で結合の方法や欠損データの補完に…
目標 深層学習(DeepLearning)を用いて、日本株の株価予想を行う 課題 データの取得元 株価 k-db http://k-db.com/stocks/ からCSVをスクレイピング (日足) 会社情報(総資産、売上等…) 決算プロ http://ke.kabupro.jp/doc/down40.htm から取得。 ※ アドレスを…
ダウンロードしてきたCSVファイル(Shift-JIS)をUTF-8に変換する バージョン : python3.6 import codecs def sjis_to_utf8(input_path, output_path): ''' SJIS -> UTF-8 にコード変換。 input_path : コード変換するファイルのパス output_path : コード変換…
自己紹介 文系学部卒。 SIerで5年勤務(公共系パッケージ導入が主。Java/COBOLを扱うレガシーな業務システム。) 趣味:株と麻雀。テキサスホールデム。卓球。 kaggleID:kurupical kurupical | Kaggle GitHubID:kurupical(放置中…) ブログ解説の目的 技術の備忘…
