今日やったこと RNN、LSTMをもう一度勉強しなおし 学習の制度が全然あがらず詰まったので… 学習データの絞り込み これまでは、4000銘柄全部のデータを学習→1銘柄の株価変動を予測としていましたが、以下の通り変更しました。 ターゲット株と、対象期間N(現在…

今日やったこと スケールダウン 最初は、始値、高値、安値、終値、出来高…など、たくさんの変数から次の日の終値を予想しようとしていましたが、ちょっと難易度が高すぎました。。 ということで、過去１００日の終値→次の日の終値を予想する、という単純なロ…

GPU環境、CPU環境で株のデータを学習させてみました。 検証内容 ・ネットワーク:GRU ・入力層:7(日付、始値、高値、安値、終値、出来高、証券コード) ・出力層:5(始値、安値、高値、終値、出来高) ・隠れ層:2000 ・データ数:280(1銘柄、約1.5年分) ・1データ…

PC購入〜GPU活用まで PC購入 ゲーミングPCを購入。 GALLERIA XF（ガレリア XF）｜ドスパラ通販【公式】 Corei7 7700/GeForce1070/メモリ16GB/SSD500GB+HDD2TB 税込17.8万円 ※OSいじると1年保証の対象外になりますと念を押されました。 しかし、保証書にはそ…

GitHubでソース公開 便利さとか使い方があまり良くわかっていないので、今回公開して終わりになるかもしれませんが… kaggleのデータサイエンスコンペのプログラム ちょっと前に取り組んでいたやつです。 公開している2本は完成。 SBS.pyがプログラムとしては…

分析の進捗 分析ログ epoch(学習させる回数)=5 ※普通は5000回くらい 1株だけ学習させる ※実際は4000銘柄 lossが減るほど学習が進んでいるということです。 totalは時間(単位:秒)です。 結果がこれ 点線は、実際の株の値動き 実線は、予測した株価 →全然ダメ…

評価関数(loss関数)がNaN値になる。 原因 inputデータに,float32の最大値(232=2147483647)を超えるデータが存在した。 (売上高とかあるんだから当たり前ですよね…) 対策 float64を使う a = np.array([]) a.astype(float) a = pd.read_csv(path).values 2行目…

概要 pythonのデバッガの使い方 最近知り合ってよく一緒にプログラミングをする人に、VBAや統合開発環境でいうところの「ブレークポイント」とかが使えることを教えてもらいました。 Python3.6 / Ubuntu16.04LTS 参考サイト 27.3. pdb — Python デバッガ — P…

株分析プログラムの進捗 プログラムは完成した。 株データ取得→編集→読み込み→RNN(GRU)に学習させる→結果を予想する、というプログラムの流れは完成しました。 テスト的に少量の株データを読ませると、ちゃんと学習して結果を予想しました。（データが少ない…

分析データの加工ができました。 株の値動きのデータと、株の情報（総資産や純利益等）を結合しました。 データに欠損や間違い？が多くて、それを分析するのにとても苦労しました。 あとデータの結合の方法も微妙です。（後で結合の方法や欠損データの補完に…

目標 深層学習(DeepLearning)を用いて、日本株の株価予想を行う 課題 データの取得元 株価 k-db http://k-db.com/stocks/ からCSVをスクレイピング (日足) 会社情報(総資産、売上等…) 決算プロ http://ke.kabupro.jp/doc/down40.htm から取得。 ※ アドレスを…

ダウンロードしてきたCSVファイル(Shift-JIS)をUTF-8に変換する バージョン : python3.6 import codecs def sjis_to_utf8(input_path, output_path): ''' SJIS -> UTF-8 にコード変換。 input_path : コード変換するファイルのパス output_path : コード変換…

自己紹介 文系学部卒。 SIerで5年勤務(公共系パッケージ導入が主。Java/COBOLを扱うレガシーな業務システム。) 趣味:株と麻雀。テキサスホールデム。卓球。 kaggleID:kurupical kurupical | Kaggle GitHubID:kurupical(放置中…) ブログ解説の目的 技術の備忘…