<基礎学習>10/16-18 cartpole問題を強化学習で攻略する5

以下の前回記事の続きです。 kurupical.hatenablog.com cartpoleについては以下をご参照ください。 kurupical.hatenablog.com やったこと 割引率の変更(0.95→0.99) ※割引率とは、「将来報酬の期待値をどの程度評価するか」です。 結果 timestep(赤線)がゲー…

<基礎学習>10/12-14 cartpole問題を強化学習で攻略する4

前回記事(以下)の続きです。 kurupical.hatenablog.com cartpoleについては、以下の記事を参照ください。 kurupical.hatenablog.com やったこと TargetNetworkの実装 Q-Tableの更新について、これまでは1gameごとに行っていたのを1epochごとに行うようにし…

<基礎学習>10/11 強化学習topics(+雑記)

cartpole問題やっているのですが、いかんせん学習の待ち時間が長いのでその間に強化学習をいろいろ調べていました。 世に出ているスライド読んでみた 深層強化学習の動向 speakerdeck.com 面白かったところ 強化学習をブーストさせる考え方 学習に有用な経験…

<基礎学習>10/8-10/10 cartpole問題を強化学習で攻略する3

前回の記事に引き続き、cartpole問題に取り組んでいます。 kurupical.hatenablog.com 前回からおよそ4時間費やしています。 (最近、「時間家計簿」をつけるようにしています。 ちょっとバタバタしたり怠惰したりして、あまりできませんでした。 時間家計簿…

<基礎学習>10/7 cartpole問題を強化学習で攻略する2 (+雑記)

強化学習を進めました。 (前回の記事:プログラムの骨組みができた) kurupical.hatenablog.com 今日やったこと 以下を行いました。 プログラムの凡ミスを修正 1000データあるなかの1つのデータのみを繰り返し学習させていたという痛恨の凡ミス。 重みの初期…

<基礎学習>10/5-6 cartpole問題を強化学習で攻略する(+雑記)

以前書いた記事の続き kurupical.hatenablog.com 前回は、cartpoleのゲームをテスト的に動かしてみました。 前回に続いて、cartpoleのゲームを強化学習(DQN)で攻略することを目標にプログラムを作ってみました。 ソース構成の考察 ソース構成は以下です。 ag…

<その他>10/4 小ネタ(読書会/AIが演奏会)

読書会やりました 10/4 19:00-22:00に、ゼロから作るDeepLearningの読書会をやりました。 参加者6人でした。 第3章4節まで進みました。 以下、質問について回答いたします。 活性化関数にReLUとかSigmoidとか出てきたけど結局何を使えばいいの? www.proc…

<基礎学習>10/1-3 強化学習 OpenAI Gymでcartpoleゲームのチュートリアル

今は強化学習を勉強しています。 AlphaGoのアルゴリズムにも使われている激アツなやつです。 強化学習を勉強する目的 ロボットの動作を強化学習でやってみたい(知人の手伝い) 投資で強化学習を動かしてみたい(自分がやってるやつ) 今日書くこと 以下について…

<その他>9/28 大阪pythonの会に参加+LTやってみた

退職関係でバタバタしたり卓球の試合でたりでバタバタして、全然更新できていませんでした。。 9/28に、大阪pythonの会に参加しました。 osakapython.connpass.com LTやってみた LT(ライトニングトーク)というものをやってみたので、スライドあげときます…

<基礎学習>9/21-9/23 AI白書(〜1.8)の読書メモ

AIの業界についても勉強しなきゃいけないなと思い、AI白書を読んでいます。 1.1〜1.8の中で気になったところをメモ。 1.DeepLearningの分野と実用性 分野 パターン認識 画像認識 音声認識 自然言語処理 文脈解釈 意味解釈 要約 実用性 パターン認識は結構実…

<基礎学習>9/19-9/20 物体検出(SSD_Keras)をやってみた★9/22追記

今日書くこと SSD_Kerasで、学習→推論ができるまで SSD_Kerasを触った経緯 (「いきさつ」と打って変換すると「経緯」に変換されてびっくり。どうでもいいですね) 知人のお手伝いで物体検出をやっていて、その中でいいフレームワーク?がないかということで…

<その他>9/18 「ゼロから作るDeepLearning」の読書会やってみた

osaka-prg-school.connpass.com 9/18に、書籍「ゼロから作るDeepLearning」の読書会を行ったので、メモ。 読書会は開催・参加ともに初めてでした。 開催の意図 DeepLearningやる仲間が欲しかった DeepLearningを教えてみたかった 会場 いつも参加しているも…

<基礎学習>9/14-9/16 AutoEncoder - あずにゃん、唯、りんごの特徴量を抽出する(2)

画像の特徴量分類 前回の続きです。 りんごの画像10枚、あずにゃん3枚、唯3枚を入力データとし、2次元に圧縮(特徴量抽出)しました。 赤:りんご 青:あずにゃん 黄:唯 人間とりんごを区別できました笑。 値動き分類 時価総額50億以下の銘柄の「過去300日…

<基礎学習>9/13 AutoEncoder - あずにゃん、唯、りんごの特徴量を抽出する

目次 まえがき 概要 AutoEncoderとは 今回のテスト その他 1.まえがき 僕はなぜ株のAIを作ろうと思ったのか? 根本は「AIを勉強する」ことだと思い直しました。 根本の欲求を満たすために、 ①AI関連の技術を勉強し実装する(コードの綺麗さ度外視) ②株に当…

<株進捗>9/9-9/12 学習とバックテスト→一区切りつきました

学習→トレード よい結果を残したパラメータを使って、「時価総額<20億」の銘柄2012年〜2016年のデータを20万回食わせてみました。 そして2017年1月〜7月でトレードさせてみたのですが、利益は出ず。 手数料込みで▲1.1%程度の成績でした。 今後 ここまで1…

<株進捗>9/8 有望な学習モデルあらわる!

目次 学習させ続けてみた Day2 その他 1.学習させ続けてみた Day2 9/3の記事で書いたことを淡々とやっていきます。 過去400日の値動きから翌5日、過去200日の値動きから翌3日、などいろいろな数字をチューニングした160パターンで学習テストして…

<株進捗>9/7 学習の途中経過(360銘柄中50銘柄完了)

目次 1日学習させ続けてみた その他 1. 1日学習させ続けてみた 昨日のブログで 過去400日の値動きから翌5日、過去200日の値動きから翌3日、などいろいろな数字をチューニングした160パターンで学習テストしてみます。 次のブログでは良かったパ…

<株進捗>9/5-9/6 プログラムレビュー、パラメータチューニングの実装

目次 レビュー受けました レビュー受けての感想 今日やったこと その他 1.レビュー受けました 僕が6月くらいからずっとお世話になってるもくもく会で、自分のAIプログラムの進捗の話をしました。 この日は結構盛り上がりました。 ※もくもく会はこれです↓ 【…

<株進捗>9/3 株価の3分類予想(+10%over / -10%〜+10% / -10%under)

目次 今日やったこと 学習モデルの構築 出力イメージ その他 1.今日やったこと 昨日記事に書いてた以下をやりました。 1銘柄N日→先30日の終値の最大値、最小値を6分類する(値動き+10%以上、+5%〜+10%、0%〜+5%、-5%〜0%、-10%〜-5%、-10%以下) (未完了) …

<株考察>9/2 考察、今後の予定

目次 現状の考察 今後の予定 その他 1.現状の考察 なかなかうまくいかない(プログラムが間違ってる可能性もありますが)現状を鑑みるに、そもそもアプローチが間違っているのでは?という懸念が出てきました。 突然ですが、勝つ麻雀のAIを作るとしたらどう…

<株進捗>8/26-8/29 学習の検証

目次 学習の検証 その他 1.学習の検証 今は、過去N日から先M日の最大/最小を予想するというところをやっているのですがいかんせんうまくいきません! 上記の例でいうと、2015/7/22から200日分のデータに基づき、201日目〜215日目の株価の最大値、最小値を予…

<その他>8/25 ペアプログラミングやってみた

ペアプログラミングやってみた 経緯 やったこと やってみて印象に残ったこと 感想 自分のメモ書きとして。 1.経緯 東京の同期が帰省していた時にご飯食べに行きました。 ペアプログラミングとかしてみたいと言ったらスカイプIDを教えてくれたので、やってみ…

<株進捗>8/23 株学習の準備(完了)、シュミレーション起動

目次 学習させる株データの作成(昨日の続き) シュミレーション実行!! 今後やりたいこと その他 1.学習させる株データの作成(昨日の続き) 昨日の記事(以下)の続きをやりました。 昨日まで以下の2つの仮説を検証すべく、学習フェーズのプログラムの改修を行…

<株進捗>8/22 株学習の準備3

目次 学習させる株データの作成 雑多なタスク その他 1. 学習させる株データの作成に伴う改修 昨日まで以下の2つの仮説を検証すべく、学習フェーズのプログラムの改修を行っていました。 目標達成の仮説1:学習データを「100銘柄の100日分」とする。…

<株進捗>8/20-21 株学習の準備2

目次 学習させる株データの作成 その他 1.学習させる株データの作成 以下の流れのうち赤文字部分の実装を行いました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習させる。 翌営業日の株価を予想するために取り込むデータ数(例:100日分を取り込…

<株進捗>8/19 株学習の準備

目次 株学習データの作成 その他 1.株学習 以下の流れのうち赤文字部分の実装を行いました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習させる。 翌営業日の株価を予想するために取り込むデータ数(例:100日分を取り込み次の1日の株価を予想) …

<株進捗>8/18 データ学習方法の改良

目次 リファクタリング作業内容の整理 データ学習方法の改良 その他 1.リファクタリング作業内容の整理 コメダにこもって考えました。 2.データ学習方法の改良 今日は以下の赤文字部分の改良をしました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習…

<株進捗>8/17 資産管理クラスの作成完了。株売買プログラム骨組み完成!

目次 資産管理クラスの作成 骨組み完成 今後の予定 1.資産管理クラスの作成 株を買う判断をする前に、そもそも資産の面(主にリスク)でこの株を買っていいのか?を判断する機能の実装です。 赤字部分を作成しました。 ・総資産の10%は現金を保有すること…

<株進捗>8/16 売買成績の算出

目次 売買成績の算出 資産管理クラスの設計+ちょっと作成 コミットログ 1.売買成績の算出(trade_test.py) 今日は以下の赤文字部分を実装しました。 ①学習モデルを用意 (完了) ②学習モデルの読み込み (完了) ③現在日付の設定 (完了) →2017/1/1からスタ…

<株進捗>8/15 売買プログラムのテスト

目次 売買プログラム実装 売買プログラムのテストコード作成 雑感 1.売買プログラム実装(trade.py) 今日は以下の赤文字部分を実装しました。 ①学習モデルを用意 (完了) ②学習モデルの読み込み (完了) ③現在日付の設定 (完了) →2017/1/1からスタート ★④…