以下の前回記事の続きです。 kurupical.hatenablog.com cartpoleについては以下をご参照ください。 kurupical.hatenablog.com やったこと 割引率の変更(0.95→0.99) ※割引率とは、「将来報酬の期待値をどの程度評価するか」です。 結果 timestep(赤線)がゲー…
前回記事（以下）の続きです。 kurupical.hatenablog.com cartpoleについては、以下の記事を参照ください。 kurupical.hatenablog.com やったこと TargetNetworkの実装 Q-Tableの更新について、これまでは1gameごとに行っていたのを1epochごとに行うようにし…
cartpole問題やっているのですが、いかんせん学習の待ち時間が長いのでその間に強化学習をいろいろ調べていました。 世に出ているスライド読んでみた 深層強化学習の動向 speakerdeck.com 面白かったところ 強化学習をブーストさせる考え方 学習に有用な経験…
前回の記事に引き続き、cartpole問題に取り組んでいます。 kurupical.hatenablog.com 前回からおよそ４時間費やしています。 (最近、「時間家計簿」をつけるようにしています。 ちょっとバタバタしたり怠惰したりして、あまりできませんでした。 時間家計簿…
強化学習を進めました。 (前回の記事：プログラムの骨組みができた) kurupical.hatenablog.com 今日やったこと 以下を行いました。 プログラムの凡ミスを修正 1000データあるなかの1つのデータのみを繰り返し学習させていたという痛恨の凡ミス。 重みの初期…
以前書いた記事の続き kurupical.hatenablog.com 前回は、cartpoleのゲームをテスト的に動かしてみました。 前回に続いて、cartpoleのゲームを強化学習(DQN)で攻略することを目標にプログラムを作ってみました。 ソース構成の考察 ソース構成は以下です。 ag…
読書会やりました 10/4 19:00-22:00に、ゼロから作るDeepLearningの読書会をやりました。 参加者６人でした。 第３章４節まで進みました。 以下、質問について回答いたします。 活性化関数にReLUとかSigmoidとか出てきたけど結局何を使えばいいの？ www.proc…
今は強化学習を勉強しています。 AlphaGoのアルゴリズムにも使われている激アツなやつです。 強化学習を勉強する目的 ロボットの動作を強化学習でやってみたい(知人の手伝い) 投資で強化学習を動かしてみたい(自分がやってるやつ) 今日書くこと 以下について…
退職関係でバタバタしたり卓球の試合でたりでバタバタして、全然更新できていませんでした。。 9/28に、大阪pythonの会に参加しました。 osakapython.connpass.com LTやってみた LT（ライトニングトーク）というものをやってみたので、スライドあげときます…
AIの業界についても勉強しなきゃいけないなと思い、AI白書を読んでいます。 1.1〜1.8の中で気になったところをメモ。 1.DeepLearningの分野と実用性 分野 パターン認識 画像認識 音声認識 自然言語処理 文脈解釈 意味解釈 要約 実用性 パターン認識は結構実…
今日書くこと SSD_Kerasで、学習→推論ができるまで SSD_Kerasを触った経緯 （「いきさつ」と打って変換すると「経緯」に変換されてびっくり。どうでもいいですね） 知人のお手伝いで物体検出をやっていて、その中でいいフレームワーク？がないかということで…
osaka-prg-school.connpass.com 9/18に、書籍「ゼロから作るDeepLearning」の読書会を行ったので、メモ。 読書会は開催・参加ともに初めてでした。 開催の意図 DeepLearningやる仲間が欲しかった DeepLearningを教えてみたかった 会場 いつも参加しているも…
画像の特徴量分類 前回の続きです。 りんごの画像10枚、あずにゃん3枚、唯3枚を入力データとし、2次元に圧縮（特徴量抽出）しました。 赤：りんご 青：あずにゃん 黄：唯 人間とりんごを区別できました笑。 値動き分類 時価総額50億以下の銘柄の「過去300日…
目次 まえがき 概要 AutoEncoderとは 今回のテスト その他 1.まえがき 僕はなぜ株のAIを作ろうと思ったのか？ 根本は「AIを勉強する」ことだと思い直しました。 根本の欲求を満たすために、 ①AI関連の技術を勉強し実装する（コードの綺麗さ度外視） ②株に当…
学習→トレード よい結果を残したパラメータを使って、「時価総額＜２０億」の銘柄2012年〜2016年のデータを20万回食わせてみました。 そして2017年1月〜7月でトレードさせてみたのですが、利益は出ず。 手数料込みで▲1.1%程度の成績でした。 今後 ここまで1…
目次 学習させ続けてみた Day2 その他 1.学習させ続けてみた Day2 9/3の記事で書いたことを淡々とやっていきます。 過去４００日の値動きから翌５日、過去２００日の値動きから翌３日、などいろいろな数字をチューニングした１６０パターンで学習テストして…
目次 １日学習させ続けてみた その他 1. １日学習させ続けてみた 昨日のブログで 過去４００日の値動きから翌５日、過去２００日の値動きから翌３日、などいろいろな数字をチューニングした１６０パターンで学習テストしてみます。 次のブログでは良かったパ…
目次 レビュー受けました レビュー受けての感想 今日やったこと その他 1.レビュー受けました 僕が６月くらいからずっとお世話になってるもくもく会で、自分のAIプログラムの進捗の話をしました。 この日は結構盛り上がりました。 ※もくもく会はこれです↓ 【…
目次 今日やったこと 学習モデルの構築 出力イメージ その他 1.今日やったこと 昨日記事に書いてた以下をやりました。 1銘柄N日→先30日の終値の最大値、最小値を6分類する(値動き+10%以上、+5%〜+10%、0%〜+5%、-5%〜0%、-10%〜-5%、-10%以下） （未完了） …
目次 現状の考察 今後の予定 その他 1.現状の考察 なかなかうまくいかない（プログラムが間違ってる可能性もありますが）現状を鑑みるに、そもそもアプローチが間違っているのでは？という懸念が出てきました。 突然ですが、勝つ麻雀のAIを作るとしたらどう…
目次 学習の検証 その他 1.学習の検証 今は、過去N日から先M日の最大/最小を予想するというところをやっているのですがいかんせんうまくいきません！ 上記の例でいうと、2015/7/22から200日分のデータに基づき、201日目〜215日目の株価の最大値、最小値を予…
ペアプログラミングやってみた 経緯 やったこと やってみて印象に残ったこと 感想 自分のメモ書きとして。 1.経緯 東京の同期が帰省していた時にご飯食べに行きました。 ペアプログラミングとかしてみたいと言ったらスカイプIDを教えてくれたので、やってみ…
目次 学習させる株データの作成(昨日の続き) シュミレーション実行!! 今後やりたいこと その他 1.学習させる株データの作成(昨日の続き) 昨日の記事（以下）の続きをやりました。 昨日まで以下の２つの仮説を検証すべく、学習フェーズのプログラムの改修を行…
目次 学習させる株データの作成 雑多なタスク その他 1. 学習させる株データの作成に伴う改修 昨日まで以下の２つの仮説を検証すべく、学習フェーズのプログラムの改修を行っていました。 目標達成の仮説１：学習データを「１００銘柄の１００日分」とする。…
目次 学習させる株データの作成 その他 1.学習させる株データの作成 以下の流れのうち赤文字部分の実装を行いました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習させる。 翌営業日の株価を予想するために取り込むデータ数（例：１００日分を取り込…
目次 株学習データの作成 その他 1.株学習 以下の流れのうち赤文字部分の実装を行いました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習させる。 翌営業日の株価を予想するために取り込むデータ数（例：１００日分を取り込み次の１日の株価を予想） …
目次 リファクタリング作業内容の整理 データ学習方法の改良 その他 1.リファクタリング作業内容の整理 コメダにこもって考えました。 2.データ学習方法の改良 今日は以下の赤文字部分の改良をしました。 [学習フェーズ]以下を指定し、AIに株の値動きを学習…
目次 資産管理クラスの作成 骨組み完成 今後の予定 1.資産管理クラスの作成 株を買う判断をする前に、そもそも資産の面（主にリスク）でこの株を買っていいのか？を判断する機能の実装です。 赤字部分を作成しました。 ・総資産の１０％は現金を保有すること…
目次 売買成績の算出 資産管理クラスの設計＋ちょっと作成 コミットログ 1.売買成績の算出(trade_test.py) 今日は以下の赤文字部分を実装しました。 ①学習モデルを用意 （完了） ②学習モデルの読み込み （完了） ③現在日付の設定 （完了） →2017/1/1からスタ…
目次 売買プログラム実装 売買プログラムのテストコード作成 雑感 1.売買プログラム実装(trade.py) 今日は以下の赤文字部分を実装しました。 ①学習モデルを用意 （完了） ②学習モデルの読み込み （完了） ③現在日付の設定 （完了） →2017/1/1からスタート ★④…
