<メモ>tensorflowのimport時のエラー(libcublas.so.9.0が見つからない)

tensorflowのimport時にlibcublas.so.9.0: cannot open shared object file: No such file or directoryと出る時の対処法メモ 環境 CUDA 9.0 tensorflow 1.8.0 Pycharm community 2018.1 状況 コマンドラインでpython→import tensorflowはちゃんと動く Pycha…

<実践>HomeCredit作業記録(6) - 進捗とメモ

いいところまで来ました。 淡々と、定石通りにやってるだけのつもりなんですが・・・ ただ、手法のPrivate shareが禁止ということで、規約にひっかかりそうなので過去の記事を非公開にしました。 いま使っているLightGBMがブラックボックスすぎるので、そこ…

<調査>Kaggle過去コンペ上位入賞者のSolutionから学ぶ(1)

blog.kaggle.com この記事に、「コンペに優勝するためには過去のコンペから学ぶことが大事だ」と書いてあったので、過去のコンペを調べることにしました。 過去のコンペのDiscussionを見ると、上位入賞者が解法を公開してくれています。 HomeCreditと同じ「…

<実践>HomeCredit作業記録(5) - FeatureEngineering続き

Kaggle挑戦中です! 債務不履行になる人を予想するタスクです。 Home Credit Default Risk | Kaggle やったこと FeatureEngineering FeatureEngineering 前回の記事では、一つ一つの特徴量をじっくり見ていました kurupical.hatenablog.com ですが、やっぱり…

<実践>「過去の閲覧履歴から最適な街コンを勧める」システムのコンペに参加してみた

AIエンジニア(データサイエンティスト?)として働き出して1ヶ月。 なんだかんだ勉強して1年。 いろんなアルゴリズムも触ったし、いちど自分の実力を試してみたいなと思い、データサイエンスのコンペを探していました。 探したのは kaggle (https://www.k…

<基礎学習>機械学習、DeepLearningを使わずにFXの分析をしてみた(2)

以下前回記事の続きです。 kurupical.hatenablog.com 概要 未知のデータに対して予想できるようにした 「次の日上がるか下がるか」ではなく、「N%上がるが先か下がるが先か」を当てるようにした いろんなパラメータをグリッドサーチ(総当たり)した 目次 前回…

<基礎学習>機械学習、DeepLearningを使わずにFXの分析をしてみた

機械学習のライブラリや考え方などの勉強もさながら、「そもそもデータ分析ってどうやるの?どうやって結果を説明すりゃーいーの?」とふと思いまして、データ分析のいろはを勉強しようと以下の本を手に取りました。(厳密にいうと、この本がインストールさ…

<基礎学習>機械学習(ランダムフォレスト)でFX - 為替データの特徴量抽出

もくじ 近況報告 ランダムフォレストでFX分析してみた 感想など 近況報告 あけましておめでとうございますm(_ _)m 今年初のブログです。 去年12月に新しい会社に入り、現在はAI関係ではない仕事をやっています。 4月から念願だった機械学習関係のプロジェ…

<為替分析>11/29 ディープラーニングで為替自動トレード2

以下前回記事の続きです。 kurupical.hatenablog.com 今日は 1.AI作成 2.AIチューニング 3.ポートフォリオの作成 4.自動取引ツール作成 ←ここ を書きます。 ちなみに、FXのシステムはバグがあり実際は全然勝てないシステムでした・・・。 tensorflowのグラフ…

<メモ>Tensorflowのsessionをループ内で複数回open/closeするとメモリ不足になる

ずっと悩んでたのが解決したのでメモします。 Tensorflowのsessionをループ内で複数回open/closeするとメモリ不足になる 同一コード内で、Tensorflowのsessionを何度もopen/closeするプログラムを組んでいました。 するとちょっとずつ使用メモリが膨らんでい…

<為替分析>11/29 ディープラーニングで為替自動トレード

ディープラーニングで為替の自動トレードツール作成を行いました。 まだ完了していないのですが、作成にいたる工程やその時苦労したことなどを書いていきます。 工程 1.AI作成 2.AIチューニング 3.ポートフォリオの作成 4.自動取引ツール作成 工程ごとに順に…

<為替分析>11/21 ディープラーニングで為替分析(2)

今日書くこと 結果 結果検証 考え方 システム化 結果 以下の条件で行いました 取引期間: 2013/1/1〜2017/11/1 結果ですが、正解率が56.8%となりました。 結果検証 今回はじきだした正解率56.8%は優位性があるのか、単なるマグレなのか、について考察します。…

<為替分析>11/14 ディープラーニングで為替分析(1)

久しぶりのブログ更新です。 半月ほどブログをほったらかしにしていたのですが、毎日20アクセスくらい入ってくるのは嬉しいですね。 cartpoleも完成して、目標がなくなってしまい手が止まって半月。 ニートをこじらせてました。 このままだと社会復帰でき…

<メモ>DeepLearning ニューラルネットワークのチューニング観点

これまで株価予測(RNN)、強化学習(DQN)、画像認識(DNN)と3つやってみました。 これまでの経験で、どのハイパーパラメータをチューニングすると効果があるのかメモしました。 ※ほとんど主観と断片的な知識で語っているので、間違いがあればご指摘ください。 …

<その他>10/24 Microsoft主催の「DeepLearningLab」に行ってきた

Deep Learning Lab コミュニティ イベント 第4回(オンライン配信あり!) - connpass コレに行ってきました。 話は結構ビシネス寄りで、とても勉強になりました。 聞いたことを箇条書きで記事にしました。 (1.取ったメモ内の自分の考えは青文字で書いてま…

<メモ>ゼロから作るDeepLearningの章立て

本記事の目的 「DeepLearning初心者による初心者のための読書会」参加者に向けた記事です。 随時修正予定です。 本記事は、書籍「ゼロから作るDeepLearning」のアジェンダです。 書いてあること 各章が終わると何ができるようになるか ※私自身は文系でDeepLe…

<基礎学習>10/22 【完成】cartpole問題を強化学習で攻略する7 (+雑記)

以下の記事の続きです。 kurupical.hatenablog.com cartpoleについては、以下の記事を参照ください。 kurupical.hatenablog.com 1.やったこと Q-Tableの更新のされかたをデバッグしながら、Q-Tableが-1〜1の間に収まらなくなったらバグとみなしていろいろな…

<基礎学習>10/19-20 cartpole問題を強化学習で攻略する6(+雑記)

以下の記事の続きです。 kurupical.hatenablog.com cartpoleについては、以下の記事を参照ください。 kurupical.hatenablog.com 考察 Q-Tableをデバッグ→チューニング 報酬を-1〜1にClippingしているのに、Q-Table(報酬の期待値)が-1〜1の間になっていません…

<基礎学習>10/16-18 cartpole問題を強化学習で攻略する5

以下の前回記事の続きです。 kurupical.hatenablog.com cartpoleについては以下をご参照ください。 kurupical.hatenablog.com やったこと 割引率の変更(0.95→0.99) ※割引率とは、「将来報酬の期待値をどの程度評価するか」です。 結果 timestep(赤線)がゲー…

<基礎学習>10/12-14 cartpole問題を強化学習で攻略する4

前回記事(以下)の続きです。 kurupical.hatenablog.com cartpoleについては、以下の記事を参照ください。 kurupical.hatenablog.com やったこと TargetNetworkの実装 Q-Tableの更新について、これまでは1gameごとに行っていたのを1epochごとに行うようにし…

<基礎学習>10/11 強化学習topics(+雑記)

cartpole問題やっているのですが、いかんせん学習の待ち時間が長いのでその間に強化学習をいろいろ調べていました。 世に出ているスライド読んでみた 深層強化学習の動向 speakerdeck.com 面白かったところ 強化学習をブーストさせる考え方 学習に有用な経験…

<基礎学習>10/8-10/10 cartpole問題を強化学習で攻略する3

前回の記事に引き続き、cartpole問題に取り組んでいます。 kurupical.hatenablog.com 前回からおよそ4時間費やしています。 (最近、「時間家計簿」をつけるようにしています。 ちょっとバタバタしたり怠惰したりして、あまりできませんでした。 時間家計簿…

<基礎学習>10/7 cartpole問題を強化学習で攻略する2 (+雑記)

強化学習を進めました。 (前回の記事:プログラムの骨組みができた) kurupical.hatenablog.com 今日やったこと 以下を行いました。 プログラムの凡ミスを修正 1000データあるなかの1つのデータのみを繰り返し学習させていたという痛恨の凡ミス。 重みの初期…

<基礎学習>10/5-6 cartpole問題を強化学習で攻略する(+雑記)

以前書いた記事の続き kurupical.hatenablog.com 前回は、cartpoleのゲームをテスト的に動かしてみました。 前回に続いて、cartpoleのゲームを強化学習(DQN)で攻略することを目標にプログラムを作ってみました。 ソース構成の考察 ソース構成は以下です。 ag…

<その他>10/4 小ネタ(読書会/AIが演奏会)

読書会やりました 10/4 19:00-22:00に、ゼロから作るDeepLearningの読書会をやりました。 参加者6人でした。 第3章4節まで進みました。 以下、質問について回答いたします。 活性化関数にReLUとかSigmoidとか出てきたけど結局何を使えばいいの? www.proc…

<基礎学習>10/1-3 強化学習 OpenAI Gymでcartpoleゲームのチュートリアル

今は強化学習を勉強しています。 AlphaGoのアルゴリズムにも使われている激アツなやつです。 強化学習を勉強する目的 ロボットの動作を強化学習でやってみたい(知人の手伝い) 投資で強化学習を動かしてみたい(自分がやってるやつ) 今日書くこと 以下について…

<その他>9/28 大阪pythonの会に参加+LTやってみた

退職関係でバタバタしたり卓球の試合でたりでバタバタして、全然更新できていませんでした。。 9/28に、大阪pythonの会に参加しました。 osakapython.connpass.com LTやってみた LT(ライトニングトーク)というものをやってみたので、スライドあげときます…

<基礎学習>9/21-9/23 AI白書(〜1.8)の読書メモ

AIの業界についても勉強しなきゃいけないなと思い、AI白書を読んでいます。 1.1〜1.8の中で気になったところをメモ。 1.DeepLearningの分野と実用性 分野 パターン認識 画像認識 音声認識 自然言語処理 文脈解釈 意味解釈 要約 実用性 パターン認識は結構実…

<基礎学習>9/19-9/20 物体検出(SSD_Keras)をやってみた★9/22追記

今日書くこと SSD_Kerasで、学習→推論ができるまで SSD_Kerasを触った経緯 (「いきさつ」と打って変換すると「経緯」に変換されてびっくり。どうでもいいですね) 知人のお手伝いで物体検出をやっていて、その中でいいフレームワーク?がないかということで…

<その他>9/18 「ゼロから作るDeepLearning」の読書会やってみた

osaka-prg-school.connpass.com 9/18に、書籍「ゼロから作るDeepLearning」の読書会を行ったので、メモ。 読書会は開催・参加ともに初めてでした。 開催の意図 DeepLearningやる仲間が欲しかった DeepLearningを教えてみたかった 会場 いつも参加しているも…