1. まえがき 2. コンペ 2-1. 概要 2-2. 上位Solution 2-2-1. 1st place solution 2-2.2. 3rd place solution 2-2-3. 4th place solution 2-2-4. 5th place solution 2-2-5. 7th place solution 2-2-6. 8th place solution 3. 感想 1. まえがき 2018年11月〜2…
機械学習を勉強し始めて１年が経ちました。 そろぞろ何か一つ目に見える実績を上げたいと思いたち、 ５月から８月までHomeCreditというKaggleのコンペをやっていました。 Home Credit Default Risk | Kaggle 最終的に、7198人中62位で終わることができました…
tensorflowのimport時にlibcublas.so.9.0: cannot open shared object file: No such file or directoryと出る時の対処法メモ 環境 CUDA 9.0 tensorflow 1.8.0 Pycharm community 2018.1 状況 コマンドラインでpython→import tensorflowはちゃんと動く Pycha…
いいところまで来ました。 淡々と、定石通りにやってるだけのつもりなんですが・・・ ただ、手法のPrivate shareが禁止ということで、規約にひっかかりそうなので過去の記事を非公開にしました。 いま使っているLightGBMがブラックボックスすぎるので、そこ…
blog.kaggle.com この記事に、「コンペに優勝するためには過去のコンペから学ぶことが大事だ」と書いてあったので、過去のコンペを調べることにしました。 過去のコンペのDiscussionを見ると、上位入賞者が解法を公開してくれています。 HomeCreditと同じ「…
Kaggle挑戦中です！ 債務不履行になる人を予想するタスクです。 Home Credit Default Risk | Kaggle やったこと FeatureEngineering FeatureEngineering 前回の記事では、一つ一つの特徴量をじっくり見ていました kurupical.hatenablog.com ですが、やっぱり…
Kaggle挑戦中です！ 債務不履行になる人を予想するタスクです。 Home Credit Default Risk | Kaggle やったこと FeatureEngineeringのつづき 可視化ツールの作成 特徴量の作成 可視化ツールの作成 def visualize_bar(df, target_name="TARGET", output_path=…
Kaggle挑戦中です！ 債務不履行になる人を予想するタスクです。 Home Credit Default Risk | Kaggle 最近は特徴量エンジニアリング（FeatureEngineering）をやっています。 やっている中で気づいたことがあるのでブログにします 特徴量エンジニアリングのア…
Kaggle挑戦中です！ Home Credit Default Risk | Kaggle 今日やったこと LightGBMで、application_{train/test}.csvの全パラメータを突っ込んで 特徴の重要さ(feature importance)を見る LightGBMの予想を投稿する そのために、 LightBGMの仕様調査 データの…
AIエンジニア（データサイエンティスト？）として働き出して１ヶ月。 なんだかんだ勉強して１年。 いろんなアルゴリズムも触ったし、いちど自分の実力を試してみたいなと思い、データサイエンスのコンペを探していました。 探したのは kaggle (https://www.k…
以下前回記事の続きです。 kurupical.hatenablog.com 概要 未知のデータに対して予想できるようにした 「次の日上がるか下がるか」ではなく、「N%上がるが先か下がるが先か」を当てるようにした いろんなパラメータをグリッドサーチ(総当たり)した 目次 前回…
機械学習のライブラリや考え方などの勉強もさながら、「そもそもデータ分析ってどうやるの？どうやって結果を説明すりゃーいーの？」とふと思いまして、データ分析のいろはを勉強しようと以下の本を手に取りました。（厳密にいうと、この本がインストールさ…
もくじ 近況報告 ランダムフォレストでFX分析してみた 感想など 近況報告 あけましておめでとうございますm(＿ ＿)m 今年初のブログです。 去年12月に新しい会社に入り、現在はAI関係ではない仕事をやっています。 ４月から念願だった機械学習関係のプロジェ…
以下前回記事の続きです。 kurupical.hatenablog.com 今日は 1.AI作成 2.AIチューニング 3.ポートフォリオの作成 4.自動取引ツール作成 ←ここ を書きます。 ちなみに、FXのシステムはバグがあり実際は全然勝てないシステムでした・・・。 tensorflowのグラフ…
ずっと悩んでたのが解決したのでメモします。 Tensorflowのsessionをループ内で複数回open/closeするとメモリ不足になる 同一コード内で、Tensorflowのsessionを何度もopen/closeするプログラムを組んでいました。 するとちょっとずつ使用メモリが膨らんでい…
ディープラーニングで為替の自動トレードツール作成を行いました。 まだ完了していないのですが、作成にいたる工程やその時苦労したことなどを書いていきます。 工程 1.AI作成 2.AIチューニング 3.ポートフォリオの作成 4.自動取引ツール作成 工程ごとに順に…
今日書くこと 結果 結果検証 考え方 システム化 結果 以下の条件で行いました 取引期間: 2013/1/1〜2017/11/1 結果ですが、正解率が56.8%となりました。 結果検証 今回はじきだした正解率56.8%は優位性があるのか、単なるマグレなのか、について考察します。…
久しぶりのブログ更新です。 半月ほどブログをほったらかしにしていたのですが、毎日２０アクセスくらい入ってくるのは嬉しいですね。 cartpoleも完成して、目標がなくなってしまい手が止まって半月。 ニートをこじらせてました。 このままだと社会復帰でき…
これまで株価予測(RNN)、強化学習(DQN)、画像認識(DNN)と３つやってみました。 これまでの経験で、どのハイパーパラメータをチューニングすると効果があるのかメモしました。 ※ほとんど主観と断片的な知識で語っているので、間違いがあればご指摘ください。 …
Deep Learning Lab コミュニティ イベント 第4回（オンライン配信あり！） - connpass コレに行ってきました。 話は結構ビシネス寄りで、とても勉強になりました。 聞いたことを箇条書きで記事にしました。 （1.取ったメモ内の自分の考えは青文字で書いてま…
本記事の目的 「DeepLearning初心者による初心者のための読書会」参加者に向けた記事です。 随時修正予定です。 本記事は、書籍「ゼロから作るDeepLearning」のアジェンダです。 書いてあること 各章が終わると何ができるようになるか ※私自身は文系でDeepLe…
以下の記事の続きです。 kurupical.hatenablog.com cartpoleについては、以下の記事を参照ください。 kurupical.hatenablog.com 1.やったこと Q-Tableの更新のされかたをデバッグしながら、Q-Tableが-1〜1の間に収まらなくなったらバグとみなしていろいろな…
以下の記事の続きです。 kurupical.hatenablog.com cartpoleについては、以下の記事を参照ください。 kurupical.hatenablog.com 考察 Q-Tableをデバッグ→チューニング 報酬を-1〜1にClippingしているのに、Q-Table(報酬の期待値)が-1〜1の間になっていません…
以下の前回記事の続きです。 kurupical.hatenablog.com cartpoleについては以下をご参照ください。 kurupical.hatenablog.com やったこと 割引率の変更(0.95→0.99) ※割引率とは、「将来報酬の期待値をどの程度評価するか」です。 結果 timestep(赤線)がゲー…
前回記事（以下）の続きです。 kurupical.hatenablog.com cartpoleについては、以下の記事を参照ください。 kurupical.hatenablog.com やったこと TargetNetworkの実装 Q-Tableの更新について、これまでは1gameごとに行っていたのを1epochごとに行うようにし…
cartpole問題やっているのですが、いかんせん学習の待ち時間が長いのでその間に強化学習をいろいろ調べていました。 世に出ているスライド読んでみた 深層強化学習の動向 speakerdeck.com 面白かったところ 強化学習をブーストさせる考え方 学習に有用な経験…
前回の記事に引き続き、cartpole問題に取り組んでいます。 kurupical.hatenablog.com 前回からおよそ４時間費やしています。 (最近、「時間家計簿」をつけるようにしています。 ちょっとバタバタしたり怠惰したりして、あまりできませんでした。 時間家計簿…
強化学習を進めました。 (前回の記事：プログラムの骨組みができた) kurupical.hatenablog.com 今日やったこと 以下を行いました。 プログラムの凡ミスを修正 1000データあるなかの1つのデータのみを繰り返し学習させていたという痛恨の凡ミス。 重みの初期…
以前書いた記事の続き kurupical.hatenablog.com 前回は、cartpoleのゲームをテスト的に動かしてみました。 前回に続いて、cartpoleのゲームを強化学習(DQN)で攻略することを目標にプログラムを作ってみました。 ソース構成の考察 ソース構成は以下です。 ag…
読書会やりました 10/4 19:00-22:00に、ゼロから作るDeepLearningの読書会をやりました。 参加者６人でした。 第３章４節まで進みました。 以下、質問について回答いたします。 活性化関数にReLUとかSigmoidとか出てきたけど結局何を使えばいいの？ www.proc…
