2018-01-01から1年間の記事一覧

<実践>はじめてのKaggle体験記

機械学習を勉強し始めて1年が経ちました。 そろぞろ何か一つ目に見える実績を上げたいと思いたち、 5月から8月までHomeCreditというKaggleのコンペをやっていました。 Home Credit Default Risk | Kaggle 最終的に、7198人中62位で終わることができました…

<メモ>tensorflowのimport時のエラー(libcublas.so.9.0が見つからない)

tensorflowのimport時にlibcublas.so.9.0: cannot open shared object file: No such file or directoryと出る時の対処法メモ 環境 CUDA 9.0 tensorflow 1.8.0 Pycharm community 2018.1 状況 コマンドラインでpython→import tensorflowはちゃんと動く Pycha…

<実践>HomeCredit作業記録(6) - 進捗とメモ

いいところまで来ました。 淡々と、定石通りにやってるだけのつもりなんですが・・・ ただ、手法のPrivate shareが禁止ということで、規約にひっかかりそうなので過去の記事を非公開にしました。 いま使っているLightGBMがブラックボックスすぎるので、そこ…

<調査>Kaggle過去コンペ上位入賞者のSolutionから学ぶ(1)

blog.kaggle.com この記事に、「コンペに優勝するためには過去のコンペから学ぶことが大事だ」と書いてあったので、過去のコンペを調べることにしました。 過去のコンペのDiscussionを見ると、上位入賞者が解法を公開してくれています。 HomeCreditと同じ「…

<実践>HomeCredit作業記録(5) - FeatureEngineering続き

Kaggle挑戦中です! 債務不履行になる人を予想するタスクです。 Home Credit Default Risk | Kaggle やったこと FeatureEngineering FeatureEngineering 前回の記事では、一つ一つの特徴量をじっくり見ていました kurupical.hatenablog.com ですが、やっぱり…

<実践>HomeCredit作業記録(4) - FeatureEngineeringのためのツール作成

Kaggle挑戦中です! 債務不履行になる人を予想するタスクです。 Home Credit Default Risk | Kaggle やったこと FeatureEngineeringのつづき 可視化ツールの作成 特徴量の作成 可視化ツールの作成 def visualize_bar(df, target_name="TARGET", output_path=…

<実践>HomeCredit作業記録(3) - FeatureEngineeringのアプローチ

Kaggle挑戦中です! 債務不履行になる人を予想するタスクです。 Home Credit Default Risk | Kaggle 最近は特徴量エンジニアリング(FeatureEngineering)をやっています。 やっている中で気づいたことがあるのでブログにします 特徴量エンジニアリングのア…

<実践>HomeCredit作業記録(2) - LightGBMを使って全特徴量を突っ込んだ

Kaggle挑戦中です! Home Credit Default Risk | Kaggle 今日やったこと LightGBMで、application_{train/test}.csvの全パラメータを突っ込んで 特徴の重要さ(feature importance)を見る LightGBMの予想を投稿する そのために、 LightBGMの仕様調査 データの…

<基礎学習>機械学習、DeepLearningを使わずにFXの分析をしてみた(2)

以下前回記事の続きです。 kurupical.hatenablog.com 概要 未知のデータに対して予想できるようにした 「次の日上がるか下がるか」ではなく、「N%上がるが先か下がるが先か」を当てるようにした いろんなパラメータをグリッドサーチ(総当たり)した 目次 前回…

<基礎学習>機械学習、DeepLearningを使わずにFXの分析をしてみた

機械学習のライブラリや考え方などの勉強もさながら、「そもそもデータ分析ってどうやるの?どうやって結果を説明すりゃーいーの?」とふと思いまして、データ分析のいろはを勉強しようと以下の本を手に取りました。(厳密にいうと、この本がインストールさ…

<基礎学習>機械学習(ランダムフォレスト)でFX - 為替データの特徴量抽出

もくじ 近況報告 ランダムフォレストでFX分析してみた 感想など 近況報告 あけましておめでとうございますm(_ _)m 今年初のブログです。 去年12月に新しい会社に入り、現在はAI関係ではない仕事をやっています。 4月から念願だった機械学習関係のプロジェ…