＜メモ＞tensorflowのimport時のエラー(libcublas.so.9.0が見つからない)

tensorflowのimport時にlibcublas.so.9.0: cannot open shared object file: No such file or directoryと出る時の対処法メモ

環境

  • CUDA 9.0
  • tensorflow 1.8.0
  • Pycharm community 2018.1

状況

解決方法

Pycharmを開き、[Run] => [Edit Configurations] => Python-[自分が動かしてるプログラム]を選択
Environment variablesに、LD_LIBRARY_PATH: /usr/local/cuda-9.0/lib64:$LD_LIBRARY_PATHを追加

f:id:kurupical:20180817101146p:plain

defaults→python→Environment variablesにLD_LIBRARY_PATHをセットしても動かなかったので、自分のプログラムにパスを通しました。

CUDAの環境まわりなどちゃんと入れてるのに何故かちゃんと動いてくれない・・・というときは、開発環境を疑ってみるとよいと思います。

参考記事：
github.com

＜実践＞HomeCredit作業記録（６） - 進捗とメモ

f:id:kurupical:20180615203929p:plain:w500

いいところまで来ました。
淡々と、定石通りにやってるだけのつもりなんですが・・・

ただ、手法のPrivate shareが禁止ということで、規約にひっかかりそうなので過去の記事を非公開にしました。

いま使っているLightGBMがブラックボックスすぎるので、そこの勉強をしたいです。

ここまで作業時間４０時間くらい、思ったことややったことメモ

Kaggleだと限界がわかる

自分が１位じゃないかぎり、スコアの伸びしろがわかるっていうのは大きいですね。
実務だと一人でやるので、どこまでできるのかが不透明です。

しばらく誰も１００ｍ１０秒切れなかったのに切ったとたん、他の人も１０秒切れるようになった、みたいな感じですね
１位じゃないからまだまだやれるんだなというのがわかるのは大きいです。

Discussionが参考になる

今私は特徴量作成をやっているのですが、それすらも自動化する「Featuretools」というツールが出てるみたいですね。
Kaggleのディスカッションは以下です。
https://www.kaggle.com/willkoehrsen/intro-to-tuning-automated-feature-engineering

まだ使っていないのですが、いつかは使ってみたいです。

仕事でもプライベートでも作れるEDAツールにする

多分次の分析でもやるだろうな〜と思ったデータ加工のプログラムは、再利用可能＋テストを書いて多少の品質を確保しています。

データサイエンティストの人を片っ端からフォローした

議論を追ったりするとめっちゃ勉強になります！

＜調査＞Kaggle過去コンペ上位入賞者のSolutionから学ぶ（１）

blog.kaggle.com
この記事に、「コンペに優勝するためには過去のコンペから学ぶことが大事だ」と書いてあったので、過去のコンペを調べることにしました。
過去のコンペのDiscussionを見ると、上位入賞者が解法を公開してくれています。

HomeCreditと同じ「分類」タスクのコンペを探しました。

以下、自分のメモ書きです。

Porto Seguro’s Safe Driver Prediction 1st solution

Porto Seguro’s Safe Driver Prediction | Kaggle

1ファイルのコンペ(主キー1に対して、レコードがN行みたいなことがない)

手法

  • Representation learning
    • DAE(Deep Auto Encoder)による特徴抽出。
    • Feature Engineeringが嫌い！それを自動化してこそAIだ！ということだそうです。
  • Normalizationには"RankGauss"を使った

  • inputSwapNoize

    • 0.15 means 15% of features replaced by values from another row.
    • これって以下の認識であってるんでしょうか？
      • DAEはノイズ除去の役割を果たす
      • 人工的にノイズを作るため、各特徴の15%は別の行とスワップする
        f:id:kurupical:20180605205648p:plain:w500

  • GANはやってみたけど失敗

    • 連続値とカテゴリ変数が混在する場合のGANは難しい
    • 疑問：GANを何に使おうとしたのでしょうか？

  • NN5個とLGBM1個をstacking(重みはすべて同じ)

感想

  • DAEによる特徴抽出が強い！今のコンペでもやってみたいです。ただ、主キー1に対してN行データがある場合は入力が動的になるから難しいですね。この問題が解決できたら、いよいよFeature Engineeringが要らなくなる？
  • inputSwapNoiseの考え方が個人的にとても面白かったです。

＜実践＞HomeCredit作業記録（５） - FeatureEngineering続き

Kaggle挑戦中です！
債務不履行になる人を予想するタスクです。
Home Credit Default Risk | Kaggle

やったこと

  • FeatureEngineering

FeatureEngineering

前回の記事では、一つ一つの特徴量をじっくり見ていました
kurupical.hatenablog.com

ですが、やっぱりキリがないので、機械的に全部のデータをいろいろな形で集計しました。
参考にしたKernelは以下などです。
Good_fun_with_LigthGBM | Kaggle
LightGBM - all tables included [0.778] | Kaggle

結果

score: 0.735 -> 0.782
順位: 214位/1642 (上位15%)

今後やっていきたいこと

いったんFeatureEngineeringはやめて他のタスクを。

  • パラメタチューニング
    RandomisedSearch, GridSearch以外もいろいろ試したいです。

  • 別のアルゴリズムも使う
    今はLightGBMを使っているのですが、XGBoostやDeepLearningも試してみたいです。

  • アンサンブル学習
    複数の学習器でStackingをやりたいです。

その他

参考になったDiscussion


  1. この特徴量生成は正直引きました。え、そこまでやるの？みたいな
    Hybrid Jeepy and LGB | Kaggle
    いろんな特徴量を足したり引いたりミニマム取ったりtanh取ったり・・・
    そこまでやるならDeepLearningでやればよいのでは？なんて思ったり。
    でも、こういうアプローチもあるのかと勉強になりました。


  2. Home Credit Default Risk | Kaggle
    書き込んでみました。笑　質問した後、自分の凡ミスに気づくという・・・

＜実践＞「過去の閲覧履歴から最適な街コンを勧める」システムのコンペに参加してみた

AIエンジニア（データサイエンティスト？）として働き出して１ヶ月。
なんだかんだ勉強して１年。
いろんなアルゴリズムも触ったし、いちど自分の実力を試してみたいなと思い、データサイエンスのコンペを探していました。

探したのは

そして、signateでいいコンペを見つけたので参加することにしました。
できるだけ、AI・機械学習界隈の人でなくてもわかるように書いていきます。

目次

  1. コンペの概要
  2. 取組み
    • 2-1. 取組みの流れ（ざっくり）
    • 2-2. 使用した機械学習アルゴリズム
    • 2-3. 前処理(preprocession)
    • 2-4. パラメタチューニング
  3. 結果
  4. 感想
  5. 告知

1. コンペの概要

コレに参加しました。
signate.jp

概要を箇条書きで書きます。

  • 目的

    • ユーザーに最適な街コンを勧める。以下のようなイメージです。 f:id:kurupical:20180522190400p:plain

  • 評価基準

    • 概要

      • 2017/9/24までのデータを基に、9/25〜9/31に開催される街コンをおすすめする
      • ユーザごとに「おすすめ街コンランキング」を２０位まで提案する

    • 評価

      • nDCG(具体的な計算式は上記サイト参照)
        • 提案した街コンについて、9/25〜9/31に実際に「参加した＝７点、ブックマークした＝３点、見た＝１点」として、自分が提案したランキングの上から計算
        • ランキングの上位のほうが多く得点が与えられる。 例：（１位＝参加、２位＝不参加、３位＝見た）　＞　（１位＝不参加、２位＝参加、３位＝見た）
        • 理想の提案の得点を1としたときの自分の提案の得点がスコアになる。 詳しく知りたい方は　 レコメンドつれづれ ～第3回 レコメンド精度の評価方法を学ぶ～ - Platinum Data Blog by BrainPad

  • 与えられるデータ

    • ユーザーの属性
      • 年齢
      • 住所
    • 過去開催されたイベントの詳細
      • 都道府県
      • 開催日時
      • 女性／男性の参加可能年齢範囲
      • イベントジャンル
    • ユーザーの閲覧ログ
      • どのユーザーが
      • どのイベントに
      • （参加した／ブックマークした／見た）
    • 評価対象のユーザー一覧(2886件)
      • ユーザーID

  • 提出データ

    • ユーザーごとのおすすめイベント
      • ユーザー数(2886)×20イベント

2. 取組み

2-1. 取組みの流れ

今回、以下のような流れで取り組みました。 * データの前処理 * パラメタチューニング

2-2. 使用した機械学習アルゴリズム

教師なし学習であるNearest Neighborを使いました。
ざっくり言うと、

  • データを与えると、
  • そのデータと似たものを出力する

アルゴリズムです。

簡単に例を挙げます。

f:id:kurupical:20180522215526p:plain:w500

やや雑ですが、食べ物を「甘いー辛い」属性、「洋食ー和食」属性の２軸にとりました。

ここで、「エビフライが好きな人が好きな食べ物は何か？」をNearestNeighborを使って解決します。

1.データ「エビフライ」を与え、座標上に点を描きます。
f:id:kurupical:20180522220455p:plain:w500

2.エビフライの近くにあるものが答えです。（つまり、ここでは「オムライス」と「グラタン」。）
f:id:kurupical:20180522220535p:plain:w500

実際の食べ物の趣向は、２軸では表現できません。重いー軽い、高いー安いなど、人によって何個も判断基準があると思います。
実際、NearestNeighborでは、２次元に限らず、３次元以上のデータも扱えます。

このNearestNeighborを、婚活データに適用してみようと思いました。

2-3. 前処理

NearestNeighborを婚活データに適用します。
大きな方針は、「ユーザーの属性」を過去の参加履歴から計算し、開催されるイベントと属性が近いもの順にリコメンドしていくこととしました。

工夫点は以下の通りです。

  • ユーザーの属性を平均化する。

    • 例：参加費４０００円のイベントに１回、参加費８０００円のイベントに１回参加→「参加費」属性は、６０００円

  • 数値化する

    • 「距離を計算する」アルゴリズムのため、全ての項目は数字である必要があります。
      以下項目は数字項目ではないため、数字にしました。
      変換の際、「その項目の本質的な情報を抜く」ことが大事です。
      • 「日付」
        • 本質的な情報は、「参加時間帯」。（平日休みの人は平日昼間のイベントを見るはず・・・）
        • 「平日昼間」「平日夜（１９：００〜）」「休日昼」「休日夜」の４属性に変換しました。
      • 「都道府県」
        • 本質的な情報は、「位置」。（東京にいる人に大阪のイベントは勧めないが、神奈川のイベントは勧めるかも）
        • 「緯度」「経度」に変換しました。

  • 重み付け

    • 時系列重み付け
      • 例：参加費４０００円のイベントに昨日、参加費８０００円のイベントに１年前に参加→「参加費」属性は４５００円（直近参加の４０００円に寄せる）
      • 具体的に言うと、ログをさかのぼるたびに0.99を掛けることで、昔のイベントの「重み」を軽くしました。
    • ログ重み付け
      • 「参加したイベント」のログは大きい重み付け、「見ただけ」のログは小さい重み付けをそれぞれ行い、ユーザーの属性に反映しました。

2-4. パラメータチューニング

ユーザーの属性を計算したら、次は「どの項目を重要視するか？」を考慮します。（パラメータチューニング）
例えば、ユーザーの属性が（参加費４０００円付近が多い、平日昼間に参加が多い、東京付近が多い）だとしたとき、次のどのイベントを勧めるのが一番見込みがありそうですか？

  1. 参加費４０００円、平日夜間、大阪　（「参加費」を重要視）
  2. 参加費５０００円、平日昼間、大阪　（「時間帯」を重要視）
  3. 参加費５０００円、平日夜間、東京　（「場所」を重要視）

多くの人は3.を選択するでしょう。つまり、数ある項目のなかで「場所」を重要視しているということになります。（＝「場所」に大きな重みをかけている）

パラメータの決め方は以下の流れで行いました。

  1. ドメイン知識（＝常識：場所は大事でしょ、等）を考慮
  2. 以下を繰り返す
  3. 常識を考慮してランダムにパラメータを設定
  4. 予想、性能評価を行う
  5. 手順２の結果を検証し、パラメータに当たりをつける
  6. 3.により「常識」をアップデートし、2.に戻る

3. 結果

29位/158でした。
https://signate.jp/competitions/67/leaderboard

4.感想

「仮説」と「検証」の粒度が荒い
ここでいう仮説と検証は、

  • 仮説とは、AすればBになる
  • 検証とは、Bになったかを確かめる

ですが、仮説を立てるための材料が揃えられませんでした。

  • 結果を評価するための材料が「スコア」という非常に荒い材料しかなかった
    ex. 年齢別、都道府県別など、項目ごとにスコアがどうなっているのかを確かめる、など
  • データの分布を見きれなかった（機械学習というブラックボックスに投げ過ぎた）
    ex. ２０代の人は比較的参加費が安いものに参加している→何か予想に反映できないか、など

複数のアルゴリズムを試したかった
xgboostのpairwiseを少し試したのですが、使い方がわからずNearestNeighborの半分くらいのスコアしか出ませんでした。
いろいろ試してみたいものはありました

  • xgboost(pairwise)
  • catboost(pairwise)
  • DeepLearning(RankNet)
    qiita.com
  • DeepLearning(ListNet)
    qiita.com

次回同じ課題が来た時はリベンジします。

これは機械学習なのか・・・？
「AIというブラックボックスが全て判断してくれる」という考え方は駄目、だけど、今回はゴリゴリやり過ぎたような気がしなくもないです・・・。

10日という短納期にしては悪くない出来だったなと思っていますが、時間があればもっとこうしたかった！！というのが多いです。。。

5. 告知

誰かコレ一緒にやりませんか？
Competitions | Kaggle

kaggleでメダル取りたいです。週５時間程度の作業で大丈夫です。
興味ある方はkurupicalあっとGmailかブログコメントによろしくお願いしますm( )m
プログラムの心得と意欲があれば初心者でもOKです

＜基礎学習＞機械学習、DeepLearningを使わずにFXの分析をしてみた（２）

以下前回記事の続きです。
kurupical.hatenablog.com

概要

  • 未知のデータに対して予想できるようにした
  • 「次の日上がるか下がるか」ではなく、「N%上がるが先か下がるが先か」を当てるようにした
  • いろんなパラメータをグリッドサーチ(総当たり)した

目次

  1. 前回の反省
  2. 予想の対象を変更
  3. 与えるパラメータ
  4. 結果、考察
  5. 今後

1.前回の反省

前回の記事の「2-2.セグメントの組み合わせ」で正解率を出し、このトレードアルゴリズムは使えそうだ・・・と思ったのですが、初歩的なミスがありました。
「未知のデータに対する検証をしていない」ことです。

このアルゴリズムは未来においても有効なのか？を示す必要があります。

f:id:kurupical:20180418193502p:plain

前回の考え方は、集計に使うデータと性能評価に使うデータが同じでした。
そのため、その期間の値動きに特化した予想になってしまいます。たとえ、性能評価をして勝率が高かったからといって、未来（未知）の値動きに対応できるかは保証できません。

ですので、このような考え方にしました

f:id:kurupical:20180418193944p:plain

上記の図は、
(1) 2016/1〜2016/6のデータで集計をし、2016/7〜2016/9の値動きで性能評価を行う
(2) 2016/4〜2016/9のデータで集計をし、2016/10〜2016/12の値動きで性能評価を行う
・
・
・

と最新のデータまで続け、それぞれで行った性能評価を集計し、アルゴリズムの性能評価とします。
これで、「未知のデータに対する性能評価」を行うことができます。
・・・いろいろDeepLearningとか機械学習をやってるのに我ながら信じられないミスでした。笑

2. 予想の対象を変更

2-1. 前回までの予想対象とその難点

前回は、「過去の１時間足のチャートの各種データをクロス集計して、次の１時間で上がるか下がるか」を予想するプログラムでした。
このアルゴリズムには難点があります。

１時間足なので利幅が少ない→手数料負けしがち
以下を仮定します。

  • ドル円で１時間で動く値幅の平均が5pips(0.05円)だとします。
  • 取引にかかるコストは一定で、0.4pipsとスリップ幅0.6pipsみて1pips(0.01円)。

この場合、勝てば5 - 1 = +4pips、負ければ -5 -1 = -6pipsとなります。
期待値プラスになるための勝率を { \displaystyle p }と置くと、

{ \displaystyle 4*p + (-6) * (1-p) > 0 } を満たす必要があります。

これを解くと、{ \displaystyle p > 0.6 }が求まります。
60%の勝率を保ってイーブンというのはかなり厳しいですね。

2-2. あたらしい予想対象

なので、次の１時間であがるか下がるかではなく、「N％上がるかN%上がるかどっちが先か」を予想することにしました。
そうすることで、利幅を自分で決めることができます。
たとえば、

  • N＝0.5%(ドル円だとおおよそ50pips(0.5円)

この場合、先ほどの計算を考えると、勝てば 50-1=+49pips、負ければ-50-1=-51pipsとなります。
同様に期待値がプラスになるための勝率を以下式により求めます。

{ \displaystyle 49*p + (-51) * (1-p) > 0 }

これを解くと、{ \displaystyle p > 0.51 }が求まります。
51%の勝率であればなんとかなりそうですね。

3.与えるパラメータ

あとは、パラメータを試行錯誤するだけです。
以下のパラメータを調整しました。

  • 前回記事2-1.優位性のありそうなセグメントの抽出
    • 必要なデータ量(前回記事のa)
    • クロス集計の偏り具合(前回記事のb) (e.g. MA25=0.9975/MA75=1.0025の場合60%の確率で「N%下がるが先」)
    • 組み合わせ数(前回記事のc)
  • 予想する値動き幅N%
  • 値動き集計、性能評価に使うデータの期間
  • チャートの足(15分足、30分足、１時間足、２時間足)

4. 結果と考察

4-1. 結果

１時間足で5年分検証した結果が下図です。
f:id:kurupical:20180418202101p:plain:w500
縦軸の黄色で塗りつぶしているのが「勝率」、その右隣が「取引件数」です。

4-2. 考察

4-2-1. 数字だけを見る

勝率が1(=100%)になっているものもありますが、取引件数が少なすぎるので信用できません。
大数の法則からも、1000件以上あるデータで上から探していくと...
赤文字で塗っている行が、なんと1420回取引して勝率79%。
む、無敵だ・・・

早速採用！！と思いましたが、１１月に作ったDeepLearningのアルゴリズムをろくすっぽ検証もせず取引したらアルゴリズムの考え方がバグっていて、５０００円を失ったことを思い出しました。。
今回は注意深く。
念のため、月ごとの取引件数を勝率を見てみました。

f:id:kurupical:20180418202817p:plain:w500

なんと。。2016年から全く取引してないです。
これじゃ使えませんね。（過学習とはいえ、2014/4〜2014/6で200回トレードの勝率100%なのは驚異的です。なんかバグってそう・・・）

他の勝率高いデータも確認してみましたが、特定月に取引が偏っているものが多く、実運用はできそうにないものが多かったです。
全部のデータについて取引の分布をしらみつぶしに見ていくのはしんどいので、集計に工夫をしました。

4-2-2. 取引件数のばらつきを考慮してアルゴリズムを選定する

集計を以下のようにしました。

f:id:kurupical:20180418204307p:plain:w500

右側に、月ごとの取引件数の平均と標準偏差を取りました。
標準偏差が低い＝月ごとの取引件数にばらつきが少ないということになります。
このデータで、「勝率６０％以上、取引件数１０００件以上」で標準偏差が低い順に並べてみました。

上２つのデータについて、月ごとの取引回数を確認してみます。
f:id:kurupical:20180418204004p:plain:w500
[f:id:kurupical:20180418210021p:plain:w500
] ２個目は特になかなか安定してそうです。
１個目は利幅0.5%、２個目は利幅0.1%に設定しているので、２．で説明した「必要な勝率」が違うことに注意が必要です。
勝率やグラフは２個目のグラフがキレイですが、実際どちらが利益を生むかは別問題です。

5. 今後

いろいろなパラメータでチューニングして、「利幅」と「勝率/取引のばらつき」が一番良いものを選びたいと思います。
仮想通貨にも同じアルゴリズムを適用してどうなるかもあわせて検証しています。

あとは、「資金管理」についても考えていかなくては・・・。

＜基礎学習＞機械学習、DeepLearningを使わずにFXの分析をしてみた

機械学習のライブラリや考え方などの勉強もさながら、「そもそもデータ分析ってどうやるの？どうやって結果を説明すりゃーいーの？」とふと思いまして、データ分析のいろはを勉強しようと以下の本を手に取りました。（厳密にいうと、この本がインストールされたKindleを手に取った)

とても勉強になりました。特に１章。

  • 「データ分析の設計」が必要
    • 問題領域を決める
    • 問題を解決するための評価軸を決める
    • 要因を列挙する

上記プロセスを踏んでいろいろやった結果、なかなか有意義な結果が出たんでブログにしました。
まだ途中ですが・・・

※このブログに書いてあることは投資およびデータ分析の素人が書いたものです。
　投資は自己責任でお願いします。
　

目次

  • 概要
  • データ分析
    • データの前処理
    • 集計
  • 今後
  • 感想
  • 参考サイト

概要

  • 過去１０年分の１時間足について、以下テクニカル指標を使って、「次の１時間足で上がるか下がるか」を予想する

データ分析

１．データの前処理

１−１．データのダウンロード、時間足へ加工

ここに貼ってあるリンクから、１分足18年分USDJPYをダウンロードしました。
www.forextester.jp

1分足を60足刻みに加工することで、1時間足のチャートを作成しました。

１−２．各種テクニカル指標の加工

集計しやすくするため、移動平均線、ボリンジャーバンド、前日の価格を「当日比」としました。
データ分布はこんな感じ(以下例は移動平均線です)

f:id:kurupical:20180329212446p:plain:w600

また、クロス集計がしやすいように0.25%刻みでデータをまとめました。
データまとめ後はこんな感じ

f:id:kurupical:20180329212548p:plain:w600

２．集計

２−１．優位性のありそうなセグメントの抽出

移動平均線、ボリンジャーバンド、前日の価格、すべての組み合わせに対してクロス集計して偏りがあるところを調べます

f:id:kurupical:20180329214504p:plain:w600

上記のエクセルは、25日ボリバンと25日移動平均線のクロス集計です。
これの見方ですが、たとえば緑で塗りつぶされているところの意味は以下の通りです。

  • 25日ボリバンが当日比98.5%
  • 25日移動平均線が当日比99.25%
  • 上２つを満たすデータが７件ある
  • ７件のうち85.7%は、1時間後下がっている

すべての指標の組み合わせでクロス集計を行い、以下を満たすデータを抽出していきます

  • データ量(count)が十分であること ( count > a)
  • １時間後の値動きがどちらかに偏っていること( abs(0.5-b) < mean)

今回は、a=500、b = 0.07としました。
(セグメントのデータが500件以上あり、値下げ確率が43%以下もしくは57%以上)

抽出の結果は以下のとおりです
f:id:kurupical:20180329215635p:plain:w500
※MA=移動平均線、BB=ボリバン

このデータからわかることは、例えば１行目だと、「MA25=0.995、MA75=0.9975の場合、57.5%の確率で次の1時間足は上がる」ということです。
つまりエントリーのシグナルを出力してることになります！

２−２．セグメントの組み合わせ

「上記クロス集計で抽出した条件を満たせばトレード」で、少し勝ちトレードに近づけるかもしれないと思います。
ここでもう少し考えてみました。
ある時間足について「上記クロス集計で抽出した条件をc個以上満たせばトレード」にしたらどうなるのか？を検証しました。

結果
n=81243
c=1 : トレード回数=6963回、正解率=57.4%
c=2 : トレード回数=1415回、正解率=59.6%
c=3 : トレード回数=267回、正解率=63.2%

f:id:kurupical:20180329221730p:plain:w500

Cの数を上げると、正解率は上がりますがトレード回数が少なくなります。
トレード回数が多いほうが分散が下がりリスクが少ないです。
なので、トレード回数と正解率のトレードオフを考える必要があります。

３．今後

  • やってみたいこと

    • パラメータチューニング。a,b,cの値を変えればどうなるかを試す。
    • クロス集計するテクニカル指標を増やす。MACD、加重移動平均、ストキャスティクスなど・・・
    • up/downではなく、値動きを見てみる

  • 課題

    • 1時間足のだと手数料負けして多分儲からない。バイナリオプションでの運用にならいけるかも？

４．感想

次の派遣先で「データ分析の結果を報告することもお願いする」と言われたので練習がてらやってみましたが、時間がかかるわりにまとめるの下手・・・。これだけ書くのに２時間かかりました。

あとは単純に、データ分析のプログラムの書き方がむずかしい。
データ加工のやり方に四苦八苦してます。numpy、pandasむずいです。。

今は、以下の方針でやってます。

  • やりたいことを書き出してから始める（いきあたりばったりにやらない）
  • 書いたプログラムは消さない（関数に改良を重ねるときはコピペして、pivot_table2とか命名する。)
  • コードの綺麗さは２の次。コピペ上等。
  • 処理速度は大事にする。
  • データ処理するとき、numpy/pandasですでに実装されている関数がないか調べる
    • 意外と何でもある。今回画像で貼ってるエクセルは、pythonで出力したものをほぼそのまま貼ってるだけです。pivot_tableで、セルの結合なんかもやってくれて最強。。

５．参考サイト

以下ブログで最近はじまったシリーズ。マジ神です。
we.love-profit.com