本ページは、筆者の個人的な備忘録として読書感想を残しておくためのものです。 なので、私が大切だと思ったポイントを箇条書きでアウトプットしています。 今回の書籍は下記の本です。みなさんのご参考になれば嬉しく感じます。 テスト駆動Python 作者:Bria…

はじめに DataBricksでモデルをDev.からStagingに上げたいときや、StagingからProductionに上げたいときには、GitHubで言うプルリクエストを飛ばすことになる。 通知にはWebhook の機能を使えるが、Teamsに飛ばしたい場合はチャネルのデフォルトのURLではな…

DataBricks（PySpark）を勉強中ですが、自分の備忘録として記録に残したいと思います。 DataBricks では、Pandas のデータフレームを扱いながら、PySparkの仕組みを使って分散処理ができます。 PySpark での Pandas PySpark で Pandas を使う際に、分散処理…

ネット上のサンプルコードや、セミナーで配布されたコードを見ていて、特殊な書き方を見て疑問に思ったことはありませんか？処理を理解するためにも知っていて損は無い＆自分でも使いこなせるとベストな書き方を整理します。 可変長引数（*args, **kworgs） …

本記事に来られた方は、kaggle や atmaCup などでコンペティションに参加されている方も多いかもしれませんね。 また、お仕事でデータ分析をされている方も多いでしょう。 本記事では、共通的に使えそうな特徴量について列挙してみたいと思います。 日付に関…

アンサンブル学習の方法として、かなり簡易に使える方法をお伝えします。 submit を単純に平均して算出 import pandas as pd # 読み込み lgbm_sub_df = pd.read_csv('./submit/lgbm_sub.csv') rf_sub_df = pd.read_csv('./submit/rf_sub.csv') # 平均を算出 …

行数の設定変更 Pythonで行数が長い場合に「・・・」の表示となってしまいますが、設定を変更することができます。 # 現在の設定確認 print(pd.get_option("display.max_rows")) # 150行まで伸ばす場合 pd.set_option('display.max_rows', 150) pandasで行列…

train_df と test_df を用意して、関数に入れる。 #------------------------- # 関数定義 #------------------------- import xgboost as xgb def run_xgb_kfold(train_df,test_df,features,target,folds,params): oof_preds = np.zeros(train_df.shape[0])…

日本語でタイトルなどに文字化けが出るときにには、「japanize_matplotlib」をimportしてみると良い なんらかの方法で japanize-matplotlib をインストール !pip install japanize-matplotlib 日本語でグラフを描く import pandas as pd import matplotlib.p…

Python でインプットファイルとなる csv などを一括でファイル名を取得する方法です。 ファイル名の一覧取得 # inputフォルダ内のファイルのパス一覧を取得 import pathlib path = pathlib.Path('./input/').glob('*.csv') for p in path: print(p.stem) # …