本ページは、筆者の個人的な備忘録として読書感想を残しておくためのものです。 なので、私が大切だと思ったポイントを箇条書きでアウトプットしています。 今回の書籍は下記の本です。みなさんのご参考になれば嬉しく感じます。 分析者のためのデータ解釈学…

普段のデータ分析の中で、筆者はSQLを使う機会が多いのですが、関数を知っていないと遠回りをしてしまい、かつコードが長くなってしまうことがあります。 今回は、SQLで覚えておくと便利そうな関数をピックアップしてみました。PostgreSQL、MySQL、SQL Serve…

(2022/7/27 追記) 記事公開から１年経ちましたが、この記事のアクセス数が未だに多いです。みなさん苦労されているのですね。 --- S3に保存したPDFファイルをダウンロードするAPIを、Lambdaで作りました。テキスト表示までは簡単にできたのですが、PDFなどの…

本ページは、筆者の個人的な備忘録として読書感想を残しておくためのものです。なので、私が大切だと思ったポイントを箇条書きでアウトプットしています。今回の書籍は下記の本です。みなさんのご参考になれば嬉しく感じます。 仮説思考―ＢＣＧ流 問題発見・…

本記事に来られた方は、kaggle や atmaCup などでコンペティションに参加されている方も多いかもしれませんね。 また、お仕事でデータ分析をされている方も多いでしょう。 本記事では、共通的に使えそうな特徴量について列挙してみたいと思います。 日付に関…

アンサンブル学習の方法として、かなり簡易に使える方法をお伝えします。 submit を単純に平均して算出 import pandas as pd # 読み込み lgbm_sub_df = pd.read_csv('./submit/lgbm_sub.csv') rf_sub_df = pd.read_csv('./submit/rf_sub.csv') # 平均を算出 …

行数の設定変更 Pythonで行数が長い場合に「・・・」の表示となってしまいますが、設定を変更することができます。 # 現在の設定確認 print(pd.get_option("display.max_rows")) # 150行まで伸ばす場合 pd.set_option('display.max_rows', 150) pandasで行列…

train_df と test_df を用意して、関数に入れる。 #------------------------- # 関数定義 #------------------------- import xgboost as xgb def run_xgb_kfold(train_df,test_df,features,target,folds,params): oof_preds = np.zeros(train_df.shape[0])…

日本語でタイトルなどに文字化けが出るときにには、「japanize_matplotlib」をimportしてみると良い なんらかの方法で japanize-matplotlib をインストール !pip install japanize-matplotlib 日本語でグラフを描く import pandas as pd import matplotlib.p…

Python でインプットファイルとなる csv などを一括でファイル名を取得する方法です。 ファイル名の一覧取得 # inputフォルダ内のファイルのパス一覧を取得 import pathlib path = pathlib.Path('./input/').glob('*.csv') for p in path: print(p.stem) # …