本記事は「Kaggle Advent Calendar 2023 」の 13日目（12/13）の記事です。 先に宣伝ですが、2024/3/1(金)に大阪でイベントを開催します！12月末までの抽選参加申し込みとなりますので、参加希望の方はぜひお申し込みください。こちらのConnpassページにて受…
本記事は、ChatGPTで作成した記事です。備忘録として残します。 AI作曲における、One hot vector とは "One hot vector"とは、コンピュータサイエンスや機械学習の領域で広く用いられる表現方法の一つで、特定のカテゴリやクラスを表すために使用されます。 …
筆者は、データ分析を仕事にしてはいるものの、音楽については初心者です。今回、AIミュージックバトルのセミナーに参加したので、AIに音楽を作らせる方法について整理をしてみました。本記事は、ChatGPTで作成した記事です。備忘録として残します。 AIで作…
本記事は、Gammaを利用して作成された文章です。備忘録として残します。 ノーコードでのWebアプリの作り方 Webアプリの作り方を知っていますか？このプレゼンテーションでは、プログラミングの知識がなくても、誰でも簡単にWebアプリを作れるノーコードの方…
認定スクラムマスターのmi7mi(みなみ)です。 今回は、悩めるスクラムマスターに向けて、スクラムで活用するホワイトボードツールについて、取り上げたいと思います。 ちなみにホワイトボードはこんな感じです。 ページの下部に、ホワイトボード用のパワーポ…
みなさんは、Webサイトやブログなどを運営していて、URLを変更したいときはないでしょうか？ この記事に来られたということは、おそらく常時SSL対応（https対応）したサイトのURLを変更したいのだけれど、良い方法が見つかっていないのだと思います。 今回、…
本ページは、筆者の個人的な備忘録として読書感想を残しておくためのものです。 なので、私が大切だと思ったポイントを箇条書きでアウトプットしています。 今回の書籍は下記の本です。みなさんのご参考になれば嬉しく感じます。 コミュニティ・オーガナイジ…
本ページは、筆者の個人的な備忘録として読書感想を残しておくためのものです。 なので、私が大切だと思ったポイントを箇条書きでアウトプットしています。 今回の書籍は下記の本です。みなさんのご参考になれば嬉しく感じます。 論点思考 内田和成の思考 作…
本ページは、筆者の個人的な備忘録として読書感想を残しておくためのものです。 なので、私が大切だと思ったポイントを箇条書きでアウトプットしています。 今回の書籍は下記の本です。みなさんのご参考になれば嬉しく感じます。 テスト駆動Python 作者:Bria…
はじめに DataBricksでモデルをDev.からStagingに上げたいときや、StagingからProductionに上げたいときには、GitHubで言うプルリクエストを飛ばすことになる。 通知にはWebhook の機能を使えるが、Teamsに飛ばしたい場合はチャネルのデフォルトのURLではな…
DataBricks（PySpark）を勉強中ですが、自分の備忘録として記録に残したいと思います。 DataBricks では、Pandas のデータフレームを扱いながら、PySparkの仕組みを使って分散処理ができます。 PySpark での Pandas PySpark で Pandas を使う際に、分散処理…
ネット上のサンプルコードや、セミナーで配布されたコードを見ていて、特殊な書き方を見て疑問に思ったことはありませんか？処理を理解するためにも知っていて損は無い＆自分でも使いこなせるとベストな書き方を整理します。 可変長引数（*args, **kworgs） …
本ページは、筆者の個人的な備忘録として読書感想を残しておくためのものです。 なので、私が大切だと思ったポイントを箇条書きでアウトプットしています。 今回の書籍は下記の本です。みなさんのご参考になれば嬉しく感じます。 分析者のためのデータ解釈学…
普段のデータ分析の中で、筆者はSQLを使う機会が多いのですが、関数を知っていないと遠回りをしてしまい、かつコードが長くなってしまうことがあります。 今回は、SQLで覚えておくと便利そうな関数をピックアップしてみました。PostgreSQL、MySQL、SQL Serve…
(2022/7/27 追記) 記事公開から１年経ちましたが、この記事のアクセス数が未だに多いです。みなさん苦労されているのですね。 --- S3に保存したPDFファイルをダウンロードするAPIを、Lambdaで作りました。テキスト表示までは簡単にできたのですが、PDFなどの…
本ページは、筆者の個人的な備忘録として読書感想を残しておくためのものです。なので、私が大切だと思ったポイントを箇条書きでアウトプットしています。今回の書籍は下記の本です。みなさんのご参考になれば嬉しく感じます。 仮説思考―ＢＣＧ流 問題発見・…
本記事に来られた方は、kaggle や atmaCup などでコンペティションに参加されている方も多いかもしれませんね。 また、お仕事でデータ分析をされている方も多いでしょう。 本記事では、共通的に使えそうな特徴量について列挙してみたいと思います。 日付に関…
アンサンブル学習の方法として、かなり簡易に使える方法をお伝えします。 submit を単純に平均して算出 import pandas as pd # 読み込み lgbm_sub_df = pd.read_csv('./submit/lgbm_sub.csv') rf_sub_df = pd.read_csv('./submit/rf_sub.csv') # 平均を算出 …
行数の設定変更 Pythonで行数が長い場合に「・・・」の表示となってしまいますが、設定を変更することができます。 # 現在の設定確認 print(pd.get_option("display.max_rows")) # 150行まで伸ばす場合 pd.set_option('display.max_rows', 150) pandasで行列…
train_df と test_df を用意して、関数に入れる。 #------------------------- # 関数定義 #------------------------- import xgboost as xgb def run_xgb_kfold(train_df,test_df,features,target,folds,params): oof_preds = np.zeros(train_df.shape[0])…
日本語でタイトルなどに文字化けが出るときにには、「japanize_matplotlib」をimportしてみると良い なんらかの方法で japanize-matplotlib をインストール !pip install japanize-matplotlib 日本語でグラフを描く import pandas as pd import matplotlib.p…
Python でインプットファイルとなる csv などを一括でファイル名を取得する方法です。 ファイル名の一覧取得 # inputフォルダ内のファイルのパス一覧を取得 import pathlib path = pathlib.Path('./input/').glob('*.csv') for p in path: print(p.stem) # …
