2022-03-01から1ヶ月間の記事一覧
はじめに DataBricksでモデルをDev.からStagingに上げたいときや、StagingからProductionに上げたいときには、GitHubで言うプルリクエストを飛ばすことになる。 通知にはWebhook の機能を使えるが、Teamsに飛ばしたい場合はチャネルのデフォルトのURLではな…
DataBricks(PySpark)を勉強中ですが、自分の備忘録として記録に残したいと思います。 DataBricks では、Pandas のデータフレームを扱いながら、PySparkの仕組みを使って分散処理ができます。 PySpark での Pandas PySpark で Pandas を使う際に、分散処理…
ネット上のサンプルコードや、セミナーで配布されたコードを見ていて、特殊な書き方を見て疑問に思ったことはありませんか?処理を理解するためにも知っていて損は無い&自分でも使いこなせるとベストな書き方を整理します。 可変長引数(*args, **kworgs) …