Fractal Prologue 徒然なるままに...データと遊ぶ

Github Actions と CodePipeline を使って Step Functions を動かす CI/CD を構築

はじめに 2ヶ月以上ご無沙汰になってしまいましたが,久しぶりのテックブログになります.今回はタイトルにもあるように,Github Actions と CodePipeline を使ってマージトリガーで Step Functions のパイプラインを動かす CI/CD を構築したお話に

各社の MLOps 事例を集めた MLOps Practices という Website を公開しました

はじめに 最近個人的に MLOps という領域に高い関心があって,日々情報収集をしたりしているのですが,各社が実務で取り組んでいる事例や MLOps の各領域で使用されている技術やツールなど個別の Tips が点在していて見つけるのが大

ValueError: Must setup local AWS configuration の対処方法

はじめに Step Functions で SageMaker ProceesingJob を使ってカスタムコンテナを実行した際に,その実行スクリプト内で ExperimentAnalytics の API を使用していたところ,「ValueError: Must setup local AWS configuration with a region supported by SageMaker.」というエラーが発生したので

スプレッドシートから BigQuery へ Digdag を使ったデータ連携

はじめに 今回は,teamaya という個人プロジェクトで進めているデータ連携の話になります.コードは以下のリポジトリに置いてあるので,ご自由に使用下さい! 具体的には,手元にあるスプレッドシートのデータを

teamaya という個人プロジェクトをはじめてみた

はじめに 最近,データエンジニアリングと MLOps の領域への関心が個人的に高まっていて,何か個人プロジェクトで出来ないかと考えていたところ,普段スプレッドシートで記録している家計簿のデータを使って,データエンジ

Buy Me a Coffee をブログに追加した話

はじめに Buy Me a Coffee というコーヒー1杯をクリエイター活動のサポートという形で寄付するサービスがあります.このサービスの存在は以前から他のエンジニアの個人ブログなどで知っていたのですが,@hurutoriy

スプレッドシートで行う Mann-Whitney の U 検定

はじめに 普段は Python の SciPy というライブラリを用いて,AB テスト実施後の2群間における有意差を調べるために検定を行っていますが,Python を使っていない or このようなライブラリに触れたことがない人でも簡単に検

Tensorflow の Callback 関数をカスタマイズ

はじめに AWS の SageMaker 上で SageMaker Python SDK を使用して独自の機械学習モデルを作成することができますが,その際に学習や評価が行える Estimator という SageMaker の interface があります. 一方で,SageMaker Experiments で実験管理を行いたい場合には,この Estimator に

Podcast による配信のキッカケとその方法

はじめに 6月から友人の@navitacionさんと一緒に Podcast の配信を開始しました.テック系の話題など自分たちが興味のある内容をあれこれと話すものになります. Anchor という無料で配信できるプラットフォームを使用

Kaggle-Shopee コンペの振り返りとソリューション

Kaggle-Shopee コンペの振り返り 2021/03/09~2021/05/11まで開催していたShopee コンペの振り返りになります. 2週間程度しか手を動かせなかったですが,久しぶりに参加したので備忘録として記録を残し