Fractal Prologue 徒然なるままに...データと遊ぶ

Github Actions と CodePipeline を使って Step Functions を動かす CI/CD を構築

はじめに 2ヶ月以上ご無沙汰になってしまいましたが,久しぶりのテックブログになります.今回はタイトルにもあるように,Github Actions と CodePipeline を使ってマージトリガーで Step Functions のパイプラインを動かす CI/CD を構築したお話に

CML を使った ML モデルの CI/CD

はじめに Continuous Machine Learning (CML) という機械学習モデルの CI ツールを個人プロジェクトで導入したので,その紹介をしようと思います. 機械学習プロジェクトでテストを考える時に,大きく3つあると思っています. ソフトウェアのテスト

FastAPI と RabbitMQ を用いた機械学習タスクの非同期処理

はじめに 最近,機械学習を使ったアプリケーションのバックエンドでどういった処理を行ってモデル作成などを行っているか気になったので,モデル作成時によく行われる非同期処理を FastAPI と RabbitMQ を用いて検証したお話になりま

各社の MLOps 事例を集めた MLOps Practices という Website を公開しました

はじめに 最近個人的に MLOps という領域に高い関心があって,日々情報収集をしたりしているのですが,各社が実務で取り組んでいる事例や MLOps の各領域で使用されている技術やツールなど個別の Tips が点在していて見つけるのが大

Step Functions で自作 Dockerfile を使って SageMaker の GPU マシンを動かす方法

はじめに Step Functions で SageMaker のリソースを特にカスタムコンテナイメージで使う場合,単純に InstanceType として “ml.g4dn.xlarge” などの GPU マシンを設定するだけでは GPU を使った学習はできなくて,使いたいDockerfile に少し手を加える必要がありま

ValueError: Must setup local AWS configuration の対処方法

はじめに Step Functions で SageMaker ProceesingJob を使ってカスタムコンテナを実行した際に,その実行スクリプト内で ExperimentAnalytics の API を使用していたところ,「ValueError: Must setup local AWS configuration with a region supported by SageMaker.」というエラーが発生したので

スプレッドシートから BigQuery へ Digdag を使ったデータ連携

はじめに 今回は,teamaya という個人プロジェクトで進めているデータ連携の話になります.コードは以下のリポジトリに置いてあるので,ご自由に使用下さい! 具体的には,手元にあるスプレッドシートのデータを

teamaya という個人プロジェクトをはじめてみた

はじめに 最近,データエンジニアリングと MLOps の領域への関心が個人的に高まっていて,何か個人プロジェクトで出来ないかと考えていたところ,普段スプレッドシートで記録している家計簿のデータを使って,データエンジ

Buy Me a Coffee をブログに追加した話

はじめに Buy Me a Coffee というコーヒー1杯をクリエイター活動のサポートという形で寄付するサービスがあります.このサービスの存在は以前から他のエンジニアの個人ブログなどで知っていたのですが,@hurutoriy

スプレッドシートで行う Mann-Whitney の U 検定

はじめに 普段は Python の SciPy というライブラリを用いて,AB テスト実施後の2群間における有意差を調べるために検定を行っていますが,Python を使っていない or このようなライブラリに触れたことがない人でも簡単に検