はじめに 2ヶ月以上ご無沙汰になってしまいましたが,久しぶりのテックブログになります.今回はタイトルにもあるように,Github Actions と CodePipeline を使ってマージトリガーで Step Functions のパイプラインを動かす CI/CD を構築したお話に
はじめに Continuous Machine Learning (CML) という機械学習モデルの CI ツールを個人プロジェクトで導入したので,その紹介をしようと思います. 機械学習プロジェクトでテストを考える時に,大きく3つあると思っています. ソフトウェアのテスト
2022-04-24 5431 words DEV ML
はじめに 最近,機械学習を使ったアプリケーションのバックエンドでどういった処理を行ってモデル作成などを行っているか気になったので,モデル作成時によく行われる非同期処理を FastAPI と RabbitMQ を用いて検証したお話になりま
はじめに 最近個人的に MLOps という領域に高い関心があって,日々情報収集をしたりしているのですが,各社が実務で取り組んでいる事例や MLOps の各領域で使用されている技術やツールなど個別の Tips が点在していて見つけるのが大
はじめに Step Functions で SageMaker のリソースを特にカスタムコンテナイメージで使う場合,単純に InstanceType として “ml.g4dn.xlarge” などの GPU マシンを設定するだけでは GPU を使った学習はできなくて,使いたいDockerfile に少し手を加える必要がありま
はじめに Step Functions で SageMaker ProceesingJob を使ってカスタムコンテナを実行した際に,その実行スクリプト内で ExperimentAnalytics の API を使用していたところ,「ValueError: Must setup local AWS configuration with a region supported by SageMaker.」というエラーが発生したので
はじめに 今回は,teamaya という個人プロジェクトで進めているデータ連携の話になります.コードは以下のリポジトリに置いてあるので,ご自由に使用下さい! 具体的には,手元にあるスプレッドシートのデータを
はじめに 最近,データエンジニアリングと MLOps の領域への関心が個人的に高まっていて,何か個人プロジェクトで出来ないかと考えていたところ,普段スプレッドシートで記録している家計簿のデータを使って,データエンジ
2021-12-07 1035 words POEM
はじめに Buy Me a Coffee というコーヒー1杯をクリエイター活動のサポートという形で寄付するサービスがあります.このサービスの存在は以前から他のエンジニアの個人ブログなどで知っていたのですが,@hurutoriy
はじめに 普段は Python の SciPy というライブラリを用いて,AB テスト実施後の2群間における有意差を調べるために検定を行っていますが,Python を使っていない or このようなライブラリに触れたことがない人でも簡単に検