Fractal Prologue 徒然なるままに...データと遊ぶ

「Azure OpenAI Service ではじめる ChatGPT/LLM システム構築入門」を読んでの書評

はじめに 2024年1月24日に発売される「Azure OpenAI Service ではじめる ChatGPT/LLM システム構築入門」を著者の一人である立脇さんから献本頂いたので,書評を書いていきます! 改めて,出版おめでとうございます🎉 Azure OpenAI Serv

機械学習パイプラインの作り方を改めて考えてみる

はじめに もう今年もあと数週間ということで,1年があっという間に終わってしまいますね😅 この記事は MLOps Advent Calendar 2023 の15日目の記事になります!アドベントカレンダーの日付を選ぶ際についつい自分の好きな数字を選びがち

Netflix の事例から RecSysOps を学ぶ

はじめに Netflix は RecSys のトップランナーの1社であり,そこで行われているオペレーションは非常に興味深く気になっていたので,2022年のテックブログで紹介された RecSysOps に関する取り組みからノウハウを学ぼうと思い,記事の

Vertex AI Pipelines のサービスアカウントで少しつまずいたので整理した

はじめに Vertex AI Pipelines のサービスアカウント周りが分かりづらかったのと,GCP の他のサービスへの権限付与(IAM ロールの付与)の方法について備忘録として残しておきます. Vertex AI Pipelines に関連する3つのサービスアカウント Vertex

ANN ライブラリの Annoy で build index する時に Illegal Instruction Error が発生した

はじめに Annoy という Spotify が開発している Python 製の ANN (Approximate Nearest Neighbors) のライブラリがあり,それを使ってレコメンドアイテムの類似度を計算する機会があったのですが,コンテナ化したものを Vertex AI Pipelines 上で動かしていたところ,Fatal Python error:

データフレームでリストを ndarray にした値を csv ファイルで保存する場合の注意

はじめに Python のデータフレームを使ってレコメンドリストを生成した場合に遭遇した内容で,備忘録がてら筆を取ってます.内容としては,リストを ndarray に変換して,それらの値が入ったデータフレームを csv ファイルとして保存

検索に対する感想 - 検索基盤から検索エンジンの改善を始めて半年経て

はじめに 最近,スタバで期間限定で販売しているの冬の新作「バターキャラメルミルフィーユ ラテ」のミルクをアーモンドミルクに変更して飲んだら激ウマでハマってしまいました笑.皆さんも是非飲んでみて下さい!(ち

Step Functions から Glue のジョブパラメータを指定して実行する方法

はじめに Glue を使ってデータ連携する際に,例えばデータ連携したい期間を変えたり,環境情報を渡したり,などのパラメータを与えて実行したい場合の備忘録です.特に,Step Functions (SFn) 経由で Glue を実行する場合に,インプッ

Step Functions での Opensearch Package の更新は直列or並列?

はじめに OpenSearch の Package 更新,つまりユーザー辞書やシノニム辞書の更新を Step Functions で行う場合に,直列で行うのが良いか並列で行うのが良いかメモ程度の備忘録として残しておきます. 結論としては,OpenSearch の Package 更新は

Airbyte でスプレッドシートのデータを BigQuery に連携

はじめに 以前から気になっていた OSS の Airbyte という EL に特化した Data Integration ツールを使ってみたかったので,今回はこれを使って以前 Embulk で実装していたスプレッドシートから BigQuery へのデータ同期処理と同じことができるか試してみた話に