Fractal Prologue 徒然なるままに...データと遊ぶ
Posts with the tag DEV:

スプレッドシートから BigQuery へ Digdag を使ったデータ連携

はじめに 今回は,teamaya という個人プロジェクトで進めているデータ連携の話になります.コードは以下のリポジトリに置いてあるので,ご自由に使用下さい! 具体的には,手元にあるスプレッドシートのデータを

teamaya という個人プロジェクトをはじめてみた

はじめに 最近,データエンジニアリングと MLOps の領域への関心が個人的に高まっていて,何か個人プロジェクトで出来ないかと考えていたところ,普段スプレッドシートで記録している家計簿のデータを使って,データエンジ

Tensorflow の Callback 関数をカスタマイズ

はじめに AWS の SageMaker 上で SageMaker Python SDK を使用して独自の機械学習モデルを作成することができますが,その際に学習や評価が行える Estimator という SageMaker の interface があります. 一方で,SageMaker Experiments で実験管理を行いたい場合には,この Estimator に

VSCode と git を連携して push できるようにするまで

はじめに 今まで仕事では,開発環境として IntelliJ を使っていたのですが,最近は VSCode の人気が高く Extensions も便利なものが多くあるということで,個人的な作業をする時は VSCode を使ってみようと思って使っています. そんな中で,タイトル

RuntimeError: CUDA error: Device-side assert triggered の解決方法

はじめに Pytorch でモデルを作成していた際に,「RuntimeError: CUDA error: device-side assert triggered」が発生し,原因がよくわからなかったので,調べたことをメモしておきます. エラー発生の原因 調べてみると,原因と

Hugo を使ったポートフォリオ作成

ポートフォリオ作成 こちらの Qiita の記事で Hugo を使って簡単にポートフォリオを作成できるというのを見かけたので,以前まで使っていた personal page を移植しました. 移植した際に少し詰まった部分があるので,Tips としてこの記

Excel Binary Workbook を Python で処理

はじめに 今回は,先日初めて見たファイル形式の Excel Binary Workbook (xlsb) に関して,python で csv にパースする話です. .xlsx はよくある Excel ファイルの形式ですが,それのバイナリー形式である .xlsb に関しての話です.(今まで見たことなか