Carpe Diem

備忘録

Embulk

EmbulkでMongoDBのデータをBigQueryへ

概要 ユーザの行動ログで利用しているデータがDBにあるので、それをまるっとBigQueryへ書き込む方法をEmbulkを使って説明します。 BigQueryにマスタデータを保存する理由は? 単純に行動ログに保存される関連データがIDのみで保存されていると、詳細が知りた…

Embulkの基本的な使い方

Embulkとは fluentdのバッチ版のようなツールで、データを一括転送したい時に利用します。 ref: GitHub - embulk/embulk: Embulk: Pluggable Bulk Data Loader. メリット 自前で実装すると面倒な 並列実行でパフォーマンスの最適化 validation dry-run エラ…