dataPlatformの検索結果1 - 3 件 / 3件

• あとで読む

  メルペイDataPlatformのCDC DataPipeline | メルカリエンジニアリング

  • 62 users
  • engineering.mercari.com
  • テクノロジー
  • 2022/04/21

  こんにちは、メルペイ DataPlatformチーム(@rerorero, @darklore, @laughingman7743)です。 この記事は、Merpay Tech Openness Month 2022 の14日目の記事です。 今日はメルペイ DataPlatformで取り組んでいるCDCパイプラインについて紹介します。 CDCパイプラインとは何か CDCとは Change Data Capture の略称で、データベース内のデータの変更（新規作成、削除、変更など）を追跡するシステムです。データソースで発生した変更は、ニアリアルタイムでデータシンクに反映させることができます。 CDCの実現方法にはいくつかあるのですが、メルペイ DataPlatformでは以下の2つの方法を使ったパイプラインを構築しています。 Striim社のブログ がよくまとまっていたので、こちらから引用させ

  • Debezium
  • kafka
  • BigQuery
  • mysql
  • あとで読む
  • アーキテクチャ

  
• あとで読む

  Eurekaの DataPlatform開発状況と再現性の実現

  • 12 users
  • speakerdeck.com/t_kurimura
  • テクノロジー
  • 2020/02/05

  使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs

  • データ基盤

  
• あとで読む

  BigQueryとAirflowを活用したDataPlatform運用の10のケース・スタディ

  • 9 users
  • medium.com
  • テクノロジー
  • 2019/12/11

  この記事は Eureka Advent Calendar 2019 11日目の記事です。 10日目は スーパーCompSREエンジニア恩田による「AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話」でした。 こんにちは。BIチームのデータアナリストの栗村(@t-kurimura)です。主にPairsの機能に関する分析を行っていますが、最近は分析を行うまでのデータを整えるデータアーキテクト的お仕事の比率も増えてきています。 さて、この記事では弊社のDataPlatform運用において、試行錯誤してきた中での運用の学びをケース・スタディ的にご紹介します。 エウレカのDataPlatformの現状前提として、弊社では3つの層にわけて、アプリケーションログやマーケティングに関連するデータをより分析しやすいデータへと加工しています。 Dataをほぼそのまま保存しているDataLa

  • データ分析
  • データ基盤
  • bigQuery
  • データ
  • あとで読む