データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（@i_125）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc
アドプラットフォーム事業部 アドプロダクト部 データチームでアナリティクスエンジニアをしているucchi-です。普段は主に、pixiv Adsという広告ネットワークのデータ周りを開発しています。 ads.pixiv.net 今回は、pixiv Adsで採用している、Lookerの埋め込みダッシュボードについて紹介します。 はじめに ピクシブでは全社的にLookerを使用しています。Lookerを使うことで、BigQueryに保存されている品質の高いデータを気軽に分析することができ、社内の仮説検証や意思決定に役立っています。 一方で、Lookerは社内の分析用途だけではなく、社外へのデータ提供にも活用できます。 具体的な手段はいくつかありますが、pixiv Adsでは、「シングルサインオン（SSO）組み込み」という形式で、クライアント向けの広告管理画面にLookerのダッシュボードを埋め込ん
【コラム】GA4標準レポート、探索レポート、Looker Studioの使い分け 株式会社JADE 郡山 亮 発信元：メールマガジン2023年9月27日号より こんにちは！ 株式会社JADEでコンサルタントとして活動している郡山と申します。 普段はお客様がGA4を活用するための様々なコンサルティング、サポートをしています。 また、自社で開催しているウェビナーや、Search Central Live TokyoなどでGA4を活用するためのナレッジを発信しています。 TwitterやGoogle アナリティクス コミュニティでも個人的に活動していますので、どこかでご縁があればよろしくお願いいたします。 今回は「用途や目的に応じて、GA4のデータを、どのようなレポート・機能で集計すると使いやすいのか」というお話をさせていただきます。 GA4でデータを集計する機能や手法は様々あります。 どのよう
Looker Studioで新しいグラフ『タイムライン』が利用できるようになりました。 | DevelopersIO
先日2024年04月25日に更新されたLooker Studioのリリースノートにて、新しい可視化オプション「タイムラインチャート」が利用出来る旨がアナウンスされていました。 タイムラインチャートを使うと、イベントグループ間の関係を視覚化し、これらのイベントが起こったタイムスパンを比較することができるようになります。 当エントリではこの「タイムライン」チャートについて、必要な要件を確認し、実践データを使って可視化してみるところまでを紹介したいと思います。 目次 必要条件 Looker Studio: タイムラインチャート実践 まとめ 必要条件 タイムラインチャート作成には以下の情報が必要です。 行ラベル：各行のラベル文字。文字列型のディメンションとして指定。 開始日： タイムラインの開始日付。日付型のディメンションとして指定。 終了日： タイムラインの終了日付。日付型のディメンションとして
はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる（かもしれない）Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサービスでは、こうした組織管理を円滑にするような機能拡充がされています。 とはいえ、実は様々なデータをフル活用すると無料版でもできることは多くあります。今回は、そんな裏技的Tipsを5つ紹介しようと思います。 こんな方におすすめ Looker Studioの組
オウンドメディア担当者が知っておきたい GA4 × BigQuery 後編（寄稿：小川卓） - はてなビジネスブログ
株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 今回は、全2回で Google アナリティクス4（以下「GA4」) × BigQuery に関して紹介をしていきます。 後編となる第2回は、BigQueryとGA４の連携方法や、GA4のデータをより活用するための方法についてご紹介していきます。GA4 × BigQuery を活用することで、オウンドメディアの分析や効果の可視化に大きく役立つと思いますので、ぜひ参考にしてみてください。 なお、BigQuery内でGA4データがどのように保存されているかなど、データ構造に関しては本記事で詳しく触れませんのでご理解いただければ幸いです。 BigQueryとGA4の連携方法 BigQueryのセットアップ Google Cloudのアカウントを作成 BigQueryのプロジェクトを作成する GA4からBigQueryにデ
これはエムスリーAdvent Calendar 2023 の10日目の記事です。 こんにちは、エンジニアリンググループの石塚です。最近は年明けに控えている結婚式という大イベントに向けてダイエット中でスポーツジムへ通い、有酸素運動するのと並行して食事制限をして追い込んでいる毎日です。2ヶ月ほどで6kg弱の減量を目標に地道に日々目標をスプレッドシートにまとめながら追い込んでます。(今の所良いペースです。) 今回は、弊社で利用しているLookerというBIツールを利用しているなかで発生したつらみの共有と対策について共有します。少しニッチな内容ですが、自分自身が調べているときに同事象で苦しんでいるようなブログ記事が見当たらなかったこともあり、ニッチな人を対象に有益な内容になれば幸いです。 11/6からの体重減少とランニング累計の記録をグラフにしました。 Lookerとは？ デプロイに成功したのに想
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜 - ZOZO TECH BLOG
こんにちは、MA部MA開発1ブロックの齋藤（@kyoppii13）です。 8/29-8/31に開催されたGoogle Cloud Next '23へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3日間に渡って開催されたGoogle Cloud Nextの会場はモスコーニ・センターという大きな展示施設で、メインルームではキーノート、他ルームでセッションが発表されるというものでした。発表以外にもワークショップやたくさんの企業ブースがあり大変賑わっていました。 Moscone Center Ma
Looker System Activity を低コストなサーバレスイベント駆動パイプラインで BigQuery へ取り込む - LegalOn Technologies Engineering Blog
はじめに 株式会社LegalOn Technologies でデータエンジニアリングをしている 田中 晶 です。 LegalOn Technologies では、データドリブンな意思決定をするために、データ分析基盤や BI ツールの整備を行い、プロダクトに関わる多くの社員がデータを活用できる状態を維持し、さらなる活用を目指しています。 過去の啓蒙活動や整備の甲斐もあり、現在弊社で利用しているBIツールである Looker のライセンスは多くの社員に付与されており、またその活用も専門職だけでなく、営業部門の活用率も高いという利用率の計測結果も出ているほどです。 このように活用されているデータ分析基盤ですが、より高いデータの利活用水準を目指すためには、利用者や用途に関して、長期的に柔軟な利用状況の分析を行う必要がでてきました。 そこで幅広く Looker の活用度を測定するために使用状況やパフ
Yappliのプロダクトオーナーであり、データ関連サービスの立ち上げや導入推進も手がけるプロダクト開発本部 開発企画部 マネージャーの古屋陽介氏は、ヤプリのミッションは「デジタルを簡単に、社会を便利に」という言葉に集約されていると説明する。 「専門知識不要のノーコードの製品を提供して、企業のデジタル化を簡単にし、より多くの産業課題を解決していく。また企業の生産性を高めて、結果的に人々の生活や仕事が便利になる製品を提供する――。これがヤプリのミッションです」（古屋氏） Yappliはノーコードでのアプリ開発だけでなく、アプリの運用やログ分析の機能も備えるプラットフォームだ。加えて、アプリとユーザー分析を起点に、よりユーザーエンゲージメントを深めるための施策を実行できるYappli CRMサービスも提供している。いずれにおいても、アプリから取得できるさまざまなログデータ（行動ログ、イベントログ
Looker StudioレポートごとのBigQueryクエリ課金額を調べる方法 - G-gen Tech Blog
G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法を理解する INFORMATION_SCHEMA.JOBS の構造 クエリ ID からのレポート特定 検索ボックス URL 集計クエリ その他の Tips はじめに やること 当記事では、Looker Studio レポートごとに、そのレポートからのクエリが BigQuery 課金のうちの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dbt導入によるデータマート整備 - ZOZO TECH BLOG
Lookerの埋め込みダッシュボードを社外提供する上での課題と解決策 - pixiv inside
【コラム】GA4標準レポート、探索レポート、Looker Studioの使い分け - コラムバックナンバー - アナリティクス アソシエーション
Looker Studioで組織内に魔境を作らないための裏技的Tips集 - Qiita
Looker APIを活用して確実なデプロイを実現させる - エムスリーテックブログ
ノーコードアプリ基盤のYappli、そのデータ活用拡大を支えるのは「頑丈なtrocco」だった？ (1/2)