dbt Core を GCPのCloud Run JobsやBatchで実行する方法
はじめに dbtを用いたデータ基盤運用がお盛んになったなと個人的に感じます。 よく記事で見かけるのが、DWH製品としてSnowFlake, そしてデータ変換にdbt Cloudでしょうか。 そして DWH製品としてSnowFlake, そしてデータ変換にdbt core を ECS Fargateに乗せてサーバレスにやる方法も最近記事で見ました。 あとは dbt core を AirFlow(Cloud ComposerやMWAA含む)で実行する方法もしばしばみかけます。 しかしどれも自分には、あまりFitしませんでした。なぜならば求めている要件としては以下だからです BigQueryの案件が多いのでBigQueryにクエリ投げれればOK 1日1回のバッチ回せれば良い スケジュール設定できればOK dbtドキュメントもみたい 無課金or微課金(ストレージ料やクエリスキャン料除く)ですませた
AWS Cloud Development Kit (AWS CDK)でECS環境を構築してみた | DevelopersIO
AWS上でさくっとコンテナを動かしたくて、AWS Cloud Development Kitに辿り着きました。ECSのちょっとした検証でも、ネットワークだったりIAMだったりのリソースも必要で準備に少々時間がかかっていました。このツールをつかうと、AWSのベストプラクティスに従った設定を内包しており、大部分をよしなにやってくれるようなので今回はこちらを利用して、ECSを構築してみたいと思います。 こんにちは、坂巻です。 AWS上でさくっとコンテナを動かしたくて、AWS Cloud Development Kit (以下、AWS CDK)に辿り着きました。ECSのちょっとした検証でも、ネットワークだったりIAMだったりのリソースも必要で準備に少々時間がかかっていました。 このツールをつかうと、AWSのベストプラクティスに従った設定を内包しており、大部分をよしなにやってくれるようなので今回はこ
Google Cloud Next 2019 in SF , サーバーレス関連発表まとめ
[18 分 20 秒 ~] Cloud Runの概要とデモ、特に [34 分 00 秒 ~] のオートスケーリングのデモはCloud Runの優位性が分かる内容ですさらに Cloud Run に全振りしたセッションとしては以下がオススメです。Cloud Run のリソースモデルや、またCloud Tasks や Cloud Scheduler との連携、さらに具体的なユーザー事例まで盛り沢山です。また、このセッションを見る限り東京でも Cloud Run がすぐに使えるようになりそうです。 [36 分 50秒 ~] VELOLIA 社の事例紹介現状は何に使えそう？Knative をベースにしているものの、今のところ Eventing は Cloud Run と Cloud Run on GKE 両方ともにサポートされておらず、当面は Web や API をホストする環境として使うことになる
あらゆるデバイスからの対面ミーティング | Zoom
Zoom Contact Center ビデオ向けに最適化されたオムニチャンネル クラウド ソリューションです。
CloudCheckr: Cloud management for FinOps & governance - Spot.io
Align your cloud investment with business growth to strategically drive your organization’s cloud journey Optimize your cloud A foundational solution for FinOps, CloudCheckr from Spot by NetApp is a robust cloud management platform designed to support large enterprise organizations and managed service providers (MSPs). CloudCheckr enables you to better manage and reduce cloud costs, optimize resou
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more
The Static CMS with GUI for Secure, Fast, and GDPR Compliant Websites.
... my tech lead on Publii: “it’s all so intuitive… something must be wrong ... ... really impressed and loving the UI and ease of integration with Github ... ... I've been interested in static sites for a while now. Publii just caught my eye. The interface is 🔥. Even non-devs can rock this! ... ... a very friendly and optimized solution for creating ultra-fast websites. Best alternative to your
$10 Showdown: Linode vs. DigitalOcean vs. Amazon Lightsail by Josh Sherman
VPS Showdown – May 2022 – DigitalOcean vs. Lightsail vs. Linode vs. UpCloud vs. Vultr Before we get to the metrics, there is big news this month. Firstly, DigitalOcean recently announced their “serverless functions” product being beta released. In the same fashion as AWS Lambda, GCP Cloud Functions, and Azure Function, if you are familiar. Additionally, Ubuntu 22.04 LTS was released. I planned to
Cloudcraft – Draw AWS diagrams
Visualize your real-time AWS or Azure architectures and assess cost with professional diagramsTry Cloudcraft FreeRequest a Demo Whether you’re building a cloud architecture from scratch, documenting your current environment, or looking to optimize cloud cost, Cloudcraft allows you to visualize and communicate your architecture with ease. Build diagrams from scratchCreate a professional architectur
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DataCrunch - GPU instances and serverless inference
Globally Distributed Cloud Object Storage
Video AI and intelligence | Google Cloud
Google Prediction API — Google Developers
Identity-Aware Proxy (IAP) | Google Cloud
Running Costs - Cushion
GitHub - wallix/awless: A Mighty CLI for AWS