気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
tech.classi.jpエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント4件
- 注目コメント
- 新着コメント
fn7
“上記からAWS Glueを使い続ける意味もないので、アーキテクチャレベルで変えた方が良いと判断” DynamicFrameは使いにくく、柔軟な処理のためにはデータカタログを利用したpysparkのコード書くのがいいと思う。
fn7
“上記からAWS Glueを使い続ける意味もないので、アーキテクチャレベルで変えた方が良いと判断” DynamicFrameは使いにくく、柔軟な処理のためにはデータカタログを利用したpysparkのコード書くのがいいと思う。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWS GlueからAWS Batchにしたことで費用を75%削減した - Classi開発者ブログ
こんにちは、最近データエンジニア業を多くやっているデータサイエンティストの白瀧です。 これまでClas... こんにちは、最近データエンジニア業を多くやっているデータサイエンティストの白瀧です。 これまでClassiのデータ基盤は、Reverse ETLをしたり監視システムを導入したりとさまざまな進化をしてきました。しかし、Classiプロダクトが発展するとともにデータ量が増加し、これまでのデータ基盤では耐えられない状態に近づいてきました。 そこでデータ基盤の一部（DBからのExportを担う部分）のリアーキテクチャを実施したので、この記事で紹介したいと思います。 概要 Classiのデータ基盤では、Amazon RDSからAmazon S3へJSONで出力し、その後GCS→BigQueryという流れでデータを送り、BigQueryからもBIツールやReverse ETLなどで使っています。詳細は、Classiのデータ分析基盤であるソクラテスの紹介 - Classi開発者ブログを参照してください。
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
tech.classi.jp
tech.classi.jp
tech.classi.jp
tech.classi.jp
note.com/kenyahata
nigenige110.hatenablog.jp
xtrend.nikkei.com
anond.hatelabo.jp
www.bloomberg.co.jp
www.apple.com
www.ubuntulinux.jp
www.apple.com
togetter.com
techblog.enechain.com
www.drone.jp
www.nikkei.com
www.asahi.com
www.suribachisou.com
www.suribachisou.com
ameblo.jp/wxxhbtk-gz703am
2023/08/04 リンク