昨年12月に Dataform の Google Cloud 加入が発表 されて以来, 関心を持って調べています. Dataform は BigQuery などのデータウェアハウス上で SQL を中心としたデータ変換パイプラインを構築するための仕組みです. 先日は Dataform で Google Analytics 4 の BigQuery Export データ を変換するパイプラインを作ってみたりもしました（GitHub: terashim/dataform-google-analytics-4-example）. Dataform は非常に強力なツールで, 簡単な SELECT 文を書けば CREATE TABLE 文や MERGE 文などデータ更新用のクエリを自動生成してくれます. しかし詳しく調べていくにつれて, より本格的なパイプラインを構築するにはやはり BigQuery
VSCodeの拡張機能としてJupyter NotebookをベースにJavaScript/Mermaid/SQLなど多言語対応にした「Polyglot Notebooks」が正式リリース
VSCodeの拡張機能としてJupyter NotebookをベースにJavaScript/Mermaid/SQLなど多言語対応にした「Polyglot Notebooks」が正式リリース Jupyter Notebookはシンプルなエディタ画面にPythonやScala、Rなどのコードを打ち込んですぐに実行できる、インタラクティブなコード実行環境で、特にデータサイエンティストなどで重宝されているツールです。 結果も同じNotebook上に表やグラフ形式で表示可能なのに加えて、Markdown/LateX/HTMLなどを記述することでリッチなテキスト表現と画像や動画の埋め込みなどもできます。 このJupyter Notebookをベースに、C#やF#、JavaScript、Mermaid、SQLなど、さらに多くのプログラミング言語やマークアップ言語への対応を行ったVisual Studio
名古屋大学は6月28日、情報システムに関する質問を受け付けるシステムが不正アクセスを受け、メールアドレス2086件が漏えいした可能性があると明らかにした。攻撃対象サーバの挙動を分析して内部情報を探る「ブラインドSQLインジェクション」を受けたとしている。 攻撃があったのは5月10、14、15日。システム内部には、質問者の連絡先メールアドレスが保存されていたが、悪用は確認されていないとしている。 データベースを不正に操作するSQLインジェクション攻撃の中でも、データベースの応答時間やステータスから間接的に情報を収集するブラインドSQLインジェクションという攻撃手法で不正アクセスされたとしている。脆弱性は修正済み。 今後は、WAF（Webアプリケーション用ファイアウォール）の導入を検討するとともに、サーバ管理や情報セキュリティに関する教育研修を強化して意識向上を図るとしている。 関連記事 矢野
ロマン構成が動いたので紹介します。 コード: https://github.com/mizchi/absurd-sql-example-with-typeorm デモ: https://heuristic-perlman-94f8f4.netlify.app tldr Steam の某クリッカーゲームをやってたら放置ゲーでも作りたい気分になってきた。 複雑なデータを管理するならブラウザ内に本物の sqlite を持ってきたい sqlite は持ってこれたけど TS の中で 生 SQL 書くのがだるかった(補完支援がない)ので ORM でラップしたい Typeorm + absurd-sql の構成を試したら色々大変だったけど動いた つまりブラウザでこのコードが動く。 // ... @Entity() class User { @PrimaryGeneratedColumn() id: nu
調査会社の矢野経済研究所は6月24日、同社のWebサイトに不正アクセスを受け、メールアドレスなど最大10万1988件が漏えいした可能性があると発表した。データベースを不正操作する「SQLインジェクション」を受けたという。 不正アクセスがあったのは「www.yano.co.jp」と「www.yanoresearch.com」のサーバ。漏えいした可能性があるのは、会員制サービス「YRI WEBメンバー」「YDB会員」のメールアドレスと、暗号化した状態のパスワード。漏えいした情報の悪用は確認していない。調査で得られた機密情報やクレジットカード情報などは、別のシステムで管理していることから漏えいしていないという。 同社は事態を受け、2つのサイトや関連するサイトを一時閉鎖。漏えいした可能性がある情報を使った不正ログインを防ぐとして、一部のパスワードを初期化した。Webサイトの閉鎖中、問い合わせや注文
無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場
クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力
はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する方法についてご紹介します。 この記事はこんな人にオススメ BigQuery の SQL のみで LLM を使った問合せシステムを構築したい BigQue
この記事は、Merpay Tech Openness Month 2023 の1日目の記事です。 背景 メルペイのバックエンドエンジニアのa-r-g-vとsminamotです。私達はメルペイ加盟店の管理システムを開発しているチームに所属しています。私達のチームには、複雑な条件を持つBigQueryのSQLクエリがいくつか存在しています。例えば、加盟店管理に関する費用計算などの計算クエリのように、外部環境の変化によって要件が定期的に変更され、マイクロサービス化などのシステム化が難しいクエリがあります。このようなクエリは複雑であるだけでなく、テスタビリティにも問題がありました。そのため、開発者がテストを実施することが困難になっており、クエリの変更を安心して行うことができない状態にありました。 クエリの複雑性 抽出条件の複雑さと複数のマイクロサービスへの依存により、クエリが複雑になっていました。
GitHub - electric-sql/pglite: Lightweight Postgres packaged as WASM into a TypeScript library for the browser, Node.js, Bun and Deno
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GraphQL has a reputation for its N+1 problem which can often happen when implemented naively. This leads to a lot of us trying to solve the issue of data fetching with GraphQL in the most efficient way possible. Besides the popular Dataloader approach, another very common way of tackling this problem is by taking a GraphQL query, and coming up with the exact SQL needed to resolve it: // example fr
2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Deep Dive into Spark SQL with Advanced Performance Tuning」に登壇したのは、Databricks Inc.の上新卓也氏。講演資料はこちら Spark SQLの仕組みとパフォーマンスチューニング 上新卓也氏：それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQ
GitHub - tobymao/sqlglot: Python SQL Parser and Transpiler
SQLGlot is a no-dependency SQL parser, transpiler, optimizer, and engine. It can be used to format SQL or translate between 21 different dialects like DuckDB, Presto / Trino, Spark / Databricks, Snowflake, and BigQuery. It aims to read a wide variety of SQL inputs and output syntactically and semantically correct SQL in the targeted dialects. It is a very comprehensive generic SQL parser with a ro
SQL Polyglot
Run a query and get results from: postgres:16.2 mysql:8.1 sqlite:3.45 mssql:2022 mariadb:11.2 clickhouse:23.10 duckdb:0.10 Write a query below or pick one: columns join using exists group by rollup window percentile fetch upsert except json recursive cte information schema arrays strings select dense_rank() over w as erank, first_name, dep.name as dep_name, salary from employee as emp join departm
GitHub - sql-js/sql.js: A javascript library to run SQLite on the web.
const initSqlJs = require('sql.js'); // or if you are in a browser: // const initSqlJs = window.initSqlJs; const SQL = await initSqlJs({ // Required to load the wasm binary asynchronously. Of course, you can host it wherever you want // You can omit locateFile completely when running in node locateFile: file => `https://sql.js.org/dist/${file}` }); // Create a database const db = new SQL.Database(
TL;DR: DuckDB-Wasm is an in-process analytical SQL database for the browser. It is powered by WebAssembly, speaks Arrow fluently, reads Parquet, CSV and JSON files backed by Filesystem APIs or HTTP requests and has been tested with Chrome, Firefox, Safari and Node.js. You can try it in your browser at shell.duckdb.org or on Observable. DuckDB-Wasm is fast! If you’re here for performance numbers, h
「データ整備人（仮）」という、「データベースからSQLを書いて抽出する」という仕事についての考察というか「なにこれ？」という話 → データアーキテクトと呼ぶことにしよう | データ分析とインテリジェンス
「データ整備人（仮）」という、「データベースからSQLを書いて抽出する」という仕事についての考察というか「なにこれ？」という話 → データアーキテクトと呼ぶことにしよう 追記：データアーキテクトと命名して改めて整理した この役割については「データ整備人（仮）」ではなく「データアーキテクト」としてエンジニアとアナリストの間で兵站を担う「データアーキテクト」は1つの役割として確立しておいた方が良いと思うので整理してみたにまとめた。 なぜか誰もやりたがらない仕事 営業やマーケターなど、主にビジネスサイドから依頼を受け、必要なデータを集計・抽出して渡す役割がある。 この仕事をうまく表現する言葉もないためか、データに関わる人はもちろん求人情報含めて非常に混乱しているように見受けられる。 そこで、この役割について思うところを書いてみる。正直なところまだ自分の中でもまとまりきっていないので雑多な内容にな
GitHub - cmoog/vscode-sql-notebook: Open SQL files as VSCode Notebooks.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ウェブログからSQLで指標を計算する8構文～GA4のBigQueryを題材に – marketechlabo
Googleアナリティクス4プロパティが登場し、誰でもBigQueryにログを出力できるようになった。ログ分析を始める環境は揃ったわけだが、ログ分析のノウハウはあまり世に出ていない。SQLを使ってこれらを分析する方法を少し紹介する。どんな高度なログ分析をするにしても、これが基本となる。 ウェブ分析の指標 ウェブ分析の基本は ページビュー数 セッション数 人数 のカウントである。複雑な分析も、結局カウントしているのはこの3つの指標に集約されることが多い。Eコマースになると購入金額の合計なども入ってくることはある。 そしてこれに「○○した」という条件が付いて イベント○○が発生した回数 ○○したページビュー数 パラメータ△△の値が□□だったイベント○○が発生した回数（ページ□□のページビュー数） ○○したセッション数 ○○した人数 をひたすらカウントする。たとえば 資料ダウンロードボタンをクリ
電通デジタルの中野です。 今回は、Google Analytics 4（GA4）をBigQueryで分析する際によく使うSQLをまとめました。 自身の業務でもよく使用するため備忘録的な側面もありますが、参考までに活用いただければと思います。 前提BigQueryに連携したGA4データにはいくつか前提条件があります。 その中で最も大きな点は、GA4のレポート画面と数値が一致しない場合がある、ということです。 詳細については、こちらのページに記載があります。 ユーザー数やセッション数といったユニーク数を算出する場合、データ量が多いと計算に時間がかかります。そこでGA4レポートではHyperLogLogというアルゴリズムを使用して近似値を算出しています。 精緻な値を計算する場合は、現状BigQuery以外に手段がありません。こういった制約からもBigQuery上でSQLを使った分析をする場面は増
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
SQL ServerのCDCを用いた加熱商品の販売イベントにおける負荷軽減の取り組み - ZOZO TECH BLOG
こんにちは、SRE部の廣瀬です。 本記事では、ZOZOTOWNでカートに商品を入れる際に使われているデータベース群の内、SQL Server（以降、カートDBと呼ぶ）にフォーカスします。ZOZOTOWNでは数年前から、人気の商品（以降、加熱商品と呼ぶ）が発売された際、カートDBがボトルネックとなる問題を抱えています。様々な負荷軽減の取り組みを通じて状況は劇的に改善されていますが、未だに完璧な課題解決には至っていません。 そこで今回は、加熱商品の発売イベントにおける負荷軽減の取り組みを振り返ります。また、直近の取り組みとして、SQL ServerのCDCを用いた新たな負荷軽減の検証内容をご紹介します。 背景 - カートDBのボトルネックについて 加熱商品の発売イベントに関する対策について、最初に言及した記事としては以下が挙げられます。この記事では人気の福袋商品を加熱商品として紹介していますが
You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB
You now can use PartiQL (a SQL-compatible query language)—in addition to already-available DynamoDB operations—to query, insert, update, and delete table data in Amazon DynamoDB. PartiQL makes it easier to interact with DynamoDB and run queries in the AWS Management Console. Because PartiQL is supported for all DynamoDB data-plane operations, it can help improve the productivity of developers by e
サンリオエンターテイメントは6月5日、同社のWebサイトに不正アクセスを受け、メールアドレス4万6421件が流出した可能性があると発表した。システムが想定しない「SQL文」を何らかの方法で実行させ、利用しているデータベースを不正に操作する「SQLインジェクション」を受けたという。 流出した可能性があるのは、会員制サービス「ピューロランドファンクラブ」の会員と仮会員のメールアドレス。クレジットカード情報や氏名などは流出していないという。 事態を受け、サンリオエンターテイメントは自社サイトのセキュリティを見直し、警視庁へ詳細の報告も行った。今後はサーバのセキュリティ強化にも取り組むとしている。 情報が流出した可能性のあるユーザーに対しては「メールや郵便などで個人情報を聞くことはないため、不審なメールは開封を控えるなど注意してほしい」と呼び掛けている。 関連記事 ワクチン予約システムで話題の「S
eventid venueid catid dateid eventname starttime 4410 7 9 1836 Linkin Park 2008-01-10 14:00:00 3044 245 7 1843 The Frogs 2008-01-17 15:00:00 2428 243 7 1854 The Frogs 2008-01-28 19:00:00 2360 238 7 1856 Macbeth 2008-01-30 19:30:00 8596 112 9 1859 Missy Higgins 2008-02-02 15:00:00 2911 231 7 1873 November 2008-02-16 19:30:00 1278 247 6 1889 High Society 2008-03-04 20:00:00 6583 123 9 1891 Black Eye
TOPSIC SQL CONTEST
SQLスキルを競うコンテストサイトです。コンテスト時間内に出題された問題に対する解答（SQL文）を作成し、提出していく形式になります。誰でもお気軽にご参加いただけます。
Arctype SQL Client
Build beautiful charts in 2 clicks. Combine multiple charts in a Dashboard.
GitHub - max-sixty/prql: PRQL is a modern language for transforming data — a simple, powerful, pipelined SQL replacement
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
From Web SQL to SQLite Wasm: the database migration guide | Blog | Chrome for Developers
Required background The post Deprecating and removing Web SQL announced the deprecation of the Web SQL database technology. While the technology itself may be deprecated, the use cases addressed by the technology very much are not, so the follow-up post SQLite Wasm in the browser backed by the Origin Private File System, outlines a replacement set of technologies based on the SQLite database, comp
新しいSQLフォーマッターであるuroboroSQL-fmtをリリースしました | フューチャー技術ブログ
コアテクノロジーグループの山田です。 先日、新しいSQLフォーマッターであるuroboroSQL-fmtをリリースしました 🎉 このツールは弊社が公開しているPostgreSQL向けのSQLコーディング規約に基づき、SQL文をフォーマットするツールです。 弊社でのSQLフォーマッター開発の取り組み元々弊社ではuroboroSQL Formatter（以下uroboroSQL Formatterを旧版、uroboroSQL-fmtを新版と呼ぶ）というSQLフォーマッターを公開していました。旧版は 字句解析して得られたトークンを基にフォーマットするという設計になっていたため、SELECT句のエイリアス補完といった文法を考慮する必要のある機能の追加が困難Pythonで書かれておりVSCodeの拡張機能として動作させるのが難しいという課題を抱えており、それを解消するため新たなSQLフォーマッター
What is Distributed SQL?Distributed SQL is a category of relational databases that combines the core features of traditional SQL and NoSQL systems, being strongly consistent while natively providing ACID transactional support across data centers, availability zones, and regions—in the cloud. It provides a single logical relational database deployed across a cluster of network servers. Distributed
GitHub - tconbeer/harlequin: The SQL IDE for Your Terminal.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
BigQueryがDocument AIを統合。請求書など画像データの内容をSQLで検索可能に、AIが画像から項目や数値を自動抽出
BigQueryがDocument AIを統合。請求書など画像データの内容をSQLで検索可能に、AIが画像から項目や数値を自動抽出 Google Cloudは、大規模並列データ処理サービスのBigQueryに、画像データから自動的に内容を抽出するAI機能「Document AI」を統合したと発表しました。 Document AIは、請求書や領収書、パスポート、契約書といったドキュメントの画像データを与えると、その項目と内容を生成AIによって自動的に抽出する機能を提供します。 BigQueryがDocument AIを統合することで、BigQueryからSQL文を用いてドキュメントの画像データ群に対して問い合わせが可能になります。 例えば、Google Cloud Storageに請求書の画像スキャンをまとめて保存しておき、BigQueryで今月の日付の請求書の合計金額をSQLで求める、など
超入門SQL 初心者でも理解できるCOUNT()とSUM() ─ グルーピングと集約関数の基本｜ハイクラス転職・求人情報サイト AMBI（アンビ）
超入門SQL 初心者でも理解できるCOUNT()とSUM() ─ グルーピングと集約関数の基本 以前に掲載して好評を博している「SQL入門」の続編です。前回は基本的なSELECT文を解説しましたが、今回は簡単な集計に挑戦してみます。執筆は前回と同じく、日本MySQLユーザ会副代表の坂井恵さんです。 社内に蓄積された大量のデータを、エンジニア以外のスタッフが自分の手で抽出し、集計できる環境を手にする機会も増えてきました。ビジネスの現場にいるメンバーが、自らSQLを使用してデータ操作を行うことができれば、ほしい情報をスピーディーに利用できます。この記事ではそういった「エンジニアではないがSQLを利用できる環境にいる」方に向けて、SQLの便利な集計操作をいろいろと紹介していきます。 集計の基本: COUNT(*)関数で件数を取得する SQLの集計処理入門: GROUP BYによるグルーピング グ
Team82 Research {JS-ON: Security-OFF}: Abusing JSON-Based SQL to Bypass WAF Executive SummaryTeam82 has developed a generic bypass of industry-leading web application firewalls (WAF). The attack technique involves appending JSON syntax to SQL injection payloads that a WAF is unable to parse. Major WAF vendors lacked JSON support in their products, despite it being supported by most database engine
Cloud Spanner as a SQL System GCPUG Cloud Spanner Day @apstndb
ローカルでSQLを気軽に実行できる環境を構築する with MySQL, Sequel Pro Jul 9, 2019 Tweet MySQL SQL 非ITエンジニアの友人から「データ分析の部署に移動するのでSQLを勉強したいんだけど、なにか良い勉強方法ない？」と聞かれたので安定のミック本を勧めたんだが、ローカル環境構築で詰まってしまっていたので、できる限りわかりやすくローカル環境の構築方法を書こうと思う。 ※ ターミナルってなに？とレベルの初心者向けの記事です 環境 ※ Windowsの方はごめんなさい 目次 ターミナルからMySQLをインストールする ターミナルの起動 Homebrewのインストール MySQLのインストール MySQLの設定とサンプルデータのインサート MySQLの起動とセキュリティ設定 MySQLにサンプルデータをインサート Sequel Proを使って、ローカル
GitHub - adelsz/pgtyped: pgTyped - Typesafe SQL in TypeScript
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub Projects (beta)のデータをSQLでクエリ・更新できるツールを作った - Write and Run
これは KOBA789 日記 Advent Calendar 2021 - Adventar 21日目の記事です。 GitHub Projects (beta) みなさん GitHub Projects (beta) は使っていますか？ 私はめっちゃ使っています。 しかし beta ということもあってまだまだ使いづらかったり機能が足らなかったりすることがありますよね？ マウスでポチポチしながら、SQL で操作できたらラクなのになぁと妄想したりもします。というわけで作りました。 ghsql GitHub Projects (beta) のデータを SQL でクエリ・更新できるツールを作りました。SELECT はもちろん、UPDATE や DELETE もできます（INSERT は未実装）。 github.com インストール まだ crates.io とかには公開してないので、git clo
Welcome to our repository of data models. Check out the older data models created by Barry Williams over the years, we are trying to continue what he started many years ago. Welcome to our database design community! Discover how to build MS Access databases, SQL Server design, and explore data models from many different industries. You will learn how to organize and structure data, optimize your b
Google、Lookerの買収完了を発表。ビッグデータ分析ツールとして引き続きAmazon Redshift、Azure SQL、Oracle、Teradataなどをサポートしていくと表明
Google、Lookerの買収完了を発表。ビッグデータ分析ツールとして引き続きAmazon Redshift、Azure SQL、Oracle、Teradataなどをサポートしていくと表明 GoogleはLookerの買収手続きが完了したことを発表しました。 Today, Google has completed its acquisition of @LookerData. Together, we’re excited to solve business problems for customers across all industries, wherever they are—be it on Google Cloud, in other public clouds, or on premises. Learn more → https://t.co/4AtRXjeT1t pic
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery 上でデータ変換パイプラインを構築するための SQL の書き方 | terashim.com
名古屋大学に不正アクセス 「ブラインドSQLインジェクション」攻撃でメアド2086件漏えいか
typeorm + absurd-sql on Browser のロマン構成
矢野経済研究所、Webサイト一時閉鎖 SQLインジェクション受けメールアドレスなど10万件以上漏えいか
BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する
GoによるSQLクエリテストの取り組み | メルカリエンジニアリング
On GraphQL-to-SQL
Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part1
DuckDB-Wasm: Efficient Analytical SQL in the Browser
GA4データの分析用SQLまとめ｜Dentsu Digital Tech Blog
GitHub - joereynolds/sql-lint: An SQL linter
サンリオ子会社に不正アクセス、メアド4万6000件流出か SQLインジェクション攻撃で
自然言語からSQLのクエリ生成ができるAmazon Q generative SQLを触ってみた（プレビュー）
Distributed SQL 101 | Yugabyte
{JS-ON: Security-OFF}: Abusing JSON-Based SQL to Bypass WAF
Cloud Spanner as a SQL System
ローカルでSQLを気軽に実行できる環境を構築する with MySQL, Sequel Pro
Databases, SQL Server, and Data Models Examples