Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside
こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work
PyG (PyTorch Geometric) で Graph Pooling Neural Network - Qiita
グラフ構造を深層学習する PyG (PyTorch Geometric) を Google Colaboratory 上で使ってみました。今回は、Graph Pooling Neural Network を使うことがテーマです。題材として、化学情報学のメインテーマの１つである、分子構造から物性を予測する問題を解いてみます。 PyG (PyTorch Geometric) インストール PyG (PyTorch Geometric) のレポジトリは https://github.com/pyg-team/pytorch_geometric にあります。また、コードはチュートリアルドキュメント https://pytorch-geometric.readthedocs.io/en/latest/index.html を参考にしています。 import os import torch torch
ruby.wasmバイナリにgemを組み込むときのトラブル回避HACK(2024/06版) - ルニラボ
はじめに ruby.wasmバイナリに3rd party製のgem組み込んだ際のトラブルシュートのログを書き残しておきます。 2024年6月現在のHACKです。今後の開発が進めば不要になると想定しています。 こちらのスライドの補足記事です。 speakerdeck.com 前提 下記PRにより、Bundlerと ruby_wasm gemを利用して独自のruby.wasmバイナリが作成できるようになっています。 github.com $ bundle init Writing new Gemfile to /tmp/tmp.ZeVCP05HyB/Gemfile $ bundle add ruby_wasm $ bundle add rainbow $ bundle exec rbwasm build -o ruby.wasm (snip) INFO: Packaging gem: rain
OpenSSHのProxyJumpとProxyCommandの関係
多段SSH接続の為の二種類の設定 中継サーバーを経由して目的のサーバーに接続する、多段SSH接続。 OpenSSHで多段SSH接続をする為の設定として、ProxyCommandを使う方法とProxyJumpを使う方法の二種類が有ります。 ProxyCommandを使う方法は昔からあり、ProxyJumpを使う方法は比較的最近[1]追加された方法です。 この二つの方法について、ごく一部ですが「ProxyCommandを使う方法は危険なのでProxyJumpを使う方法に切り替えるべき」と言う人々がいます。 しかしProxyCommandを使う方法が危険だというのは本当なのでしょうか? 今回はProxyJumpとProxyCommandの関係を調べる事によって、本当にProxyCommandが危険なのかを調べてみます。 環境 今回は多段SSH接続という事で、以下の3台のサーバーが登場します。 接
Quickstart を利用して Snowflake における RAG ベースの LLM アシスタントの構築手順を確認してみる #SnowflakeDB | DevelopersIO
Quickstart を利用して Snowflake における RAG ベースの LLM アシスタントの構築手順を確認してみる #SnowflakeDB はじめに 2024年5月のリリースで、一部のリージョンではありますが、Snowflake 上でベクトルデータの管理と操作が可能な以下の機能が一般提供になりました。 VECTOR データ型 Snowflake Cortex LLM ベース関数 EMBED_TEXT_768 Vector similarity functions VECTOR_INNER_PRODUCT VECTOR_L2_DISTANCE VECTOR_COSINE_SIMILARITY この機能により Snowflake 上で RAG（Retrieval-Augmented Generation）アプローチを取る AI アプリケーションの構築を行えるようになります。 また
Amazon AthenaからRDS for PostgreSQLとAmazon S3に対する横串クエリ(Federated Query)を実行してみた | DevelopersIO
接続文字列は以下のような形となります。 一般的なJDBC接続文字列ですが最近だとライブラリ等にラップされているせいで見ることも少ないので意外と忘れがちな部分ではあります。 postgres://jdbc:postgresql://{{RDSのエンドポイント}}:5432/{{接続先DB名}}?secret=${Secretsの名前} 認証情報はSecrets Manager側に以下の形式で保存されていれば利用する際に良い感じに展開してくれます。 { "username": "{{接続ユーザ名}}", "password": "{{接続ユーザーパスワード}}"} パラメータの情報に関する情報は作成上の説明文の記載に加え情報は以下にも記載がありますのでこちらをご参照ください。 ここまでで正常に設定できていればデータコネクタの部分で以下ように接続先のスキーマ情報が確認できます。 ここまでで各種設
メモ：前処理大全 7-5「不等式条件での結合」は dplyr なら join_by() が使えるよ - Technically, technophobic.
少し前に改訂新版が出ましたね、前処理大全。 7-5「不等式条件での結合」は、旧版から変わっていないトピックですが、実は dplyr はこの数年の間に進化しています。 当時は非等価結合ができなかったんですが、バージョン1.1.0（2023年1月リリース）からできるようになっています。 具体的には、join_*() に join_by() という指定ができるようになっていて、これを使うと全組み合わせのうち条件を満たすものだけを残して join してくれます。 例題では、reservation にある reserved_at 列が campaign の starts_at 列と ends_at 列の期間に含まれていればいいので、以下のような書き方になります。 reservation |> left_join( campaign, join_by(between(reserved_at, star
『楕円曲線と保型形式のおいしいところ』のおいしいところ - hiroyukikojima’s blog
今、D.シグマ『楕円曲線と保型形式のおいしいところ』暗黒通信団を少しずつ読んでいる。これは、息子が父の日のプレゼントに買ってきてくれた本なのだ。 というのも、以前、息子がコミケに行くとき、暗黒通信団のブースも見てくる、というので、この本の購入を頼んだのだ。しかし、残念ながら本書は売り切れになっていた。まあ、別にどうしても欲しいわけではなかったので放置していたのだが、最近、ぼくがアマゾンからコブリッツ『楕円曲線と保型形式』丸善出版を取り寄せて眺めているのをみて、息子は急に思い出したらしく、書店でD.シグマ『楕円曲線と保型形式のおいしいところ』暗黒通信団を探して買ってきてくれたのだ。 楕円曲線と保型形式のおいしいところ 作者: D.シグマ 出版社/メーカー: 暗黒通信団 発売日: 2017/08/01 メディア: 単行本 この商品を含むブログを見る そうして読んでみたら、ぶっとんだ。これこそが
素数が素数でなくなるとき
素数が素数でなくなるとき 素数は数の性質を考える上でとても重要だが、実はどのような数の集合の中で考えるかで素数であるかないかが変わってしまう。数理学府の吉田さんは、素数が素数でなくなる度合いを表す手法の1つを洗練し、より正確な度合いの測定を可能にした。 吉田 学（数理学府） 素数とは、2, 3, 5, 7 ...とつづく「それを割り切る数が2個しかない自然数」のことである。例えば7は1と7でしか割れない。この「割り切る数が2個しかない」という性質は、整数全体の集合{..., −3, −2, −1, 0, 1, 2, 3, ...}で見たときには成り立つが、もう少し大きい数の集合を考えたときは、その集合の別の素数で割り切れてしまうことがある。 素数2の場合、整数全体の集合では1と2でしか割り切れない。しかし、虚数iを含む集合を考えたとき、 2 = (i − 1)(i − 1)i というように
有理数とか有限体とかのはなし - Qiita
一部間違いがあります、本文中でも明記しましたが最初の終了条件はInt を覆っていません。 最後に訂正したバージョンとより厳しいquickCheck の結果も載せておきました。 Haskell Advent Calendar 2016 の10日目です。 去年は眺めているだけだったので今回枠取れたの嬉しいです！ レベル分け的にはAdvanced Beginner の一人が同じくらいのレベルの人に向けて書いてるつもりです、やや内容に初等整数論が含まれます。 あわよくばより詳しい人にトンテンカンカンと直していただきたい感じですが。 モチベーション 電卓などで(1/3) の計算をした後、答えに3 を掛けたことがある人、そしてそのとき1 に戻らなかった経験ある人もきっと多いことだと思います。 今回の話はそれにちょっと関係している、かもしれません。 今回は体を取り上げます、体と言うのはいわゆる四則演算に
SymPy で量子プログラミングを体験してみましょう - Qiita
はじめまして、こんにちは。OpenQLプロジェクト1の中のひと、です。 本記事の対象は、次のような方を想定しております。 量子コンピューターや量子プログラミング2に興味がある方 基礎的なPythonの知識がある方 数式に極度のアレルギーのない方 量子コンピューターの仕組みや計算方法をなんとなく知っている方 （本記事の前に、@tsujishin さんの「量子情報科学序論 IBM Qを動かして学ぶ量子コンピュータ」を事前に読んで頂くと、より理解が深まると思います） それでは、始めましょう。よろしくお願いします。 数学・科学計算には欠かせない！？「Mathematica」 皆さんは、Mathematica というソフトウェアをご存知でしょうか。 例えば、何か計算式をプログラムで扱おうとしたときに、一般的なプログラムが数値計算を得意としているのに対して、$x$が含まれる関数式のまま扱うことができる
ChatGPTプログラミングのすすめ
ChatGPTなどの大規模言語モデル (Large Language Model; LLM) にプログラミングやリファクタリングをさせる場合、目的に合ったものが作られているかを何らかの方法で検証する必要がある。 プログラムの正しさを完全に保証する方法はないが、ある程度の正しさを継続して担保するための方法を探ってみたので以下にまとめた。 ポイントは、ChatGPTの生成したプログラムの検証にもやはりChatGPTの力を借りることである。 実行可能性と入出力のチェック プログラムを生成するタスクである場合、いつでも「実行できるか？」というチェックが可能である。これは自然言語の生成と大きく異なる点だろう。実行可能性を確かめることは最低限のチェック項目になる。 エラーが出力された場合、自力で修正するか、もしくは、エラーの内容をChatGPTに提示して修正を依頼し、再度実行可能かを確かめる。 入力・
Python x SQLite3 x sqlite-vec で近似近傍探索をやろうと思ったが...
2024-06-06 全文検索エンジン Bleve で日本語形態素解析をおこなう で bleze x kagome が気になってやろうとしたが、どうせなら一捻りしたいなと思い、Goの全文検索ライブラリである blevesearch の最新リリースを眺めていると https://github.com/blevesearch/bleve/releases/tag/v2.4.0 v0.2.4 からvector serach が可能に backend は faiss。 テンションが上ったので、最初は、kagome x blevesearch x ANN の構成で vector indexing, query のベクトル化もGo 言語かつ検索サーバーを運用しないで完結する構成による近似近傍探索をやろうと思っていた。。。が、文章をベクトル化するお手軽な方法(Python だとが Go で見つけられなか
シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース
シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース オープンソースとして開発されているOLAP用データベース「DuckDB」が正式版となるバージョン1.0に到達したことが発表されました。 OLAP用のデータベースといえば、クライアント／サーバ方式の大規模なサーバアプリケーションが一般的ですが、DuckDBは、SQLiteのようにローカル環境上でシングルバイナリでローカル環境でも簡単に実行できる点が最大の特徴です。 SQLでクエリを記述すると同時に、Python、Java、Node.js、Rust、Go、C/C++、R、ODBCなどから呼び出せるAPIも備えており、クライアントアプリケーションに組み込むこともできます。 対応するプラットフォームはWindows（x86_64）、macOS（Intel/Apple Silicon）、Lin
Azure Cosmos DB for NoSQL でサポートされた Vector Search (Preview) を試した - しばやん雑記
Build 2024 で発表された Cosmos DB のアップデートの中でも注目度の高い Vector Search (Preview) について、実際に試して深堀しておきました。これまで Azure で Vector Search を実行するにはコストが高い割に SLA の低い AI Search を使う必要がありましたが、Cosmos DB for NoSQL が Vector Search に対応したことで情勢が大きく変わろうとしています。 基本となるデータストアである Cosmos DB が Vector Search に対応したことで、追加のインデックスとしての AI Search を使う必要がなくなるため、Vector Search の実行結果として Cosmos DB に保存されている全てのデータを取得できるというのは大きなメリットです。もちろん Cosmos DB の全て
LangChainの新機能「langgraph-engineer」：Agentを作成するためのAgentを作る - Qiita
最近、GithubでLangGraph（LangChainが提供するエージェント構築用フレームワーク）のアップデートを確認していたところ、LangChainの開発チームが新機能の開発を進めていることに気づきました。現在はまだテスト段階かもしれませんが、試用コードなどはすでに整っているようです。この新機能は非常に興味深いので、共有したいと思います。 名前は⇩の「langgraph-engineer」です。 現時点ではまだスター数が数十個と少ないため、まだテスト中だと思われます。この機能を簡単に説明すると、agentを作成するためのagentを作るというものです。非常に革新的なアイデアだと思います。 LangChainの開発チームが想定している処理フローは、概ね以下のようになっています まず、ユーザーがagentのワークフローを手書きで作ります。その後、マルチモーダルモデルを使用して手書きの結
最近のVisual Odometry with Deep Learning
社内のCV輪講で使用した資料です。 2017年以降に発表されたDeep Learningを用いたVisual Odometryの手法についてまとめました。
ScalaMatsuri 2024 感想 - p-kino’s blog
昨年に引き続きScala Matsuri 2024に参加してきた。 色々あって体調を崩してしまっており長時間の外出に少々不安はあったが、それを押し切って来る価値はあったし、幸い何も起こらずに済んだのでよかった1。 オフライン会場ではレシーバとイヤホンが借りられ、それを使うと同時通訳で発表を聞けたのだが、特にリスニングがさっぱりな私としてはとても体験がよかった。 通訳者の方はもちろん、レシーバをアルコールティッシュで拭いて衛生を確保されていたスタッフの方も大変だっただろうから感謝したい。 特に印象に残ったセッションのうち、ある程度消化できたものについて忘れない内に書いていく。 Ironライブラリで守られた型安全性 (Raphaël Lemaitreさん) スライド: https://scalamatsuri.rlemaitre.com 篩型と呼ばれる、型に述語を記述することで受け付ける値を制
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMで議事録を作ってみた ~GPT-4o vs Gemini1.5 Pro vs Claude 3 Opus、三つ巴の戦い~
Hugging Faceを使いこなして ローカルLLMを推論する