Welcome
The openVertebrate project, oVert for short, is a new initiative to provide free, digital 3D vertebrate anatomy models and data to researchers, educators, students and the public. X-ray CT allows researchers to visualize and quantify hard-to-measure characteristics. This image shows high and low density areas of the skull of an Angolan burrowing pig-nosed frog. Florida Museum of Natural History im
Skip the API, Ship Your Database Author Name Ben Johnson @benbjohnson @benbjohnson Image by Annie Ruygt With Fly.io, you can get your app running globally in a matter of minutes, and with LiteFS, you can run SQLite alongside your app! Now we’re introducing LiteFS Cloud: managed backups and point-in-time restores for LiteFS. Try it out for yourself! My favorite part about building tools is discover
GitHub - instant-dev/instant: JavaScript API framework with ORM, migrations and vectors
instant.dev provides a fast, reliable and battle-tested ORM and migration management system for Postgres 13+ built in JavaScript. For those familiar with Ruby on Rails, instant.dev adds functionality similar to ActiveRecord to the Node.js, Deno and Bun ecosystems. We have been using it since 2016 in production at Autocode where it has managed over 1 billion records in a 4TB AWS Aurora Postgres ins
Blitz（後編）：リアルタイムユーザー解析エンジンを実現する技術（強整合な解析） - PLAID engineer blog
PLAIDではPersonalizationに特化したリアルタイムユーザー解析エンジン（Blitz）を自分達で開発し、KARTEの基盤として使ってきました。今回新たに刷新した解析エンジンのコア要素である「強整合な解析」を実現する具体的なアーキテクチャ、技術選定の内容を紹介します。
杉浦茂 全仕事
漫画家・杉浦茂の全仕事を紐解くコレクション デタラメ、ナンセンス、シュール、奇想天外―― 杉浦茂を評する数々の言葉だけでも、この漫画家の異端ぶりが分かる。 戦前のユーモア・教育漫画から戦後の独特なギャグ漫画まで64年の漫画家人生を通じて膨大な作品を世に送り出した杉浦茂。 没後も未収録作品の発掘が行われ全集が再編されるなど 今もなお全容把握が進められている漫画家でもある。 このWebサイトでは杉浦茂に関わる膨大なコレクションから、 初出・再録を含めたすべての作品をまとめた。 まさに杉浦茂の「全仕事」を知るための入り口である。 このホームページについて ➡
社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog
プレイドの社内向けに行ったModern Data Stack勉強会の内容が好評だったので、データ基盤に携わる方に向けてModern Data Stackの概要、主要サービス、重要だと思うトレンドをまとめました。
What happened to Vivaldi Social? | Thomas Pike’s other blog
On Saturday 8 July 2023, user accounts started disappearing from the Vivaldi Social Mastodon instance. What was going on, how did this happen, and what were the consequences? This is a very long blog post, but to be fair, this was also to be a very long weekend. If you want to skip to the conclusion, there’s a TL;DR (too long; didn’t read) section at the end. Something’s not right It was around 17
ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？
ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？：AI・機械学習の用語辞典 ベクトルデータベースとは、テキストなどのデータを数値ベクトル（埋め込み）として保存するデータベースを指す。「ベクトルストア」とも呼ばれる。ベクトル検索により、意味的に類似する情報を探せるのが特徴で、チャットAIのRAG構築に役立つ。本稿ではベクトル検索の機能を持つ代表的な製品の概要もそれぞれ簡単に紹介する。 連載目次 用語解説 生成系AI／自然言語処理におけるベクトルデータベース（Vector Database、ベクターデータベース、ベクトルDB）とは、主に単語や文章（テキスト）、画像、音声などの複雑なデータを、AI／機械学習／言語モデルが処理しやすい数値ベクトル表現として保存するデータベースのことである。この数値ベクトル表現は「埋め込み表現（Embeddin
Hyperdrive: making databases feel like they’re global
Hyperdrive: making databases feel like they’re global09/28/2023 This post is also available in 简体中文, 日本語, 한국어, Deutsch, Français and Español. Hyperdrive makes accessing your existing databases from Cloudflare Workers, wherever they are running, hyper fast. You connect Hyperdrive to your database, change one line of code to connect through Hyperdrive, and voilà: connections and queries get faster (
土壌生物（ダニ、トビムシなど）の画像集
土壌動物の画像集 -------------------- 鋏角亜門（Chelicerata） クモガタ綱（Arachnida） カニムシ目（Pseudoscorpionida） 分類群01 分類群02 ==================== クモ目(Araneae) ==================== ダニ目（Acari） ササラダニ亜目（Oribatida） ==================== ヒワダニ科(Hypochthoniidae) オオナガヒワダニ（Eo. magnus） ヒワダニモドキ（En. minutissimus） ヒワダニ属(Hypochthonius spp.) -------------------- ツツハラダニ科(Lohmanniidae) ツツハラダニ属(Lohmannia spp.) フトツツハラダニ属(Mixacarus spp.) ---
大阪府情報通信業Sky株式会社Sky株式会社（スカイ）は、1985年03月02日設立の代表取締役 大浦 淳司が社長/代表を務める大阪府大阪市淀川区宮原3丁目4番30号ニッセイ新大阪ビル20Fに所在す… 福岡県サービス業株式会社Q太郎フーズ株式会社Q太郎フーズ（キュータロウフーズ）は、鈴木 起史が社長/代表を務める福岡県糟屋郡粕屋町大字内橋705-1に所在する法人です（法人番号: 1290001060939… 東京都情報通信業株式会社ユチュブる株式会社ユチュブる（ユチュブル）は、2021年設立の東京都新宿区西新宿3丁目9番7号2Fに所在する法人です（法人番号: 6011101094627）。最終登記更新は2021/04…
pg_analytics: Transforming Postgres into a Fast OLAP Database - ParadeDB
We’re excited to introduce pg_analytics, an extension that accelerates the native analytical performance of any Postgres database1 by 94x. With pg_analytics installed, Postgres is 8x faster than Elasticsearch and nearly ties ClickHouse on analytical benchmarks2. Today, developers who store billions of data points in Postgres struggle with slow query times and poor data compression. Even with datab
GitHub - scratchdata/scratchdata: Scratch is a swiss army knife for big data.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - myscale/myscaledb: An open-source, high-performance SQL vector database built on ClickHouse.
MyScaleDB is the SQL vector database that enables developers to build production-ready and scalable AI applications using familiar SQL. It is built on top of ClickHouse and optimized for AI applications and solutions, allowing developers to effectively manage and process massive volumes of data. Key benefits of using MyScaleDB include: Fully SQL-Compatible Fast, powerful, and efficient vector sear
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ホット タブレット Bigtable には、パフォーマンスの問題をトラブルシューティングするため、クラスタ内のホット タブレットを特定してモニタリングする機能があります。このページでは、ホット タブレットの概要、ホット タブレットのリストを取得する方法、ホット タブレットの識別が有益な状況について説明します。このページを読む前に、Bigtable の概要を理解しておく必要があります。 ホット タブレットのリストを取得するメソッドの名前は、使用する言語によって異なります。わかりやすくするため、このドキュメントでは RPC Cloud Bigtable Admin API 名（ListHotTablets）を使用します。ホット タブレットのリストは、以下のものを使用して取得できます。 Goo
この連載では、開発者の皆様がシステム・アーキテクチャやアプリケーション・コードをより洗練させるのに役立つデータベース・マネジメント・システム（DBMS）の基本を振り返り、実装に合った技術の組み合わせを解説します。クラウドの登場によりハードウェア・リソースの調達は容易になりましたが、データベース・エンジンがシステムを稼働させたままハードウェア・リソースを動的に増減できるかというのはまた別の話です。今回は、データベース・エンジンのリソースを動的に増減させる実装について紹介します。 はじめに この連載は、第1回に紹介したDBMSの3階層構造における「アーキテクチャと実装」についての技術の紹介から始まり、第8回からはアプリケーションから見たデータ操作階層である「データ・モデルとデータ型」についてお伝えしてきました。 データベースは巨大なデータ量を扱うため、ハードウェアのリソースも大量に必要になりま
はじめに 最近 langchain を使うようになってきて、OpenAIのAPIをちょこちょこ叩くのですが、いかんせん遅い いや十分に早いのだけど、ドキュメントの量があると若干気になってくる速度です そこで、 ローカルLLMとしてrinna を使ってみたりしたのですが、まだまだ遅いです すでに先行して実装例を作ってくれていた RWKVでembedding vectorを計算 の記事と SQLiteでベクトル検索ができる拡張sqlite-vssを試す の記事を大いに参考にしながら RWKV と sqlite-vss を使って高速なベクトル検索を作ってみます RWKVのモデル 今回は学習済みのRavenモデル RWKV-4-Raven-3B-v12-Eng98%-Other2% を使っていきます OpenAI の text-embedding-ada-002 モデル では 1536次元と扱いや
DBスキーマはtblsのViewpointsで整理しよう
この記事は MICIN Advent Calendar 2023 の 5日目の記事です。 前回は竹内さんの、Socket.ioコンテナオーケストレーションハンズオン でした。 tblsはいいぞ🦍 筆者はtblsの大ファンであり、特にViewpoints機能が他のツールとは一線を画していると思っています。今回はその良さをお伝えできればと思います。 TL;DR tblsは実際のスキーマからDBのドキュメントを生成するツール ER図が巨大化しても、tblsのViewpointごとに分割することでDBの全体像が理解可能になる Viewpointの粒度に困ったら一旦トランザクションと集計の単位に設定する 個別のテーブルとViewpointは相互に参照できる CIに組み込むことでドキュメンテーション忘れを防げる なんのためにDBのドキュメンテーションを行うか DBのドキュメンテーションはそれなりにコ
ずいぶんご無沙汰のブログ記事となりました。 今回は、設計を一新して速く、頑強になった PG-Strom v5.0 をご紹介します。 なぜ再設計が必要だったのか？ 前バージョンの PG-Strom v3.x シリーズの基本的な設計は、2018年のPG-Strom v2.0の頃から大きく変わっていません。 当時の最新GPUモデルは Volta 世代（TESLA V100）で、CUDAのバージョンは9.2ですから、かなりの大昔という事はお分かり頂けると思います。 この頃、PG-Stromの開発において最優先すべき課題は、先ず実用となるバージョンをリリースする事でした。（※ HeteroDB社の創業は2017年7月です） クエリの処理速度を高速化する事は当然なのですが、それ以上に、まだPG-Stromの内部インフラも十分に枯れていない中で、クラッシュせずに走り切る事や、バグがあったとしても容易に原
How can I troubleshoot low freeable memory in an Amazon RDS for MySQL database? I run an Amazon Relational Database Service (Amazon RDS) for MySQL instance. I see that my available memory is low, my database is out of memory, or low memory is causing latency issues in my application. I want to identify the source of the memory utilization and troubleshoot. Short description In Amazon RDS for MySQL
We’re excited to share the 5.0.0 release today 🎉 Prisma 5.0.0 contains a lot of changes that improve Prisma’s performance, especially in serverless environments. If you want to learn more about the performance improvements, we wrote a blog post that sums up all the changes we made: Prisma 5: Faster by Default. As this is a major release, it includes a few breaking changes that might affect a smal
drawDB | Online database diagram editor and SQL generator
Online database entity-realtionship diagram editor and SQL generator. Design, visualize, and export scripts without an account and completely free of charge.
現時点ではまだ実際には触っていないため、あくまでも「こんなのあったよ～」くらいの温度感の記事だと思ってください どうもこんにちは、ちょっと前にこんな記事がバズったのを覚えている人も多いと思います もちろん1つのVPSの中にMySQLとNginxとRedisとRailsを突っ込んで動かせば月1000円で夢の全載せサーバーになるのですが管理がめんどくさいですし、AppサーバーとRDBサーバーとキャッシュサーバーをそれぞれ分離してそれぞれを独立管理するような感じで運用したいって人が多いのではないかと思われます そうなってくるとRDBサーバーの部分が比較的料金が高い場合が多い……と言うのが大体の趣旨でその内容については多くの人が「まあそうだよなー」と頷いたのではないでしょうか TiDB serverless良いかも さっそく本題ですが、そんな時に「TiDB」が採用できるかもしれません 厳密に言うと
GitHub - vanna-ai/vanna: 🤖 Chat with your SQL database 📊. Accurate Text-to-SQL Generation via LLMs using RAG 🔄.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Python: Just write SQL
I have been writing a lot more Go this past year. For those not familiar, Go favours a non-ORM, non-query-builder approach to interacting with databases. This comes naturally due to the sql package: A common interface to be used alongside database drivers. It’s very common to see actual SQL in Go, even in large projects. On the other hand, Python does not have anything in the standard library that
PostgreSQL isn’t just a simple relational database; it’s a data management framework with the potential to engulf the entire database realm. The trend of “Using Postgres for Everything” is no longer limited to a few elite teams but is becoming a mainstream best practice. OLAP’s New Challenger In a 2016 database meetup, I argued that a significant gap in the PostgreSQL ecosystem was the lack of a s
Kysely | Kysely
Type-safe SQL queriesKysely let's you write type-safe SQL queries. This eliminates entire classes of errors and let's you sleep peacefully at night. No magic, just SQLKysely is a light abstraction layer over SQL. This makes it easy to reason about performance, and reduces the amount of concepts you need to learn to be proficient with the library. Great autocompletionBy exposing your database schem
28 May 2024 DuckDB Doesn’t Need Data To Be a Database One of the many enjoyable things about databases is that they generally try to separate how data is represented internally (say on disk) from how it is used. To the point that it has become the norm to not even store the data on the same hardware that is running the queries. Databases have gotten so good at this, that the term is almost mislead
Announcing self-hosted Deno KV, continuous backups, and replicas When we first announced Deno KV, developers were captivated by the promise of a zero-config, strongly consistent, and globally replicated database crafted for JavaScript. The concept of adding state to servers, functions, and applications using just a single line of code has been well-received. As we expanded Deno KV with features li
Fault-tolerant TypeScript code execution made easyDBOS Cloud is a revolutionary serverless software platform rooted in research from MIT and Stanford. Transactional serverless computing in TypeScript DBOS sets a new standard for serverless computing with these unique advantages: Reduce and simplify your code base - fault handling and recovery are automatedGuaranteed once-and-only once executionDep
Introducing “Database Performance at Scale”: A Free, Open Source Book
Discover new ways to optimize database performance and avoid common mistakes that impact latency and throughput So many things have to align perfectly for impressive database performance. You need to think hard about factors like: The infrastructure your database sits on How it’s set up How you’re managing it How your application interacts with the driver How the driver interacts with your databas
コロコロコミックレビュー
小学館学年別雑誌のゾイド記事 コロコロコミックではありませんが、学年誌に掲載されたゾイド記事を一部掲載しています。 幻のミニ四駆漫画 ウイニング嵐 小学館学年別雑誌に掲載された未完のミニ四駆漫画です。 レゴブロックカタログ＆当時の脳内設定 レゴブロックのカタログ１９９１年〜１９９７年の一部と当時の私自身の脳内設定を掲載しています。
Database Migrations
Table of Contents I consider database migrations one of the most annoying problems to deal with during a software engineer’s life. Not only that, if it goes wrong, as it often does, people tend to develop anxiety related to any schema changes. So why is it so annoying? It looks simple at first glance but is deceptively tricky when you start thinking about it. My primary framework of choice is the
LLMを構築する上で、ナレッジグラフ .vs. ベクトルデータベースの違いを知る｜鈴木いっぺい (Ippei Suzuki)
Clip source: Knowledge Graph vs. Vector Database for Grounding Your LLM グラフデータベースでLLMを構築した方が、LLMと比較して、性能、正確性、ハルシネーション防止、等の面で優れている、という記事です。実際ベンチマークをしてくれてる実例を探してみたいと思います。 Knowledge Graph vs. Vector Database for Grounding Your LLMMegan Tomlin, Director of Product Marketing, Neo4j Jul 13 4 mins read 企業は、ミッションクリティカルなアプリケーションに大規模な言語モデル（LLM）を組み込むことを望んでいます。しかし、LLMの予測不可能な性質は、幻覚（不正確な推論や明らかなエラー）を引き起こす可能性があり、
3年近くTiDBを使ってきた話 @ TiUG Kick Off #0 / My Journey with TiDB: Nearly Three Years On @ TiDB User Group Kick Off #0
3年近くTiDBを使ってきた話 @ TiUG Kick Off #0 / My Journey with TiDB: Nearly Three Years On @ TiDB User Group Kick Off #0
はじめに MySQL8.0 を使ったユニットテストがどうにも遅いので、気になって計測してみた。特に Truncate が遅い気がしたので検証。 MySQL5.7(5.7.44)と MySQL8.0(8.0.28)で比較する。 検証コード iwahara/mysql_performance: 記事用のパフォーマンス計測コード 検証用テーブル 検証に使うテーブル定義は以下の通り。主キーのみのテーブルと、index を１つ、２つ、３つ設定したテーブルを用意した。 照合順序は揃えてある。 CREATE TABLE `no_index` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(256) NOT NULL, `code1` varchar(8) NOT NULL, `code2` varchar(8) NOT NU
ダウンタイムを抑えてAWSからGoogle Cloudにデータベースを移行したはなし - JX通信社エンジニアブログ
こんにちは。kimihiro_nです。 今回はプロダクトで使用しているデータベース(MySQL 互換)を AWS から Google Cloud に引っ越ししたときのはなしを紹介します。 AWSから Google Cloud へ AWS では MySQL 5.7 互換の Aurora グローバルデータベースを利用していました。 グローバルデータベースを使っているのは、大規模災害時におけるリージョンレベルでの障害に備えるためのもので、万一リージョンレベルの障害が発生してもサービス継続できるような体制を作っていました。 今回ある事情から Google Cloud の CloudSQL へのお引っ越しを行い、同じようにホットスタンバイでのマルチリージョン構成を構築することになりました。 なぜ AWS から Google Cloud に 恐らく一番気になるのがこの理由の部分かもしれませんが、大人の
今までのインデックスについての自分の理解が、「インデックスを作ると検索スピードが上がる」くらいの理解でした。これではいけないと思い、ようやく真面目に勉強したのでそれをまとめるついでにクイズ形式にしてみました。 インデックスとは データベースにおけるインデックスは、データの検索速度を向上させるための機能です。一般的に、テーブル内のデータの特定の列に対して作成され、その列の値に基づいてデータにアクセスする際の効率を高めます。 よくある例でインデックスは本でいう索引に当たります。見たい項目を索引で探し、何ページかを確認してそのページを開けば一枚一枚ページをめくって探すより効率的に目当てのページに辿り着けますよね。 それをデータベースでも同じことをしているというイメージです。 第一問 以下 SQL 文でインデックスが使用される検索はいくつあるでしょうか？
Introducing Amazon RDS Extended Support for MySQL databases on Amazon Aurora and Amazon RDS | Amazon Web Services
AWS Database Blog Introducing Amazon RDS Extended Support for MySQL databases on Amazon Aurora and Amazon RDS With the upcoming end-of-life of MySQL Community Version v5.7 in October 2023 (Page 24), Amazon Web Services (AWS) is actively preparing for this important transition. When MySQL 5.7 reaches community end of life, no further updates, bug fixes, or security patches will be released by the c
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Skip the API, Ship Your Database
全国企業データベース-日本企業のプレスリリース
ホット タブレット | Bigtable のドキュメント | Google Cloud
データベースを止めずにリソースを変更するには？ CPUとメモリーを動的に増減させる仕組み
米Oracle、「Oracle Database 23ai」クラウド版を提供開始 AIを意識して名称を変更
RWKVとsqlite-vssで高速なベクトル検索を作ってみる
PG-Strom v5.0 - KaiGaiの俺メモ
Troubleshoot low freeable memory in Amazon RDS for MySQL
Release 5.0.0 · prisma/prisma
個人開発者（Rails）が安くDBを使うにはTiDB serverlessがアリな気がする
Postgres is eating the database world
DuckDB Doesn’t Need Data To Be a Database
Announcing self-hosted Deno KV, continuous backups, and replicas
DBOS - Transactional Serverless Platform for TypeScript
MySQL5.7とMySQL8.0のパフォーマンスの違いを計測してみた
クイズ形式で学ぶ DB インデックス - Qiita