NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース｜ミック
近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見られるように、RDBとNoSQLが鋭いトレードオフを発生させていたのに対して、NewSQLではそれが解消されているのが分かる。 RDB vs NoSQL vs NewSQL本当にそのような夢の実現に成功しているか、というのはまだ議論が続いているが（クエリのスループットを出すためにレイテンシを犠牲にしているので本当にトレードオフを解消はしていない、などの問題が指摘されている）、商用でも利用可能な製品としてGoogle Spanner、TiDB、YugabyteDB、Coc
冷蔵庫GPTsの作り方を動画で徹底解説【第1回目GPTsハッカソン優勝作品】｜ChatGPT研究所
前書き本記事では、12/19に開催されたGPTsハッカソンで優勝した『冷蔵庫GPTs』の作り方を紹介します。 ※本記事は、冷蔵庫GPTs作成者のユウスケさんに寄稿していただきました GPTsをGootleスプレッドシートやLINEと連携したい方はぜひ御覧ください。 GPTsの動作の様子は以下から見ることができます。 先日のハッカソンで1位に選ばれた『我が家の冷蔵庫GPTs』の挙動を紹介します！ このGPTsは、IoTが進んだ少し未来を想定しています。 IoT化された冷蔵庫は、自身の中身をデータベース上で管理することができます。… https://t.co/NaSlpBI87y pic.twitter.com/AnusfTAWcL — ユウスケ🍀ChatGPTで業務超改善 (@ysk_prompt) December 21, 2023 このGPTsの機能を説明します。 前提として、このGP
2024年版：データエンジニア向け推薦本リスト｜zono
世間ではデータエンジニアリングが流行しており、エンジニアからは人気が出て、企業からはその能力が求められています。 データエンジニアは、データの収集、蓄積、分析、活用に必要なデータ基盤を構築・運用する職種です。データエンジニアとして活躍するためには、非常に幅広い知識と能力が求められます。 データベース プログラミング システム開発 クラウドサービス データ分析 etc……. 私は多少データエンジニアとして経験を積んできており、業務を行う上で読んで良かったと心から思える本があったのでこちらで紹介します。どなたかの一助になれば幸いです。 初級向けデータエンジニアリング 本ではありませんが、データエンジニアリングに必要な知識がスライドやPDFに綺麗にまとまっています。初めて学ぶ方には適しています。後半はAzure製品について記載されているので、前半のデータエンジニアリングの箇所だけ参考にして下さい
LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB
LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ
(日本語訳) Vector databases (Part 1): What makes each one different?
ベクトルデータベースに関しては、カリフォルニアのベイエリアで明らかに"多く"の活動が行われている！また、資金調達と評価の額には大きなばらつきがあり、データベースの能力と資金調達額に相関関係がないことは明らかである。 プログラミング言語の選択 高速でレスポンスが良くスケーラブルなデータベースは、近年、GolangやRustのようなモダンな言語で書かれることが一般的である。ベクトル特化ベンダーの中で、Javaで書かれているのはVespaだけである。Chromaは、C++で構築されたOLAPデータベースであるClickhouseとオープンソースのベクトルインデックスであるHNSWLibの上に構築されたPython/TypeScriptラッパーとなっている。 興味深いことに、Pineconeも[2]、LanceDBのベースとなるストレージフォーマットであるLance[3]も、元々はC++で書かれて
Notionでの論文管理をサポートするツールを作りました - Qiita
変更履歴 231108 現在、Pythonのバージョンが3.12だとpipでのインストールに失敗することがあるようです。 バージョン3.10または3.11のPythonを使うのがオススメです。 詳細を記載しました。 インストールの失敗について、ご報告いただきありがとうございました。 230614 Notionデータベース作成の方法に誤りがあったため修正しました。 Firstプロパティも、Selectタイプにする必要があります。 ご指摘ありがとうございました。 前置き 私はこんな感じでNotionを使って論文の管理をしているのですが、 その際に使っているPythonプログラムをコマンドラインツールとしてまとめて、配布してみました。 その名も Papnt です。 所詮素人が作ったプログラムなので大目に見てください。 このプログラムを使った結果について、一切責任は取れません。 なにができるの？
NotionがGitHubと連携できるようになったので早速試してみた | JCS DX推進グループ
先日Notionで外部ツールとの連携機能が正式リリースされたので、早速GitHubと連携してみました。 Synced Databases bridge the gap between different tools Notionを利用して課題に感じていたこと JCS DX推進グループでは、複数のプロジェクトのドキュメントやタスク管理でNotionを利用しています。 非常に満足しているのですが、Notion上で管理しているタスクとGitHubのPR(プルリクエスト)を同期するのが面倒という課題がありました。 NotionとGitHubを連携してみた 当記事の本題です。 連携方法はこちらの通りで非常に簡単ですが、日本語情報がないので念の為さらっと記載しておきます。 1. NotionでGitHubをアプリ登録する Notionの左上にある Settings & Members -> My co
LangChain への OpenAIのRAG戦略の適用｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基
iCloudやGoogleドライブなど複数のクラウドストレージやデバイスのファイルを一括管理できるファイルマネージャー「Spacedrive」のアルファ版が公開される
iCloudやGoogleドライブ、Dropboxなどのクラウドストレージサービスから、所有している物理デバイスや外部ドライブに至るまで、複数のストレージにインデックスを作成してすべてのファイルを一カ所で参照することができるファイルマネージャーが「Spacedrive」です。開発開始から1年がたち、ついにアルファ版(バージョン0.1.0)が公開されたので実際に導入してみました。 Spacedrive — A file manager from the future. https://www.spacedrive.com/ GitHub - spacedriveapp/spacedrive: Spacedrive is an open source cross-platform file explorer, powered by a virtual distributed filesyste
24時間365日動き続けるデータシステムの設計手法 : 「データ指向アプリケーションデザイン」実践編
「データ指向アプリケーションデザイン」をベースに、24時間365日動き続けるデータシステムを実装する際に必要となる技術や考え方を紹介します。 この資料は、2023年大阪大学大学院 情報科学科 マルテメディア工学特別講義で使われた資料を一般用に修正して公開しています。 参考： 「30分でわかるデータベースデザイン」https://speakerdeck.com/xerial/30fen-dewakarudetazhi-xiang-apurikesiyondezain-data-engineering-study-number-18
FastAPIを用いたAPI開発テンプレート - Qiita
はじめに FastAPIはPythonのWEBフレームワークで、同じ分類のフレームワークとしてFlaskやDjangoなどが挙げられます。FlaskとDjangoはよく比較され、Flaskが最小限のコードで書き始められるシンプルなマイクロフレームワークと呼ばれるのに対し、Djangoはログイン機能、データベース管理などが初めから備わっておりフルスタックフレームワークと呼ばれています。 FastAPIはFlaskと似ているマイクロフレームワークで公式ドキュメントでは次のように紹介されいます。FastAPI は、Pythonの標準である型ヒントに基づいてPython 3.6 以降でAPI を構築するためのモダンで高速(高パフォーマンス)な、Web フレームワークです。[1] 本記事では、以下の内容を扱います。 特徴である型ヒントとそれにより実現できるAPIドキュメントの自動生成 SQLAlch
【LLM】ベクトルデータベースって多くてどれを使ったら良いか分からないというあなたのための記事（6つのツールを比較）
こんにちは！皆さんLLMで遊んでますか？ LLMと切っても切れない関係であるベクトルデータベースについて今回紹介したいと思います。ただ、ベクトルデータベースはまだデファクトスタンダードがはっきりせず、私も最初はかなり選ぶのに苦労しました。特にOSSのものは同等の頻度でコミットされていますので、それぞれが結構盛り上がっている感じですね。コミュニティの活発度もかなり近い感じです。しかし、デファクトスタンダードがないからこそ、各ツールで特色が結構出ている気がしています。今回はどのツールがどんな人に向いているのかについて詳しく見ていきたいと思います！ Pinecone ベクトルデータベースの中ではかなり知名度が高いのがPineconeです。あるツイートでのアンケートでは、利用率が 40% を占めていました。 Pineconeはクラウドのマネージサービスです。しかもローカル環境を用意する方法が無いの
TypeScript 版 LangChain で自前の情報を元に対話できるようにする
基本こちらのものを TS で書き直した感じです。 ▼ langchain.js のドキュメント ▼ サンプルコードがあるレポジトリ Vectorstore の準備 まず事前準備として Vectorstore なる AI のためのデータベースを用意します。 いくつかオプションがあるのですが、私は違いがよく分かっていないのでこちらの pinecone というものを使ってみました。 正直私は具体的に Vector とはなんなのか分かっておらず雰囲気で使っています。pinecone が解説記事を書いているのでこちらを読んでみると良いかもしれません。 こちらに SignUp した後、Indexes を選択し、 Create Your First Index！ をクリックします。 Index Name に適当な名前をつけ、Dimensions には 1536 と入力します。なんか1536次元のベクトル
〖実践〗Notion API の使い方【Python】 - プログラムでおかえしできるかな
Python での Notion API の使い方を紹介します。 既存の Notion データベースにデータを追加、更新、削除します。 追加、更新する時に必要なデータベースのプロパティを分かりやすく引数にする方法も考えたので紹介します。 Notion データベースにプログラムでデータが入れられると使い勝手が上がりますよ。 追加される Notion データベースと追加するデータは次のリンクで紹介したものです。 データベースのリンク：『ブログ記事管理🔗』 データベースの記事：『ブログの記事を管理する(使い方)【Notionデータベース】🔗』 追加するデータの記事：『はてなブログのスターとブックマークの数を取得するアプリ【フリー】🔗』 アプリを使って自分のブログの管理をしたい方は、こちらを参照してください。 データ追加するアプリの記事：『ブログの記事を管理するNotionデータベースとデー
ドキュメントDBかリレーショナルDBどっち使う？ - Qiita
はじめに ドキュメントデータベースかリレーショナルデータベース、どちらを選ぶか。 この選択で、アプリケーションのパフォーマンス、コスト、コードの可読性など幅広い影響が出るため、慎重な判断が必要です。この記事では、自分が思う「考慮すべきポイント」を解説したいと思います。 考慮すべきポイント 1. どのデータモデルがアプリケーションコードに最適か スキーマ制約を課さずに、データレコードをドキュメント（つまりJSONオブジェクト）として保存すべきか？それともスキーマを正規化してデータをいくつかのテーブルに分けるべきか？ このような判断をするために、開発しているアプリケーションのモデルの関係性（例: UserとTaskの関係が1:N）と、一度に読み込むデータの種類を見た方がいいです。 ドキュメントDBがおすすめの時 アプリケーションのデータは、以下のような木構造で表現できますか？普段そのデータを一
ヤフーの分散オブジェクトストレージ Dragon について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装
Oracle12c PDB構築まで | MMソリューション
さらに、カスタム名を選択し、新しいPDBのデータ・ファイルのファイル名を指定。ここではターゲット・ファイルの３つのファイルについて、ファイルの場所を分かりやすくするために以下の様にディレクトリ名を”PDBSEED”から”TEST”に変更。また、ファイル名から”.clone”を削除。また、一時 ファイルの名前にある時間情報部分を削除。 変更前(ソースファイル) C:\APP\[USER]\ORADATA\ORCL\PDBSEED\SYSTEM01.DBF.clone C:\APP\[USER]\ORADATA\ORCL\PDBSEED\SYSAUX01.DBF.clone C:\APP\[USER]\ORADATA\ORCL\PDBSEED\PDBSEED_TEMP012015-XX-XX_XX-XX-XX-AM.DBF.clone 変更後（ターゲットファイル） C:\APP\[U
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
読んだ内容を忘れない文章管理アプリ | BookNotion
TechCrunch
TechCrunch | Startup and Technology News