Mic King @iPullRank Ok, let's get this party started! A couple weeks ago I said I was publishing the most important thing I ever wrote. I was wrong. Documentation related to the Google Search algorithm leaked and I spent the weekend tearing it apart. ipullrank.com/google-algo-le… ✌🏾 2024-05-28 11:10:19 数週間前、私はこれまで書いた中で最も重要なものを発表すると言いました。それは間違いだった。 Google検索のアルゴリズムに関するドキュメントが漏洩したため、私は週末をかけてそれを徹底的に調
Our world-class embeddings for search, RAG, agent systems.
[レベル: 初級] パソコン用 Googlebot によるクロールとインデックスを 2024 年 7 月 5 日以降 Google は完全に終了します。 検索セントラルブログでアナウンスがありました。 ウェブサイトをクロールするのは スマートフォン用 Googlebot だけ 2023 年 10 月末に、モバイル ファースト インデックスへの移行が完了したことを Google は宣言していました。 しかし実際には、モバイル ファースト インデックスに対応できていないごく一部のサイトについては、パソコン用 Googlebot によるクロールを継続していました。 ですが、2024 年 7 月 5 日以降は、モバイル ファースト インデックスに対応していないこうしたサイトのクロールもスマートフォン用 Googlebot で実行します。 もし、スマートフォン用サイトのコンテンツを省略していたり、あ
Google検索結果からAIによるまとめを排除するフィルタ「&udm=14」 - YAMDAS現更新履歴
udm14.com このサイトのドメイン名にもなっている「&udm=14」とは何かということだが、その前に the disenshittification Konami code というサイト名にも注意する必要がある。 disenshittification とは、ワタシも何度も（その1、その2）取り上げているコリイ・ドクトロウによるオンラインプラットフォームの質低下を指す造語 enshittification（メタクソ化）の対義語である。 そして、Konami code だが、もちろんコナミに由来する言葉で、いわゆる「隠しコマンド」全般を指すフレーズになってるそうな。 つまりは、「メタクソ化に抗う隠しコマンド」、それが「&udm=14」というわけだ。サイトデザインを見れば分かることだが、ここで対象となっているのは Google である。 検索エンジンとしての Google の質低下につい
もっと調べる技術 国会図書館秘伝のレファレンス・チップス2 | 皓星社（こうせいしゃ） 図書出版とデータベース
本書の使い方 第1講 NDLデジタルコレクションは国会図書館のDXである 第2講 国会図書館にない本を探す法 第3講 リニューアルされたNDL サーチを使ってみる 第4講 デジコレの2022 年末リニューアルをチェック！ ファミリーヒストリー編 第5講 デジコレの2022 年末リニューアルをチェック！ 官報編 第6講 ネット上で確からしい人物情報を探すワザ 現代人編 第7講 推し活！ アイドルを調べる 第8講 小さなお店の歴史を調べる ある模型店を事例とした生活史 第9講 分類記号（NDC）を使って戦前の未知文献を見つける 第10講 予算無限大の理想のコレクションから、現役のレファ本を見つけるワザ 第11講 洋書はCiNii。それって常識？ 出たはずの本を見つける 第12講 風俗本（成人向け図書）を調べるには 国会図書館の蔵書を中心に 第13講 「ナウい」言葉が死語になる時 第14講 言葉
Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c
可能性が未知数だからAI導入は無理、なんてない。ー従業員の71.8%が「生成AI」を業務に活用。LIFULLが描く未来の住まい探しとはー｜LIFULL STORIES
LIFULL全体の最高技術責任者（CTO）である長沢翼は、2022年11月に公開されたOpenAI社の対話型生成AI「ChatGPT」に「人とシステムのインターフェースが変わるかもしれない」と、時代の大きな変化を予感したという。そして長沢は2023年5月に生成AIに特化した専門チーム「ジェネレーティブAIプロダクト開発室」（現在は「ジェネレーティブAIプロダクト開発U」に名称を変更）を設立。以降、社内の業務効率化やLIFULLの事業に生成AIの活用を推進してきた。 LIFULLにとって既に良き仕事のパートナーとも言えるこの生成AIという技術は、どのように取り入れられ、また事業や業務にどのような変革をもたらしたのか。現在「ジェネレーティブAIプロダクト開発U」を統括するイノベーション開発室の室長も務める長沢に、LIFULLにおける生成AIのあり方を聞いた。 対話型生成AI「ChatGPT」は
アメリカのIT大手グーグルが今月から提供を始めたばかりの生成AIを活用した新たな検索サービスで、誤った情報が表示されたとアメリカのメディアが伝えています。ピザにチーズをくっつけるために接着剤を使うことを勧めるなどの回答が表示され、波紋を呼んでいます。 これはグーグルが5月14日に発表し、アメリカで提供が始まった生成AIを活用した検索サービス「AIオーバービュー」です。 文章で質問を入力すると生成AIが調べて回答をまとめる機能です。 アメリカの有力紙、ニューヨーク・タイムズなどよりますと、検索サービスで「ピザにチーズがくっつかない」と尋ねたところ、「ソースに無害の接着剤を使うこと」を勧めたり、ガソリンでパスタの調理が早くなるかと質問したところ、「早くはならないが、ガソリンによって辛い味付けになる」と回答したということです。 また、実際はキリスト教徒であるアメリカのオバマ元大統領が、イスラム教
Googleの検索ランキングアルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書についてコメントを拒否していたGoogleですが、ついにこれが本物であることを認めました。 Google confirms the leaked Search documents are real - The Verge https://www.theverge.com/2024/5/29/24167407/google-search-algorithm-documents-leak-confirmation 世界最大級の検索エンジンであるGoogle検索を運用するGoogleの、検索アルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書により
米Pew Research Centerの調査によれば、2023年10月の時点で10年前（2013年）のWebページの38%がアクセス不能であるという。 10年前といえばそこそこ昔だと感じるかもしれない。20代の人からすればまだ子供時代だろう。10年前のガジェット、例えばPCやスマホはすでに役に立たなくなっても、新しいものがそれに変われば問題ない。 だが情報はどうだろうか。われわれは常に最新の情報を求めており、うっかり古い情報をつかんでしまうと判断を誤る可能性が高くなる。その一方で過去の情報が無ければ、今の情報の価値が分からなくなるのも事実だ。データとしての年次変化やトレンドの変遷など、過去からのベクトルが追えなくなってしまえば、未来予測もできない。つまり情報は過去からの 連続性が無ければ、未来線が描けないということである。 Webページが失われていくということは、当時のトレンドが分からな
こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。 また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの 外部知識資源 を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'
前回、蔵書数80万冊を誇る雑誌の図書館、大宅壮一文庫の書庫に、みっちみちに所蔵されている雑誌の山に大興奮した我々（ライター・西村、ライター・唐沢、デイリーポータルＺ・林）は、取材そっちのけで雑誌の立ち読みに耽ってしまう。 今回は、気を取り直し、大宅壮一文庫の最大の特長である「雑誌記事の索引づくり」について、大宅壮一文庫の黒澤さんにお話を伺う。 大宅壮一文庫のなにがすごいのか さて、書庫の中で古い雑誌を立ち読みして盛り上がるのもほどほどにして、大宅壮一文庫の何がすごいのかを、黒澤さんに訊いてみた。 大宅壮一文庫、最大の特長として忘れていけないのが、雑誌記事索引だ。 大宅壮一の書斎を再現した部屋でお話を伺いました 大宅壮一文庫では、収蔵した雑誌はすべて職員が目を通し、主な雑誌記事は、その記事ごとに、誰が登場し、どんな内容が書かれているのかを、人物名と件名にまとめてリスト化しており、膨大な量のデ
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci
空気清浄機のテストやレビューを行う独立系メディアのHouseFreshが、「Google検索の検索結果ページから、HouseFreshが事実上消えてしまった」と報告しています。 HouseFresh disappeared from Google Search results. Now what? https://housefresh.com/how-google-decimated-housefresh/ 2024年2月、HouseFreshは「Google検索の検索結果上位に表示される有名メディアの商品レビュー記事を信用しないように」という警告記事を公開しました。この記事が公開されてから10週間以上が経過してからも、ソーシャルメディア経由で多くの反響メッセージが届くそうです。 問題の記事を公開してから数日後、HouseFreshはデジタルメディア・Dotdash Meredithの元従
Windows PC画面を常時記録・AIで全検索できる『Recall』(回顧)機能、マイクロソフトが発表。『Copilot+ PC』向け | テクノエッジ TechnoEdge
Recallは、かつてWindows 10に搭載されていた『タイムライン』の拡張版といった機能。アクティブな画面のスナップショットを数秒ごとに常時取得し、スライダーで遡ったり、Copilotを通じて内容を検索できる機能です。 記録したスナップショットはCopilot によるAI検索が可能。たとえば数日前にWEBで検索して見たページが思い出せないような場合、覚えている要素、たとえば「赤い車」や「白いスニーカー」などと検索すると、撮影されたスナップショットの中から該当するものを見つけてくれます。 単に過去の画像を表示するだけではなく、その時に使用していたアプリを開くこともできるようになるとのことです。 (▲画像：Recall機能のデモ。スライダーで過去に遡って画面を見られる) スナップショットはPCのローカルストレージ内に保存し、デバイス上の暗号化とBitLockerで保護します。特定のユーザ
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
AI検索エンジンのPerplexityがユーザーのプロンプトに基づいてカスタマイズ可能なウェブページを生成する「Pages」機能を発表
AI検索エンジンのPerplexityが、ユーザーのプロンプトに基づいてカスタマイズ可能なウェブページを生成する新機能「Pages」を発表しました。Pagesは、教育者や研究者、趣味の人々が知識を共有するのに役立つように設計されているとのことです。 Introducing Perplexity Pages https://www.perplexity.ai/hub/blog/perplexity-pages Perplexity will research and write reports - The Verge https://www.theverge.com/2024/5/30/24167986/perplexity-ai-research-pages-school-report Pagesがどんな機能なのかは、以下のムービーを見るとよくわかります。 Introducing Perp
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、RAGの性能を高める手法である「HippoRAG」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法として最近注目されている「HippoRAG」の論文[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HippoRAGは、RAGの性能を高めるための新しい手法です。オハイオ州立大学の研究者らによって2024年5月に提案されました。HippoRAGを使うメリットは、複数の知識を組み合わせて回答する必要があるような、複雑な質問に強くなることです。HippoRAGが従来のRAGに比べて、複雑な質問に強い理由は、ナレッジグラフと、それを継続的に
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。 本記事では、「xRAG」という手法について、ざっくり理解します。xRAGとは、RAGシステムでLLMに投げるドキュメント（通常、数千文字ほどですよね。）を、1トークンに圧縮できるのでは？という手法です。 この記事は何 この記事は、RAGをする際にLLMに渡すドキュメントを1トークンまで圧縮できる手法「xRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー xRAGは、RAGで渡すコンテキストを極限まで圧縮する手法です。北京大学/Microsoftの研究者らによって2024年5月に提案されました。xRAGを使うメリットは、コンテ
Google、漏洩したGoogle検索のランキングシステムのソースコードは本物だと認める | NEWS | Mac OTAKARA
※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。 The Vergeが、SparktoroやiPullRankに掲載されたGoogle の検索部門内部から大量に漏洩した API ドキュメントに関する内容が掲載され、その件に関してGoogleの検索広報担当マネージャーDavis Thompson氏は「Googleは、脈絡のない、時代遅れの、あるいは不完全な情報に基づいて、検索について不正確な推測をしないように注意したいと思います。Googleは、検索の仕組みや、私たちのシステムが重み付けする要素の種類に関する広範な情報を共有し、同時に、私たちの結果の完全性を操作から守るよう努力しています。」とコメントし、漏洩した内容が本物だと認めたと伝えています。 漏洩した資料は、クリック数や Chrome ユーザーデータな
An Anonymous Source Shared Thousands of Leaked Google Search API Documents with Me; Everyone in SEO Should See Them - SparkToro
On Sunday, May 5th, I received an email from a person claiming to have access to a massive leak of API documentation from inside Google’s Search division. The email further claimed that these leaked documents were confirmed as authentic by ex-Google employees, and that those ex-employees and others had shared additional, private information about Google’s search operations. Many of their…
[レベル: 中級] ハッシュタグ付き検索を利用できるようになっています。 日本の Google だけの機能と思われます。 #○○ を含む投稿 クエリによっては、検索結果に「#○○ を含む投稿」というブロックが差し込まれます。 モバイル検索にも出てきます。 「もっと見る」をクリック/タップすると、そのクエリのハッシュタグが付いたコンテンツだけに絞り込んだ検索結果になります。 コンテンツは、大きなサムネイル画像とともにタイル状に並んでいます。 「#○○ を含む投稿」ブロックがウェブ検索に出ていなくても、クエリの先頭に「#」を付ければハッシュタグ付きの検索結果を能動的に表示できます。 ハッシュタグが付いたコンテンツを取得 ハッシュタグが付いているコンテンツであれば、動画、ソーシャル、記事を問わず取得してくるようです。 たとえば、次のようなサイトに投稿されたコンテンツがハッシュタグ付き検索結果に出
If you want to give people easy access to an AI-free Google search, send them to this page. What is "&udm=14"? • TenBlueLinks • FrogFind • Built by Tedium ShareOpenly Grab the code: Glitch | Github Versions Regular | SFW Note: The feature this relies on, while available to most people, may not be available on every account yet. If it doesn’t work, try switching accounts or using incognito mode. Fi
Google検索結果の「AIによる概要」は全体の出現率が84％から15％に激減しているもののヘルスケア関連では63％と高水準
Googleは、AIがまとめた概要を検索結果に表示する「AIオーバービュー(AIによる概要)」をテストしています。このAIオーバービューの動向についてマーケティング企業のBrightEdgeがまとめ、結果を共有しました。 BrightEdge Releases Post Google I/O Data on The Impact of https://www.globenewswire.com/news-release/2024/06/04/2893289/0/en/BrightEdge-Releases-Post-Google-I-O-Data-on-The-Impact-of-AI-Overviews.html 2023年11月から2024年6月までの統計によると、ユーザーが何かを検索してAIオーバービューに出くわす確率はピーク時の84％から15％以下に激減しているとのこと。AIオーバ
以下の文章は、コリイ・ドクトロウの「Even if you think AI search could be good, it won’t be good」という記事を翻訳したものである。 Pluralistic 検索に関する今週のビッグニュースは、Googleが「AI検索」へのシフトを続けていることだ。検索ワードを入力してウェブサイトへのリンクが表示されるのではなく、Googleに質問をすると、AIがウェブ上で見つけたものに基づいて回答を生成するという方向に進みたいらしい。 https://blog.google/products/search/generative-ai-google-search-may-2024 Googleはこれを「Googleにググらせよう（let Google do the googling for you.）」と宣伝している。自分でウェブを検索するのではなく
![Googleに“まともな”AI検索は作れない | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4cc0dd9bc860c83935b765f63d2ba4698ecda12/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2Fsearch-ai-enshittification.webp)
検索失敗率のモニタリングから改善まで - Search Engineering Tech Talk 2024 Spring
Search Engineering Tech Talk 2024 Spring の LT枠の発表資料です。
[レベル: 初級] なぜ Google は、すべての検索ランキングシステムのアップデートをアナウンスしないのでしょうか？ 理由を、Google 検索の広報担当の Search Liason が説明しました。 すべてのアップデートを告知しない理由 Google は、広範囲なコア アップデートについては情報提供するが、広範囲なコア アップデートの延長に思える大きなランキング変動については説明しないのはどうしてなのか？ こんな問いかけに SearchLiason の X 公式アカウントは次のように返答しました。 コア アップデートに関する情報は、こちらのページでご確認いただけます: https://developers.google.com/search/updates/core-updates 次のように書かれています。 Google では常に検索エンジンのアルゴリズムを更新しており、その更新
TL;DR ベクトル検索だと、複数のステップを踏まないと答えられない質問の検索がむずい 「TomにEmil Eifrém（Neo4jのCEO）を紹介してくれる人は？」とかを検索むずい ナレッジグラフは構造化データと非構造化データをうまく扱えてベクトル検索の苦手を補える 課題はあるけどナレッジグラフは、Neo４jとLangchainで構築できるよ。 はじめに 今回はベクトル検索の苦手分野をどうしても補ってあげたいとおもっている筆者やまぐちが、ベクトル検索の苦手を補ってあげられるナレッジグラフに関してまとめていこうと思います。 少々長い記事ですが、ベクトル検索を労ってあげたいと思っている方はぜひ読んでください。 ベクトル検索の限界 以前の記事の最後にも少しだけ記載しましたが、ベクトル検索は以下の問題点があります。 必要な情報がTop Kのドキュメントには含まれていない可能性がある。 チャンクの
[アップデート]Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになりました | DevelopersIO
実際に使ってみた これらのv2のレシピを実際に利用してみます。 以下のサイトより映画の評価データ（ml-latest.zip）をダウンロードして利用します。このデータを加工して、「特定のユーザーがある映画をある時間に見た」というリストとIDに紐づいた映画リストを作成し、次に見る映画をPersonalizeを使っておすすめするというシナリオです。レコード数を絞って、ユーザー10,000件に紐づく1,000,000レコードのデータを利用します。 MovieLens | GroupLens 「特定のユーザーがある映画をある時間に見た」というリストは以下のような形式でinteractions.csvという名称でS3バケット上に保存します。 USER_ID,ITEM_ID,TIMESTAMP 110561,47629,1311928128 110561,48600,1312008463 110561
![[アップデート]Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0dd670ad0e534d91b0161966fa168b1995be07e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-personalize.png)
Lily Smile Dental Clinic（リリースマイルデンタルクリニック）は、東京池袋の歯科医院です。 「患者さま一人ひとりに十分な時間を使って最善の治療を届けたい」という院長先生の強い想いから、自由診療をメインにクオリティ重視の診療を提供しています。 同クリニックでは、2023年の開院直後からエクスコアとMEOへの取り組みを開始。 現在までに「地域名+歯医者」での上位表示や予約数の増加に成功しています。 今回は院長の相原弘一朗先生に、エクスコアに支援をご依頼いただいた理由やこれまでの成果について、お話を伺いました。 抱えていた課題 看板や口コミだけでは集患が難しいと考えていた MEOやSEOで上位を獲得し、患者さんが自然と集まってくれるような仕組みを作りたかった 提供サービス MEOサービス（SEOも現在準備中） 取り組み時期 2023年6月〜現在 導入後の成果 対策開始4ヶ月
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleの検索アルゴリズムの内部資料が漏洩か？「SEO業界で長年疑われていたものが明らかに」
Reader API
Google、パソコン用 Googlebot によるクロールを完全に終了。 2024年7月5日以降
グーグル 生成AI活用した新たな検索サービスで誤情報が表示 | NHK
Google検索のアルゴリズムに関する2500ページ超の内部文書が本物であることをGoogleが認める
いざ調べ始めると大変、ネットにない古い情報を探すには
社内文書検索&QAシステムの RAG ではないところ - Algomatic Tech Blog
雑誌の図書館「大宅壮一文庫」の雑誌記事索引は人力検索エンジンだった
Google検索のアルゴリズム変更でトラフィックの90％超を失ったウェブサイトが窮状を訴える
Doing RAG? Vector search is *not* enough
RAGで人間の脳を再現。「HippoRAG」を理解する
RAGで文書を1トークンに圧縮する「xRAG」について
日本独自？ハッシュタグ付き検索が #Google で正式導入か？ #SEO
「Google広告からの誘導が6割」との分析結果。より巧妙化し、高齢者を狙う「サポート詐欺」に注意！【それってネット詐欺ですよ！】
&udm=14 | the disenshittification Konami code
Tips and Tricks for Bluesky Search - Bluesky
Googleに“まともな”AI検索は作れない | p2ptk[.]org
「かこって検索」、24年末までに2億台以上の端末に拡大へ
すべての検索ランキングシステムのアップデートをなぜGoogleはアナウンスしないのか？
ベクトル検索の苦手を克服。ナレッジグラフでRAGを作る
【支援事例】「MEOで上がれば問い合わせは増える」4ヶ月で効果を実感。口コミが来院の決め手に -webma-