Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG
こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対応のためのプラグイン追加 kuromoji Analyzerを指定したマッピング定義の例 kuromojiプラグイン機能 カスタムしたAnalyzerのマッピング定義 Analyzerの動作確認 modeを選択した場合のマッピング定義の例 Analyzer適用の注意点 kuromoji以外の
自分流Elasticsearch入門 - $shibayu36->blog;
【2016/09/10追記】 勉強しなおして、Elasticsearchの知識についてさらにまとめた記事を書いたので、そちらを参照してもらうと良さそうです。 blog.shibayu36.org 最近Elasticsearchの勉強をした。ただ、入門のためどのような資料が適しているかを知るのが大変だった。そこでどのように勉強したかについてメモをしておく。少しまとめエントリー的なノリになりそう。 Elasticsearchの概念を知る 全文検索技術の基本を知る Elasticsearchのドキュメントのたどり方を知る の順に学習を進めていった。 Elasticsearchの概念を知る Elasticsearchの学習を始めようとした時に、まずは基本からということで以下の本を読んでいた。 高速スケーラブル検索エンジン ElasticSearch Server (アスキー書籍) 作者:Ｒａｆａｌ
夏休みの工作２：MongoDB で全文検索エンジン | yosshyの日記 | スラド
新進気鋭の NoSQL DB「MongoDB」には MapReduce フレームワークが備わっており、何故か JavaScript で処理をプログラミング出来る。 最近見たこのページで、 ところでこの単語の出現回数出力、ちょっと手を加えるだけで検索エンジンの転置インデックスが作れることが分かります。map の emit 時に (単語 => 1) ではなく (単語 => ドキュメントID) とします。reduce では (単語 => ドキュメントIDのリスト) とします。出力は単語順に並べられているので、これだけでごくシンプルではありますが、転置インデックスの完成です。MapReduce が検索エンジンのインデックスを作成するのに有効であることが分かります。 1 // register word splitter function 2 db.system.js.save( { _id :
MongoDBなら検索エンジンが簡単に作れる - mizchi log
形態素解析でインデックスを作って検索する Mongoでの全文検索 - Docs-Japanese - 10gen Confluenceを参考に、すぐ実装できた 試しに、青空文庫から走れメロス引っ張ってやってみた。 ライブラリ MongoDB API Docs for python > easy_install pymongo SREngine: Sein blog PythonからMeCabを使う。 ごにょごにょやっていれる やってみる #!/usr/bin/env python # encoding:utf-8 import pymongo import MeCab import urllib import re mecab = MeCab.Tagger("-Ochasen") con = pymongo.Connection() col = con.test.row def get_s
PHPとMongoDBで部分一致検索をやってみた - F.Ko-Jiの「一秒後は未来」
先日ドットインストールに MongoDB の基礎レッスンを追加したこともあって、最近よく MongoDB をさわるようになりました。 PHP から MongoDB を扱うには、PECL の Mongo というライブラリを使います。 <?php $mongo = new MongoClient(); $cursor = $mongo->test->foo->find( array( 'is_new' => 1 ) ); foreach ($cursor as $doc) { print_r($doc); } これは is_new の値が 1 のデータを取得する例。PHPなので find()の取得条件を構築するには配列を使います。 同じ処理を MongoDB 自身の書き方で書くと、 $db.foo.find( { is_new: 1 } ); このようになります。find() の引数はオブジェ
Fessで作るApache Solrベースの全文検索サーバー ～ 導入編
はじめに ドキュメントは日々増えて続けています。ドキュメントの数が多くなるほど、目的の情報は見つけにくくなるため、それらのドキュメントを効率よく管理する方法が必要です。その解決策の一つとして、複数のドキュメント（ファイル）をまたいで検索することができる「全文検索サーバー」の導入が挙げられます。 Fessは簡単に導入できる、Javaベースのオープンソース全文検索サーバーです。Fessの検索エンジン部分にはApache Solrを利用しています。Solrは、2億ドキュメントもインデックス可能と言われる非常に高機能な検索エンジンです。一方で、Apache Solrで検索システムを構築しようとする場合、クローラ部分などを自分で実装する必要性があります。Fessではクローラ部分にSeasar Projectから提供されるS2Robotを利用して、ウェブやファイルシステム上の様々な種類のドキュメントを
オープンソースの全文検索エンジンSolrについてメモ - K52.NIKKI ver3.0
オープンソースの全文検索エンジンをいろいろ調べてみて、 Solrってのがなんか良さそうだったのでインストールしたりしてみた。 オープンソースの全文検索エンジンにはいろいろあって、有名なのはNAMAZUとかSenna。 NAMAZUは小中規模向けっぽい。 SennaはMySQLを置き換える格好になるのでちょっと使いたくないなと思ってた。 で、Solrは単独で機能する上にかなり大規模までいけるらしい。20億インデクスくらいいけるとどっかに書いてあった。 ちなみにエンジンのコアはLuceneというやつで、それにいろいろくっつけて便利にしたのがSolr。さらにGUIとクローラーまでくっつけたFessというのもあって、これは日本人が作ってたりする。クローラー付きのものにはNutchという海外産のものもある。 でもどれも全体的にドキュメントが少ない。今回試してみたけど、結局よくわからん部分も多く、実戦
3行でできる超お手軽全文検索 - mixi engineer blog
梅雨。部屋干しした洗濯物による異臭騒ぎに苦しむmikioです。今回は、Tokyo Cabinetのテーブルデータベースで超お手軽に全文検索をする方法について説明します。 使い方 テーブルデータベースについてまずおさらいしておきましょう。PerlやRubyのハッシュのようにコラム名とその値を関連づけた構造を、主キーを識別子として保存するデータベースです。例えばRubyからデータを保存するに以下のように行います。データベースであることをほとんど意識させないというのが素敵ポイントです。APIはCでもPerlでもRubyでもほとんど同じなので、言語にかかわらず同じようにレコードを操作できます。 require 'tokyocabinet' include TokyoCabinet # データベースを開く tdb = TDB::new tdb.open("casket", TDB::OWRITER
Ngram(N-gram)とは何か & 形態素解析との比較
全て 1.このサイトについて 2.作品DB開発/運用 3.ホームページ制作技術 4.Perl 5.C言語 / C++ 6.検索エンジン&SEO 7.サッカー 8.自分のこと 9.Linux 10.旅行 11.思ったこと 12.パソコン 13.Berkeley DB 14.その他技術系 15.企画 16.スマートフォン 17.鑑賞 18.皆声.jpニュース 19.インターネット業界 20.運用マニュアル(自分用) 21.技術系以外実用書 22.料理 23.ALEXA 24.アニメ 25.会計 26.漫画 27.設計書 28.色々サイト作成 29.サーバー 30.自分専用 31.生活 32.OP/ED/PV 33.ゲーム 34.DB整備 35.新規開始作品紹介 36.英語圏の話題 37.大道芸 38.映画 39.PHP 40.ダイエット 41.Mac 42.JavaScript 43.MySQ
1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
検索エンジンはいかにして動くのか？ 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
MySQL :: MySQL 8.0 リファレンスマニュアル :: 12.10 全文検索関数
MATCH (col1,col2,...) AGAINST (expr [search_modifier]) search_modifier: { IN NATURAL LANGUAGE MODE | IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION | IN BOOLEAN MODE | WITH QUERY EXPANSION } MySQL では、次のような全文インデックス設定および検索がサポートされています。 MySQL の全文インデックスは、型 FULLTEXT のインデックスです。 全文インデックスは、InnoDB または MyISAM テーブルでのみ使用でき、CHAR、VARCHAR、または TEXT カラムにのみ作成できます。 MySQL には、中国語、日本語および韓国語 (CJK) をサポートする組込みの全文 ngram パーサー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブックマーク全文検索の精度改善
MongoDB - Sign In
[ヅラド] MySQL を使った全文検索 (Full-Text Search)
MySQLで全文検索 - FULLTEXTインデックスの基礎知識｜blog｜たたみラボ