表記揺れ検出ツール「テキストゆれないくん」 - inzkyk.xyz
その他のサンプル: Wikipedia:良質な記事, Wikipedia:長いページ 紹介 「テキストゆれないくん」は文章に含まれる表記揺れを検出するツールです。「コンピュータ」と「コンピューター」、あるいは「全て」と「すべて」といった同じ単語の別表記が使われていないかどうかをチェックできます。 「テキストゆれないくん」は元々このサイト (https://inzkyk.xyz/) の文章校正用に開発されました。機能が成熟してきたので UI を付けて公開します。 このページから手動で使う限り、「テキストゆれないくん」は商用/非商用を問わず自由に使って構いません。「テキストゆれないくん」は無保証で提供されます。 特徴 ウェブブラウザから使える このページをウェブブラウザで開いているなら、「テキストゆれないくん」は既に動いています。このページの最初にあるのは「テキストゆれないくん」を使うための完
そあん（soan）：古活字画像を用いて現代日本語テキストをくずし字画像に変換／共有するサービス
ライブラリのアプリ化 現代のニュースをくずし字で読んでみませんか？内容がわかるテキストをくずし字で読んでみると、くずし字に対する印象が変わるかもしれません。 edomi ニュース その他の事例については、活用事例を参照してください。 構成 古活字とくずし字 そあん（soan）で用いる「古活字」とは、今から400年ほど前に使われた印刷技術に由来する言葉です。一方「くずし字」とは、くずして書かれた文字を指す言葉です。くずし字は、印刷では古活字版だけでなく整版印刷にも使われましたし、写本などの手書きの文字（草書体）も、その多くはくずし字です。一方、古活字の中には、文字を崩していないものもあります。このように、古活字は印刷技術を指す言葉、くずし字は文字の形を指す言葉、という違いがあります。 そあん（soan）は、テキストをくずし字画像に変換する方法として、古活字画像を組み合わせる方法を用いるサービ
Jagger - C++ implementation of Pattern-based Japanese Morphological Analyzer
Jagger - C++ implementation of Pattern-based Japanese Morphological Analyzer About Jagger is a fast, accurate, and space-efficient morphological analyzer [1] inspired by the dictionary-based longest matching for tokenization and the precomputation of machine-learning classifiers. Jagger applies patterns, which are extracted from morphological dictionaries and training data, to input from the begin
最長一致パターンに基づく高速・高精度な日本語形態素解析
ynaga@iis.u-tokyo.ac.jp 1/2 1/20 1,000,000 / C++ 1000 http://www.tkl.iis.u-tokyo.ac.jp/∼ynaga/jagger 1 Twitter Zoom, Slack [1] GPU [2, 3] [4, 5] ( ) () (MeCab, Vaporetto) MeCab 15 Vaporetto 10 (M2 MacBook Air 1,000,000 /) 2 [6] ( ) [7, 8] [9, 10] [11] ― 351 ― 言語処理学会 第29回年次大会 発表論文集 (2023年3月) This work is licensed by the author(s) under CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Algor
続・MeCabの分かち書きを並列処理で高速化する
まとめ Pythonから巨大なテキストファイルを並列に読み込み・処理・書き込みする方法を紹介 読み込み: テキストファイルをバイト列として見て、プロセスごとにファイルの読み込み区間を割り振る 処理: multiprocessingを用いた並列処理 書き込み: プロセスごとにtmpファイルへ並列に書き込み & catによる結合 はじめに 日本語形態素解析器であるMeCabを用いると、日本語のテキストに対する解析や処理が簡単に実行できます。 特に最近は、BERTをはじめとする深層学習モデルへの入力のための前処理として、MeCabなどを用いて文を単語単位に分割する「分かち書き」を行う機会が多くなっています。 MeCabはコマンドラインから実行することもできますし、Pythonなどからプログラム的に呼び出すことも可能です。 特にコマンドラインから実行する場合は、インストールさえ終わっていれば以下の
ShodoのAI校正APIを一般公開しました - ライティングラボ by Shodo
ShodoのAI校正APIを一般公開しました ShodoのAI校正APIを一般公開しました！ Shodoにユーザーアカウントがあれば、誰でも校正APIをご利用いただけます。 こんな文章のタイポや変換ミスをチェックしてくれます： 手元で書いたドキュメント Markdownで書いている技術書 エディターで書いた記事 ShodoのCLIコマンドもオープンソースで公開されています： $ pip3 install shodo $ shodo login $ shodo lint README.md Linting... 3:11 もしかしてAI 飛行機の欠便があり、運行（→ 運航）状況が変わった。 バ 6:5 もしかしてAI ません。 これが私で（→ の）自己紹介です。 こ 8:11 「ご」や「して」を付けると日本語として正しくなります こんにちは。なんでも相談（→ 相談して）ください。 こちらを.
MeCab互換な形態素解析器Vibratoの高速化技法 - LegalOn Technologies Engineering Blog
こんにちは。LegalForce Researchで研究員をしている神田 (@kampersanda) です。 LegalForce Researchでは、MeCab互換の形態素解析器Vibrato（ヴィブラ〰ト）を開発しています。プログラミング言語Rustで実装しており、高速に動作することが主な利点です。Vibratoはオープンソースソフトウェアとして以下のレポジトリで公開しています。 github.com 本記事では、Vibratoの技術仕様を解説します。以下のような方を読者として想定します。 自然言語処理の要素技術に興味のある方 データ構造・アルゴリズムに興味のある方 Rustでの自然言語処理に興味がある方 Vibratoについて 最小コスト法による形態素解析 単語ラティスの構築 最小コスト経路の計算 高速化の取り組み 辞書引きのキャッシュ効率化 実装での注意点 連接コスト参照のキャ
文賢の基本的な機能と使用手順紹介 | 文賢ヘルプセンター | 文賢の使い方や活用法がわかる公式ヘルプ
この記事では文賢の基本的な機能と使用手順を説明しています。 （※画面キャプチャが最新の文賢の画面と一部異なる場合がありますが、操作方法等に違いはありません） メイン機能の紹介 文賢を使って、文章をチェックする方法をお伝えします。 まず、文賢でチェックしたい文章をドキュメントファイルなどからコピー＆ペーストしてテキストエリアに貼り付けます。 もしくは「Chrome拡張機能」を使って、チェックしたい文章を文賢に送ってください。 （拡張機能には「ブラウザ上のテキストを、右クリックから文賢に送る」ものと、「Gmailの作成画面から文章を送るもの」の2種類あります。拡張機能については詳しくはこちらの記事をご確認ください） 順番にチェックする項目を紹介していきます。 1.「文章表現」を使って豊かな表現を加える サイドメニューの「文章表現」をクリックすると、画面の右側が「文章表現」専用のウィンドウに切り
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 自然言語処理の教科書: 小町守: Digital Ebook Purchas
https://www.anlp.jp/proceedings/annual_meeting/2016/pdf_dir/D6-5.pdf
GitHub - greyblake/whatlang-rs: Natural language detection library for Rust. Try demo online: https://whatlang.org/
GitHub - google/budoux
Getting Started with Natural Language Processing
Learn about grammar check in Search - Google Search Help
https://www.anlp.jp/proceedings/annual_meeting/2011/pdf_dir/C4-3.pdf
DeepL Write: AI-powered writing companion
GitHub - graykode/commit-autosuggestions: A tool that AI automatically recommends commit messages.
GitHub - daac-tools/vibrato: 🎤 vibrato: Viterbi-based accelerated tokenizer
GitHub - messense/jieba-rs: The Jieba Chinese Word Segmentation Implemented in Rust
GitHub - taishi-i/awesome-japanese-nlp-resources: A curated list of resources dedicated to Python libraries, LLMs, dictionaries, and corpora of NLP for Japanese
