速度の高みを目指す：高速な単語分割器 Vaporetto の技術解説 - LegalOn Technologies Engineering Blog

テクノロジーカテゴリーの変更を依頼記事元:

tech.legalforce.co.jp

79 usersがブックマークコメント

記事へのコメント3件

注目コメント
新着コメント

knok KyTeaの仕組みを知った。しかし精度に関する検討はないのかな。品詞情報を見ない分下がっていそうな気がしなくもないけど

2021/09/29 リンク

knok KyTeaの仕組みを知った。しかし精度に関する検討はないのかな。品詞情報を見ない分下がっていそうな気がしなくもないけど

2021/09/29 リンク

sh19910711 10MB / "Vaporetto のリポジトリには、Web ブラウザ上で単語分割を行うサンプルコードと、10 MBに満たない比較的軽量な単語分割モデルを同梱 / JavaScript で実装された単語分割器: TinySegmenter, Rakuten MA, kuromoji.js"

2021/09/29 リンク

rti7743 つまり、KyTea とほぼ同じ性能で4倍速を実現したということかな。mecabよりも3割ぐらい早いと。ただ10MBの辞書はやはりでかいので、組み込む場合は辞書がほぼ不要なTinySegmenterでいいんでねとは思うけど。

2021/09/28 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

速度の高みを目指す：高速な単語分割器 Vaporetto の技術解説 - LegalOn Technologies Engineering Blog

こんにちは。LegalForce Research でエンジニアをしている赤部 (@vbkaisetsu) です。今回は、弊チーム... こんにちは。LegalForce Research でエンジニアをしている赤部 (@vbkaisetsu) です。今回は、弊チームが開発した新しい高速な単語分割器 Vaporetto（ヴァポレット）の技術解説を行います。Vaporetto はプログラミング言語 Rust で開発されています。想定する読者は、自然言語処理のアルゴリズムに興味がある人 Rust によるプログラミングに興味がある人です。単語分割器 Vaporetto はオープンソースソフトウェアであり、ソースコードは以下のリポジトリで公開しています。 https://github.com/legalforce-research/vaporetto Vaporetto という名前は、イタリアのヴェネツィアで運行されている水上バスから取りました。ヴェネツィアの様子。写真右端の黄色いラインの入った建物がヴァポレットの乗り場。