• はてなブックマーク
  • テクノロジー
  • Pythonで省メモリに大量の文字列を扱う工夫 - MNTSQ Techブログ
  • Twitterでシェア
  • Facebookでシェア

Pythonで省メモリに大量の文字列を扱う工夫 - MNTSQ Techブログ

テクノロジー カテゴリーの変更を依頼 記事元:tech.mntsq.co.jp
適切な情報に変更
244 usersがブックマーク コメント15

    記事へのコメント15件

    • 注目コメント
    • 新着コメント
    agricola
    agricola 標準のarrayモジュールの影が薄いどころか無い件（あるある過ぎて草も生えないが）。文字列扱うためだけにnumpyインポートするんか？/arrayはsigned charからdoubleまで扱えるのに、公式を読まない手合いは度し難い。

    2021/05/22 リンク

    その他
    strawberryhunter
    strawberryhunter 「2. 短い文字列が大量にある場合は、とりあえず結合し」ガラケーのアプリはこんな感じでゴミみたいなハードウェアスペックのために努力していたと聞く。

    2021/05/22 リンク

    その他
    yukky2000
    yukky2000 初見でなんだか「牛刀をもって鶏を割く」の類に見えたんだけど、似たような感想の人が多いようで安心した。

    2021/05/22 リンク

    その他
    ys0000
    ys0000 “trie tree”Pythonでこういうライブラリがあったんだなぁ。知らんかった。このレベルで使うことになるかわからんけど全体的に参考になった。

    2021/05/23 リンク

    その他
    thekoruku
    thekoruku 一番最初に金で解決するってあるのに・・・

    2021/05/22 リンク

    その他
    hylom
    hylom 状況が分からない、機械学習系だと確かにそういうケースはありそうなんだけどそれだとマシンパワーで解決した方が良くない……？ 他のライブラリとの連携とかが不要ならCとかで外部ライブラリ書くのが無難な気もする

    2021/05/22 リンク

    その他
    yukky2000
    yukky2000 初見でなんだか「牛刀をもって鶏を割く」の類に見えたんだけど、似たような感想の人が多いようで安心した。

    2021/05/22 リンク

    その他
    mobits
    mobits っぱ文字列処理はawkっしょ

    2021/05/22 リンク

    その他
    suzusime
    suzusime Pythonの文字列型ってUTF-8じゃなくてそんな特殊な符号化（文字列に含まれる文字種に応じてLatin-1, UCS-2, UCS-4を使い分ける）してるのか

    2021/05/22 リンク

    その他
    Shinwiki
    Shinwiki どうしてこんなに小難しいことが述べれるのに、解決に別の発想が出ないんだろう？という記事がやたら多くなってきた感がある。最近

    2021/05/22 リンク

    その他
    strawberryhunter
    strawberryhunter 「2. 短い文字列が大量にある場合は、とりあえず結合し」ガラケーのアプリはこんな感じでゴミみたいなハードウェアスペックのために努力していたと聞く。

    2021/05/22 リンク

    その他
    miau
    miau ブコメにあるarray、strやbytesの配列が保持できるわけではないよね…？だったら「4. str型/bytes型の範囲で工夫する」とあまり変わらないような…？/「各文字列の始点のindexをnumpyのint arrayで持つ」に対する指摘とのこと

    2021/05/22 リンク

    その他
    quabbin
    quabbin sys.getsizeof(b'a') は 34。もっともASCIIのみだから、「文字列」ができることと等価じゃないのは確かだけど。その意味で言えば、.encode('utf-8')ってことになるかねぇ。無駄に確保されて開放されたゴミメモリが気にはなるけど

    2021/05/22 リンク

    その他
    mangakoji
    mangakoji フツーにarrayのバイト列 x sjis 使っちゃダメなの?

    2021/05/22 リンク

    その他
    yumu19
    yumu19 へー。（タイトル見て処理系での話かと思った）

    2021/05/22 リンク

    その他
    agricola
    agricola 標準のarrayモジュールの影が薄いどころか無い件（あるある過ぎて草も生えないが）。文字列扱うためだけにnumpyインポートするんか？/arrayはsigned charからdoubleまで扱えるのに、公式を読まない手合いは度し難い。

    2021/05/22 リンク

    その他
    onesplat
    onesplat “Pythonでは1つobjectを作るために50byte程度が消費されます” でっかw

    2021/05/22 リンク

    その他
    placeinsuns
    placeinsuns “trie tree”

    2021/05/22 リンク

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック！
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    Pythonで省メモリに大量の文字列を扱う工夫 - MNTSQ Techブログ

    たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通...

    ブックマークしたユーザー

    • techtech05212023/04/30 techtech0521
    • marutaku01312021/07/15 marutaku0131
    • heatman2021/06/21 heatman
    • clavier2021/06/20 clavier
    • meshitahiro2021/06/07 meshitahiro
    • e10kg2021/05/31 e10kg
    • cavorite2021/05/28 cavorite
    • fujitu2021/05/25 fujitu
    • ishideo2021/05/25 ishideo
    • shallow17292021/05/24 shallow1729
    • makopy_inside2021/05/24 makopy_inside
    • mapk0y2021/05/24 mapk0y
    • sanko04082021/05/23 sanko0408
    • ys00002021/05/23 ys0000
    • nishitki2021/05/23 nishitki
    • dryt11872021/05/23 dryt1187
    • sotokichi2021/05/23 sotokichi
    • napsucks2021/05/22 napsucks
    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事

    はてなブックマーク

    公式Twitter

    はてなのサービス

    • App Storeからダウンロード
    • Google Playで手に入れよう
    Copyright © 2005-2024 Hatena. All Rights Reserved.