日本語LLM 9種を量子化して回答内容を比較調査してみた - Qiita

テクノロジーカテゴリーの変更を依頼記事元:

qiita.com/wayama_ryousuke

38 usersがブックマークコメント

コメント

1

記事へのコメント1件

注目コメント
新着コメント

misshiki “量子化の前後で日本語LLMの出力がどう変化するか、ベンチマーク成績と回答の長さの観点から調査。成績変化は「全てのモデルが同じように低下する」のではなく、変わらないモデルや、好成績を残すモデルもある。”

2024/04/11 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

日本語LLM 9種を量子化して回答内容を比較調査してみた - Qiita

TL;DR 量子化しても成績が下がりにくいモデルと、大きく下がるモデルがある一部のモデルは量子化すると... TL;DR 量子化しても成績が下がりにくいモデルと、大きく下がるモデルがある一部のモデルは量子化すると回答が極端に短くなる量子化によって回答が短くなる度合いは、量子化前モデルの回答の長さと相関がある可能性があるはじめに皆さんは量子化したLLMを使っていますか？深層学習における量子化（quantization）とは、モデルのパラメータを少ないビット数で表現することです。通常のモデルは float32 などの高精度なデータ型を使ってパラメータを表現しますが、この精度を float16 や int8 に下げることを量子化といいます。量子化による最大のメリットは、モデルのメモリ使用量を削減できることです。メモリの大きなモデルを動かすためには、大容量のメモリを搭載したGPUが必要ですが、量子化によってモデルのメモリ使用量を削減することで、より多くのGPUでモデルを動かすことができます

ブックマークしたユーザー

miguchi2024/04/22
TAK_TAK2024/04/20
igrep2024/04/17
warud2024/04/17
lanius2024/04/14
noeloasis2024/04/12
dhesusan46492024/04/12
yowa2024/04/11
Wacky2024/04/11
developmaso2024/04/11
triceratoppo2024/04/11
voyacky2024/04/11
misshiki2024/04/11
kyata11022024/04/11
kakushika2024/04/11
lasherplus2024/04/11
kuumon2024/04/11
knok2024/04/11

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx