LLMによるLLMの評価とその評価の評価について

テクノロジーカテゴリーの変更を依頼記事元:

zenn.dev/seya

24 usersがブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

LLMによるLLMの評価とその評価の評価について

LLMをプロダクトに活用していく上でプロンプトの出力結果を評価していかなければいけない訳ですが、可能... LLMをプロダクトに活用していく上でプロンプトの出力結果を評価していかなければいけない訳ですが、可能な限り自動で定量評価できると改善もしていきやすくなり大変助かります。そこで所謂LLM-as-a-Judgeと呼ばれるLLMに評価してもらう手法を取るわけですが、やはり「このスコアはどれくらい信じられるのか...?」という疑問が湧いてきて"評価の評価"がしたくなってきます。というところで、本記事では使いそうなLLM-as-a-Judgeの手法について調べた後、"評価の評価"の仕方を調べてみた結果をまとめていきます。 LLM-as-a-Judgeの手法まず初めに、LLM-as-a-Judgeにも様々な手法が存在するので、それらを確認していきます。スコアベース一番ベーシックなものはスコアをつけてもらうやり方です。次のように実際のインプット、それに対するLLMの回答をプロンプトに加えて、

ブックマークしたユーザー

gmdualis4792024/05/09
yoshioka6272024/05/09
pekepoke7772024/05/09
ducky199992024/05/09
jack09092024/05/09
bython-chogo2024/05/09
corner05302024/05/09
triceratoppo2024/05/09
yug12242024/05/08
zope2024/05/08
nunulk2024/05/08
odangosan2024/05/07
samurairodeo2024/05/06

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx