LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較

テクノロジーカテゴリーの変更を依頼記事元:

zenn.dev/pharmax

17 usersがブックマークコメント

1

現在プライベートモードです設定を変更する

17 users zenn.dev/pharmax

現在プライベートモードです設定を変更する

みんなの興味と感想が集まることで新しい発見や、深堀りがもっと楽しくアカウントをお持ちの方はログインページへ

記事へのコメント1件

●注目コメント ●新着コメント

sh19910711 "LLM-as-a-Judge: LLMにLLMの出力を評価させる / GPT-4 Turboが最も精度が高いという結果 + 私たちの記述するプロンプトがGPT-4 Turboに最適化されているためにGPT-4 Turbo以外は、本来のポテンシャル以上に精度が低くなっている" ●*program ●prompt ●評価 2024/06/06 リンクその他 ● ● ● 注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の﹁建設的コメント順位付けモデルAPI﹂を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fzenn.dev%2Fpharmax%2Farticles%2F9b5fba24c252f3" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://akarinohon.com/text/taketori.cgi/https://zenn.dev/pharmax/articles/9b5fba24c252f3">LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較</a><a href="https://akarinohon.com/text/taketori.cgi/https://b.hatena.ne.jp/entry/s/zenn.dev/pharmax/articles/9b5fba24c252f3">はてなブックマーク - LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較</a></div></iframe>

プレビュー

はてなブックマークボタンを作成して埋め込むこともできます

規約違反を報告

いまの話題をアプリでチェック！ ●バナー広告なし ●ミュート機能あり ●ダークモード搭載アプリをダウンロード

usersに達しました！

さんが1番目にブックマークした記事﹁LLMによるLLMの評...﹂が注目されています。気持ちをシェアしよう LLM-as-a-Judgeとは LLMをアプリケーションに組み込んでいると、LLMの出力を評価する必要が出てきます。 LLMの﹁出力は確率的である︵毎回異なる︶﹂ためです。また、LLMの出力はハルシネーションを含む可能性がありますし、間違いではないにしてもサービス提供者の意図とは違った出力をエンドユーザーに提示してしまうかもしれません。 LLMの出力を評価して、出力が適切でないことを判定できれば、ユーザーには表示しない、出力を再度行わせる︵出力をLLMに修正させるのもよいでしょう︶というようなことができるようになります。ただし、LLMのすべての出力を人が評価していたのでは、手が回りません。そこで、注目されているのが、LLM-as-a-Judgeと呼ばれるLLMにLLMの出力を評価させる手法︵以後、単に評価と呼ぶ︶です。評価にLLMを使えば、出力をすぐに評価し、評価結果をアプリケー ●あとで読む