LLM-as-judge（AI審判）は初期段階では信用できない──ドメイン知識で5回修正した実装記
Hiroba による自動要約
LLMの出力品質を別のLLMに採点させるLLM-as-judge手法の実装で、初版は正しい文章を不合格にし、明らかな捏造を見逃していた。禁止リスト方式からホワイトリスト方式へ設計を転換し、5回の修正を通じて、ようやく実用化できる水準に到達。人間のドメイン知識による検証が不可欠であることを実証。
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 5453 件あります。
関連する記事
同じタグの記事
ChatGPT・Claude・Codex を連携させた AI 開発チームの構築【AI 間 Handoff（要約編）】
QiitaChatGPT を設計・管理、Claude を実装、Codex をレビューに割り当て、Markdown ファイルによる依頼・回答の受け渡しを MCP・GitHub・Python オーケストレーターで仕組み化した試作報告。Claude・Codex の回答の GitHub 送信と依頼の保全は限定 2 件の手動 E2E で確認済み、AI の自動起動や無人での全往復は未実現。二重処理防止・停止制御・権限範囲の制限が主な課題で、複数 AI の分業運用を検討する開発者向け。
ShikakuPassの運用保守作業でClaude Codeを活用した話
Zennオンライン資格学習サービスShikakuPassにおけるRailsバージョンアップ、ElastiCache廃止、Aurora PostgreSQLメジャーバージョンアップの実施記録。Claude Codeにはリリースノート調査・影響範囲の洗い出し・手順書の叩き台作成を任せ、人間はレビューと判断、本番作業を担当。Railsのアップグレード手順をSkillとして残し、`/rails-minor-upgrade` で再現可能にした事例も含む。Rails/AWS環境の運用保守にClaude Codeを組み込みたいエンジニア向け。
Opus 5.5、10月の AI リリースラッシュを生き抜く 😂
Redditr/ClaudeAI に投稿された、10月に相次いだ各社 AI モデルのリリースのなかで Opus 5.5 が使われ続けている状況を題材にしたネタ動画 (TekonBurns が X で共有) の紹介。投稿者は Claude Code の常用ユーザーに対し、Opus 5.5 を引き続きメインモデルとしているか、この1か月で使用感に変化があったかを質問。モデル選定の実感値を比較したい Claude Code ユーザー向けのディスカッションスレッド。