本番でAIが「たまに落ちる」を許す設計 — LLM呼び出しの信頼性エンジニアリング（リトライ・タイムアウト・フォールバック）実践ガイド

TypeSafe AI の Jev（System One モデル）と Claude Haiku 4.5 をテトリス対戦させ、判断速度と精度の差を検証。Jev はテキスト生成ではなく確率付き選択を返すため、同一盤面からの候補選択タスクで約 1/24 のコスト削減と応答速度向上を体感できるデモを構築。

Mac miniで自律AIを毎日毎時起動させる実験を行っている企業の事例。売上は0円だが、SQLiteで蓄積した台帳の精度と運用体制が完成している。AIの願望的観測を防ぐため、実験登録時に判定式を完全固定する、判定日の作業を事前に「押すだけ」に整える、60KBの文書上限と全文検索で長期運用のコンテキスト破綻を防ぐという3つの実装を紹介。

TypeSafe 社の Jev（System One Model）を使用したニュース選別を 53 日分の実データで検証。速度・コストは本物で 1 日約 1 秒・約 $0.001 だが、要約文だけでは採用記事の順位判定に不向き。フィルタとしては有効で、実装時の罠（ラベリング、期待値計算）を詳解。

Claude Code が OpenTelemetry で送出できるメトリクス・ログ・トレースについて、実装環境で実際に計測した結果をまとめた記事。ユーザー別モデル使用量・ツール呼び出し回数・編集提案承認率は取得可能だが、リポジトリ別分類やプロジェクト別コスト分離は標準設定では不可能。トレース有効化（ベータ機能）でこれらの制限の一部は解決できる。