Jev の「校正された確率」を実測: ECE は Haiku と互角、差は別の所に出た

AWS ALASと構成情報を突き合わせてCVE判定を行うシステムで、プロンプト指示では不足キー名が自然言語テキストに埋没する問題が発生。Pydanticの型定義と@model_validatorでmissing_config_keysフィールドを専用化し、人間の手動翻訳が不要な機械可読なデータ出力を実現した。

基本情報技術者試験向け学習サービスでAIチャット機能を削除した個人開発者が、その判断の背景を述べている。チャットはユーザ数に比例して課金が増える唯一の機能であり、実装後一度も正常動作せず、インフラ構成の半分を占めていたため、実装当初の「構成上もっとも重要な判断」から設計の見直しに至った。

TypeSafe AI の Jev（System One モデル）と Claude Haiku 4.5 をテトリス対戦させ、判断速度と精度の差を検証。Jev はテキスト生成ではなく確率付き選択を返すため、同一盤面からの候補選択タスクで約 1/24 のコスト削減と応答速度向上を体感できるデモを構築。

Mac miniで自律AIを毎日毎時起動させる実験を行っている企業の事例。売上は0円だが、SQLiteで蓄積した台帳の精度と運用体制が完成している。AIの願望的観測を防ぐため、実験登録時に判定式を完全固定する、判定日の作業を事前に「押すだけ」に整える、60KBの文書上限と全文検索で長期運用のコンテキスト破綻を防ぐという3つの実装を紹介。