AI学習サービスから、AIチャットを消した

AWS ALASと構成情報を突き合わせてCVE判定を行うシステムで、プロンプト指示では不足キー名が自然言語テキストに埋没する問題が発生。Pydanticの型定義と@model_validatorでmissing_config_keysフィールドを専用化し、人間の手動翻訳が不要な機械可読なデータ出力を実現した。

TypeSafe AI の Jev は型付き判定と確率を返すモデル。Claude Haiku 4.5 と同じベンチマーク問題で並べて測定したところ、ECE (校正誤差) では有意差がなかったが、正答率と確信度で当たり外れを見分ける力 (Brier / AUROC) では Jev が勝った。「校正されている」というより「よく当たり、外しそうな問題では確信度を下げる」モデルであることが判明。

TypeSafe AI の Jev（System One モデル）と Claude Haiku 4.5 をテトリス対戦させ、判断速度と精度の差を検証。Jev はテキスト生成ではなく確率付き選択を返すため、同一盤面からの候補選択タスクで約 1/24 のコスト削減と応答速度向上を体感できるデモを構築。

Mac miniで自律AIを毎日毎時起動させる実験を行っている企業の事例。売上は0円だが、SQLiteで蓄積した台帳の精度と運用体制が完成している。AIの願望的観測を防ぐため、実験登録時に判定式を完全固定する、判定日の作業を事前に「押すだけ」に整える、60KBの文書上限と全文検索で長期運用のコンテキスト破綻を防ぐという3つの実装を紹介。