MLflow のマルチモーダルトレーシングを Databricks で試す

Berkeley SkyLab の PixelRAG 論文の実装である pixelshot を試したところ、Wikipedia の Comparison_of_programming_languages ページでスクリーンショット分割に失敗し、18609px のページを 1553px と誤認識して 1 tile のみ返した。他の複数サイトで実測した結果、長尺サイト対応では既存のヘッドレスブラウザに scrollTo + screenshot の反復機能を足すだけで十分であることが判明。

Google Gemini + Drive APIで構築した複雑な外部脳システム（数ファイル、認証・同期処理多数）を、Claude + ローカルファイル書き込みの190行スクリプト1本に置き換えた。「公式性の罠」に陥らず、核心（SSOT設計）と周辺インフラを分離していたため、保存先変更時に周辺を丸ごと捨てられた。

LLM長期対話の「鈍り（context rot）」と「偏り（attractor）」という二つの劣化に対し、セッションを「延命」ではなく「切れてよい構造」にする方針で Streamlit ツールを開発。Git の地層管理に倣い、要約ではなく時系列の「地層」として記録を保持し、セッション間での概念の変遷を照合キーワードで追跡。実装失敗を含めた設計判断の記録。

Claude・GPT・Gemini・Grok を単一インターフェースで束ねた TRPG-GM Kataribe の開発で遭遇した「OpenAI 互換は嘘」の実例。tool_choice・JSON Schema・プロンプトキャッシュは各社の解釈が異なり、エラーなく無言で仕様が落ちる。canonical 型とアダプタ 3 枚で方言を吸収し、トークン数で一次検証する設計を紹介。