LLMとの長期対話をGitのように運用する——セッション地層管理ツール「墨継ぎ」を作った

Gemini 3.1やClaudeの1M〜2Mトークンコンテキストウィンドウの登場により、RAGが不要になるという考えが広がっているが、実際には知識ベース全体をプロンプトに入れる運用はコスト（約1,250倍）・速度（30〜60倍遅い）・精度（lost-in-the-middle問題で約60%に低下）で大きな代償がある。質問の性質に応じてlong-contextとRAGを使い分けるハイブリッド構成が実務的な選択肢。

Claude Certified Architect - Foundations 資格取得を目指す向けに、Anthropic Academy の「Building with the Claude API」コース内のプロンプト評価セクションを解説。テストケース自動生成、Claude API でのタスク実行、モデルベース・コードベース評価の 2 種類による採点、最終スコア集約といった評価パイプラインの構築手法をコード引用で具体化している。

Berkeley SkyLab の PixelRAG 論文の実装である pixelshot を試したところ、Wikipedia の Comparison_of_programming_languages ページでスクリーンショット分割に失敗し、18609px のページを 1553px と誤認識して 1 tile のみ返した。他の複数サイトで実測した結果、長尺サイト対応では既存のヘッドレスブラウザに scrollTo + screenshot の反復機能を足すだけで十分であることが判明。

Google Gemini + Drive APIで構築した複雑な外部脳システム（数ファイル、認証・同期処理多数）を、Claude + ローカルファイル書き込みの190行スクリプト1本に置き換えた。「公式性の罠」に陥らず、核心（SSOT設計）と周辺インフラを分離していたため、保存先変更時に周辺を丸ごと捨てられた。