Grok の Automations 全機能を検証した

Claude Desktop が claude:// URL スキームに対応していることを利用し、macOS のターミナルと Finder から Cowork をカレントディレクトリで起動する方法を紹介。zsh 関数と Automator クイックアクション経由でフォルダパスを URL エンコードして open コマンドに渡すだけで実装可能。

.claude/ディレクトリの設定ファイルには、JSON 構文は正しいが意図どおりに動作しない無視される状態が複数ある。matcher が対応していないイベント、if フィールドが評価されないイベント、非推奨キー、ハンドラの型ごとの必須フィールド、MCP ツール名のプラグイン経由での変更など、起動時エラーが出ずに黙って失効する 5 つのケースと検査ツール ccheck の紹介。

朝の記述課題で TCP/IP の同じ論点を 3 択にしても 2 問外した同じ日に、夜の選択式では正解。その 2 日後にこの分野のレベルが 3 から 4 に上がった。調査の結果、レベル更新規則に「降りても不正解」の行がなく、記述 33 問のうち 25 問（75.8%）は正解・不正解いずれでもレベルに反映されていなかった。レベルは実質、夜の選択式 5 問だけで決定されている状態。

Claude など生成 AI の回答の不正確さ・忘却・矛盾に対抗するため、外部 Markdown ファイルと Python ツールで構成された監査仕組み「HWS」を開発。AI 出力を外部ファイルに基づく継続性で検証し、仮説の事前記録と後日の実測対照により「当たったかどうか」を厳密に判定する運用を 1 年半続けた報告。