
2026年版デスクトップGUI自律操作エージェント:UI-TARS、Claude Computer Use、OSWorld 2.0の実装解説
QiitaブラウザDOM自動化では対応できないレガシーERP・Excel・CADなどネイティブデスクトップアプリケーションの70%以上に対し、UI-TARS 1.5とClaude 3.7 Computer Useを用いたピクセル座標グラウンディング・System-2推論による自律GUIエージェントの実装手法を解説。OSWorld 2.0ベンチマーク下での42~52%成功率の達成と、VNC隔離・緊急停止機能を備えたセキュアなサンドボックスアーキテクチャを提示。