日本語はなぜトークンを食う？ 漢字がバイトに割れる仕組みを tiktoken で数えてみた
出典: Zenn (Claude topic)
Hiroba による自動要約
同じ意味の文で英語と日本語のトークン数を tiktoken で実測。cl100k_base では日本語が英語の約 2.7 倍となり、UTF-8 で 3 バイトの漢字がバイト単位に割れる仕組みを解説。o200k_base では 32 → 17 トークンに改善した点、Claude Opus 4.7 のトークナイザー変更、Claude の Token counting API による計測方法も掲載。日本語で API 料金を見積もる開発者向け。
出典・元記事
Zenn (Claude topic) の記事を Hiroba が自動要約しました。元記事を読む
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 5614 件あります。
関連する記事
同じタグの記事
Claude Tool Runnerで「独自ツールを呼ぶAIエージェント」をTypeScriptで実装する
ZennClaude Code相当の機能を持つ @anthropic-ai/claude-agent-sdk ではなく、通常の @anthropic-ai/sdk のベータ機能 `client.beta.messages.toolRunner` で、自前定義のツールだけを持つ小型Agentを構築する実装記事。`betaZodTool` によるツール定義、ループ実行のSDK代行、再起動可否をツール側でガードする安全設計をサービス監視の例で解説。自社API連携の軽量Agentを作りたいTypeScript開発者向け。
