トークンカウントツール
これはAIのべりすとに送られた文章がどのようにトークンに分割されるかを、簡易的に表示してカウントするツールです。
AIのべりすとが内部で行っていると思われるトークン分割処理とは異なる方法で分割していますので、必ずしもこのツールの通りに分割されているとは限りません。
特に記号や改行などの変換が、上手くできない可能性があります。あくまで簡易的なものとご承知ください。
とりんさま/でりだのトークン分割/カウントなら、より正確なAIのべりすと非公式トークン化ツール(要Googleアカウント)をお使い下さい。
AIのべりすとが内部で行っていると思われるトークン分割処理とは異なる方法で分割していますので、必ずしもこのツールの通りに分割されているとは限りません。
特に記号や改行などの変換が、上手くできない可能性があります。あくまで簡易的なものとご承知ください。
とりんさま/でりだのトークン分割/カウントなら、より正確なAIのべりすと非公式トークン化ツール(要Googleアカウント)をお使い下さい。