Olá Equipe e Comunidade do Google AI Studio,
tags: token-count
Gostaria de reportar uma regressão na experiência do usuário relacionada à contagem de tokens no Playground do AI Studio. Este problema afeta a visibilidade e o controle do usuário sobre o consumo de tokens.
Contexto do Problema:
Ao submeter prompts para os modelos Gemini no Playground, o painel de contagem de tokens (que exibe o total de tokens do input e output) não é atualizado em tempo real.
Comportamento Observado (Passos para Reproduzir):
-
Abra uma nova sessão de Playground no Google AI Studio (ou utilize uma sessão existente, independentemente do volume de tokens já acumulado).
-
Digite e submeta um prompt (pode ser um texto de 1300 a 1600 tokens, como exemplo).
-
Durante o período de envio do prompt e enquanto a resposta do modelo está sendo gerada, o painel de contagem de tokens permanece completamente em branco.
-
Observação Importante: Embora o sistema mostre o tempo de processamento em segundos (indicando que a requisição está ativa e não há travamento), a contagem de tokens não aparece.
-
A contagem total de tokens (input + output) só é exibida após a resposta completa do modelo ser finalizada e totalmente renderizada na tela.
Contraste com Comportamento Anterior:
Anteriormente, a contagem de tokens era dinâmica e progressiva: o número de tokens do input era exibido imediatamente, e a contagem total era atualizada à medida que o modelo gerava a resposta.
Por que este é um problema de UX?
-
Quebra da Visibilidade do Status do Sistema: Mesmo com o indicador de tempo de processamento, a ausência da contagem específica de tokens cria uma lacuna de informação crítica. Usuários precisam saber o consumo de tokens em tempo real para gerenciar suas interações, especialmente considerando limites de contexto e custos.
-
Perda de Controle e Prevenção de Erros: A contagem de tokens é essencial para que o usuário tome decisões informadas, como otimizar prompts ou finalizar sessões antes de atingir limites de performance (como o ‘Muro de Latência’ em ~350k tokens). Sem feedback em tempo real, essa capacidade é prejudicada.
-
Regressão de Usabilidade: A mudança de um comportamento dinâmico (que era mais informativo) para um estático até o final da resposta é percebida como uma regressão, diminuindo a eficiência da interação.
-
Configuração de Ambiente Confirmada: Este comportamento ocorre mesmo com limpeza de cache, navegador atualizado e estando logado na conta Google, descartando problemas do ambiente local do usuário.
Sugestão de Correção:
Sugiro restaurar o comportamento anterior da contagem de tokens, exibindo-a de forma dinâmica:
-
Exibir imediatamente a contagem de tokens do input após o envio do prompt.
-
Durante a geração da resposta, exibir um indicador de processamento e, idealmente, uma contagem progressiva dos tokens de output (se tecnicamente viável sem impactar a performance), ou pelo menos um status claro como ‘Gerando tokens…’.
-
Apresentar a contagem total final de forma clara ao término da resposta.
Impacto no Usuário:
Aumenta a incerteza e a dificuldade de gerenciamento do consumo de tokens. Usuários perdem a capacidade de monitorar proativamente os limites e custos, o que pode levar a um uso menos eficiente da plataforma e a uma percepção de falta de transparência e controle.
Obrigado(a) pela atenção a este feedback
