O que são tokens?
Tokens são pequenos pedaços de texto. Quando você escreve algo, como uma frase ou um parágrafo, ele é quebrado em tokens antes de ser processado. Eles podem ser pedaços de palavras, palavras inteiras ou até incluir espaços e pontuações.
Por exemplo:
A frase “ChatGPT é ótimo!” vira 6 tokens: [“Chat”, “G”, “PT”, “é”, “ótimo”, “!”].
Exemplos práticos
- Frases curtas (1 ou 2 frases): consomem cerca de 30 tokens.
- Parágrafos: cerca de 100 palavras usam em torno de 100 tokens.
- 1.500 palavras: equivalem a 2.048 tokens.
Dicas para quem não quer complicar:
- Pense que 750 palavras geralmente consomem 1.000 tokens.
- Quanto mais longa a frase ou palavra, mais tokens ela pode usar.
- Pontuações e espaços também contam!
O modelo GPT-3.5-turbo pode processar até 4.096 tokens por vez.
Link: https://platform.openai.com/docs/models
Se o custo de um token no GPT-3.5 Turbo é US$0,0005, e você tem um crédito de US$5,00, calculamos a quantidade total de tokens liberados assim:
Há uma estimativa para calcular o número de palavras com base em tokens no GPT-3.5 Turbo. Geralmente:
- 1 token equivale a cerca de 0,75 palavras em inglês.
- Em idiomas mais compactos (como o português), a proporção pode variar ligeiramente, mas a estimativa geral se mantém.
⚠ ️ Observação: Essa é uma estimativa. Textos com muitas palavras curtas ou formatos diferentes (como código ou números) podem variar o uso de tokens.
GPT-4o Mini
O GPT-4o Mini (o “o” vem de “omni”) é o modelo mais avançado na categoria de modelos compactos. Além disso, é o mais acessível até o momento. Ele oferece uma inteligência superior ao GPT-3.5-turbo, mantendo a mesma rapidez.
Link: https://platform.openai.com/docs/models
Custo reduzido: O GPT-4o mini é muito mais econômico do que seus antecessores. Ele custa US$ 0,15 por milhão de tokens de entrada e US$ 0,60 por milhão de tokens de saída, significativamente mais barato do que o modelo GPT-4o, que custa US$ 5,00 por milhão de tokens de entrada e US$ 15,00 por milhão de tokens de saída. Em comparação com o GPT-3.5 Turbo, o GPT-4o mini é mais de 60% mais barato.
Exemplo prático de Token
Para explorar mais a fundo a tokenização, você pode usar a ferramenta interativa Tokenizer, que permite calcular o número de tokens e visualizar como o texto é dividido em tokens. Observe que o processo exato de tokenização varia entre os modelos. Modelos mais recentes, como o GPT-3.5 e o GPT-4, utilizam um tokenizador diferente dos modelos anteriores, resultando em tokens distintos para o mesmo texto de entrada.
https://platform.openai.com/tokenizer
As informações e valores exibidos aqui são apenas para fins ilustrativos e estão sujeitos a modificações. Para dados precisos e atualizados, consulte a documentação oficial do GPT.