# tiktoken

openai模型BPE标记

## Usage

```
pip install tiktoken

import tiktoken
import torch


```