【原】Py之transformers_stream_generator：transformers_stream_generator的简介、安装、使用方法之详细攻略

Py之transformers_stream_generator：transformers_stream_generator的简介、安装、使用方法之详细攻略

---

transformers_stream_generator的简介

transformers_stream_generator是一种文本生成方法，它返回一个生成器，根据Huggingface/Transformers，在推理过程中以实时方式流式输出每个标记。

GitHub地址：GitHub - LowinLi/transformers-stream-generator: This is a text generation method which returns a generator, streaming out each token in real-time during inference, based on Huggingface/Transformers.

1、Web Demo

T1、original

T2、stream

transformers_stream_generator的安装

pip install -i https://pypi.tuna./simple transformers_stream_generator

transformers_stream_generator的使用方法

1、基础用法

# 只需在您的原始代码之前添加两行代码
from transformers_stream_generator import init_stream_support
init_stream_support()

# 在model.generate函数中添加do_stream=True，保持do_sample=True，然后您就可以获得一个生成器
generator = model.generate(input_ids, do_stream=True, do_sample=True)
for token in generator:
    word = tokenizer.decode(token)
    print(word)

2、进阶用法

(1)、通过gpt2运行Python脚本示例

代码地址：https://github.com/LowinLi/transformers-stream-generator/blob/main/example/run.py

(2)、通过gpt2运行Web示例，并在客户端示例中进行测试

代码地址：https://github.com/LowinLi/transformers-stream-generator/blob/main/example/run_web.py