多并发

[Bigfishmmp]

hi，你好啊，现在bistream或者http的流能支持多并发吗？

[WANDY666]

hi，是支持的

[Bigfishmmp]

初步分析了下，虽然支持多并发，但好像到了llm那块只能串行，受限于style的数量，只有多个style时，才能开启多llm的推理，不知道我的理解对不对

[WANDY666]

llm也是多并发的，llm的推理分prefill和decode两个阶段，也都是可以并行的，这块是基于lightllm框架的。

[Bigfishmmp]

在decode阶段要并发，是不是要调整style的数量，以及--decode_process_num，decode_process_num的数量要和style数量一直？