先导杯优化思路整理

编译器参数

修改 vllm/setup.py 文件中 Compiler flags 部分;

Sliding window 部分

修改 csrc/attention/attention_kernels.cu 中 device__ void paged_attention_kernel 定义, 后续 template 部分, 以及 start_block_idx:

csrc/ops.h 中的接口也需要修改.

打包文件

.whl 文件是 Python 的一种打包格式, 称为 “wheel”. 它是一种用于分发和安装 Python 包的标准格式, 旨在提高安装效率和简化包管理.

安装 .whl 文件的内容:

pip install package_name.whl

调 batch