VLLM-项目目录结构

官方文档

各目录的作用如下:

• benchmarks, 存放基准测试文件, 测试速度和效率
• cmake, 存放 CMake 相关配置文件, 用于管理构建
• csrc, 存放 C/C++ 语言源代码文件, 与性能关键相关
• docs, 存放项目文档, 描述项目的使用方法和其他相关信息
• examples, 存放示例代码, 包括如何使用 VLLM 示例脚本
• tests, 存放测试用例, 确保代码能按期工作
• tools, 存放项目相关工具, 用于开发, 部署或维护
• vllm, 存放 vllm 核心源代码, 实现核心功能和模块

各文件的作用如下:

• CMakeLists.txt, CMake 的主要入口, 用于配置和构建项目
• CODE_OF_CONDUCT.md, 规定贡献者的行为准则和社区准则
• CONTRIBUTING.md, 项目贡献指南, 包括代码风格和流程
• DCO, Developer Certificate of Origin, 开发者来源证书, 确保贡献者以适当的权利进行贡献的法律声明
• Dockerfile (Dockerfile.cpu 等), 针对不同硬件或软件环境进行优化的 Dockerfile, 用于构建镜像
• find_cude_init.py, 检查 CUDA 初始化的脚本, 需要 GPU 加速时很重要
• format.sh, 用于格式化代码, 确保代码风格一致
• LICENSE, 应用 Apache License, 项目的许可证信息文件
• MANIFEST.in, 指定 source distribution (也就是要分享的代码) 中需要包含的额外文件 (比如文档, 配置文件, 数据文件等)
• pyproject.toml, Python 项目的配置文件, 指定构建系统要求和元数据
• python_only_dev.py, 针对 Python 开发环境的脚本
• README.md, 项目概述, 安装说明, 使用示例的主要文档文件
• requirements-*.txt, 在不同环境下 (CPU, GPU) 的构建以来文件
• SECURITY.md, 有关安全政策和如何报告漏洞的信息
• setup.py, 将项目安装为包的脚本, 描述其分发属性
• use_existing_torch.py, 配置项目使用现有 PyTorch 安装的脚本

相关概念

基准测试

即运行一些测试人物来评估计算机系统性能.

CUDA

CUDA, Compute Unified Device Architecture, 是 NVIDIA 公司开发的一种并行计算架构和编程模型, 用于利用 NVIDIA 图形处理器 (GPU) 进行通用计算.

.cu 和 .cuh 文件

.cu 和 .cuh 都是 CUDA 编程的文件扩展名:

• .cu 包含函数具体实现
• .cuh 是 CUDA 程序的头文件, 包含函数生命以及宏定义等

PyTorch

PyTorch 是一个开源的深度学习框架, 由 Facebook AI Research (FAIR) 开发, 有活跃的社区支持.