Setuptools 官方文档 介绍setuptools 是 Python 使用最为广泛的用于构建, 分发, 安装 Python 包的库, 其扩展了标准库 distutils 以提供更多功能. 安装1pip install --upgrade setuptools[core] 一般搭配 build 库一起使用, 其提供一种现代化的方式 (用 pyproject.toml) 来构建 source

介绍.whl 文件是 Python 的一种打包格式, 称为 wheel, 是一种用于分发和安装 Python 包的标准格式. 与传统的源代码包相比, .whl 文件可以直接安装, 无需在安装过程中编译代码, 因而速度更快. .whl 文件还会包含所有依赖项，方便用户安装和管理. 构建 whl 文件需要利用 setuptools 工具, 在项目目录中确保有 setup.py 文件, 然后运行: 1p

编译器参数修改 vllm/setup.py 文件中 Compiler flags 部分; Sliding window 部分修改 csrc/attention/attention_kernels.cu 中 device__ void paged_attention_kernel 定义, 后续 template 部分, 以及 start_block_idx: csrc/ops.h 中的接口也需要修改

官方文档 各目录的作用如下: benchmarks, 存放基准测试文件, 测试速度和效率 cmake, 存放 CMake 相关配置文件, 用于管理构建 csrc, 存放 C/C++ 语言源代码文件, 与性能关键相关 docs, 存放项目文档, 描述项目的使用方法和其他相关信息 examples, 存放示例代码, 包括如何使用 VLLM 示例脚本 tests, 存放测试用例, 确保代码

介绍Jupyter Notebook 是一个开源的交互式计算环境, 支持多种编程语言 (如 Python, R 和 Julia), 允许用户创建和共享文档. 这些文档可以包含代码, 文本, 数学公式, 可视化图形和其他富媒体内容. 安装1pip3 install notebook 启用若直接在本地启用并在浏览器打开: 1jupyter notebook 若在服务器上指定端口启用: 1jupyt

Word2Vec 官方文档 介绍Word2Vec 不是一个单一的算法, 而是一系列用于从大数据及中学习 word embeddings 的模型结构和优化方式. 两篇相关论文: Efficient Estimation of Word Representation in Vector Space Distributed Representation of Words and Phrases and

参考 B 站视频1 介绍Transformer 是一种用于自然语言处理的神经网络模型架构, 它于2017年由谷歌大脑的研究人员在论文 “Attention is All You Need” 中首次提出 (最初用在机器翻译上). 相关概念EmbeddingEmbedding, 是将高维稀疏数据 (如文本, 图像, 上万维) 映射到低维密集空间 (如几十维) 的一种技术, 广泛应用于自然语言处理 (能

简介Context 即上下文, Typst 中的一些行为需要用上下文信息来计算出当前需要的结果, 比如 header numberings, 你需要计算前面出现了多少个 header, 才能得到当前的 numbering. show 规则, set 规则和 numbering 其实都会隐示创建上下文, 而这个上下文信息可以用 context 关键词来获取. 比如: 1#set text(lang:

Typst 官方 counter 相关内容 介绍Typst counter 可以在 pages (页眉页脚之类), elements (变量自增) 等进行计数操作, 其往往要配合 context 关键字使用. 获取 counter 值用 get 函数, 其返回一个数组, 比如 heading 的 counter context 就有多个 level 存在, 数组中的每一个 item 就是 one

裁剪 PDF1pdfjam --trim '10 10 10 10' --clip true input.pdf -o output.pdf 10 10 10 10 分别表示左, 下, 右, 上的裁剪边距, 单位为点 (pt)