llama.cpp b12465 为什么预计算广播内核的除法参数?

宋时安
宋时安
发布时间:2026-11-17 | 8人浏览过
原创

llama.cpp b12465。llama.cpp b12465 的相关除数在一次内核启动中保持固定,因此可在主机侧预计算,再在 SYCL 内核中重复使用。变化集中于二元广播和融合路径。

llama.cpp b12465 的相关除数在一次内核启动中保持固定,因此可在主机侧预计算,再在 SYCL 内核中重复使用。变化集中于二元广播和融合路径。

llama.cpp 软件封面

为什么除法参数可以预计算

llama.cpp b12465 修改了 SYCL 的 ravel 与 unravel 二元广播内核。在一次内核启动中,相关除数保持不变,主机可先计算快速除法所需的值。每个元素处理索引时,fast_div_modulo 可利用乘法高位和移位来完成对应计算。

llama.cpp b12465 官方 SYCL 二元广播改动

哪些路径和参数发生变化

修改覆盖二元广播和融合 ADD+ADD 路径的相关内核。原实现会逐元素用 i0 对 ne10 或 ne20 取模。改用快速取模后,已经不再使用的 ne10、ne20 内核参数被移除。

除数有哪些约束

初始化预计算值时,代码会拒绝零除数及无法放入 32 位的除数。这个限制针对构建快速除法参数的阶段,也是理解相关内核适用条件的一部分。

怎样理解适用范围

b12465 是预发布构建。此项优化的触发条件是运行进入上述 SYCL 内核。其他后端与未触发这些路径的操作,表现取决于相应实现和运行环境。

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表