llama.cpp b12463 的位置嵌入修复为什么与图像长宽有关?
llama.cpp b12463 修正 Muse Glimmer 视觉编码器缩放位置嵌入时的坐标顺序,使其与训练一致,解释非方形图像为何更能体现差异。
llama.cpp b12463 修正 Muse Glimmer 视觉编码器的坐标次序。原来的宽高解释与训练时相反,所以长宽不相等的图像更能体现这项修复。

位置嵌入的坐标顺序改了什么
llama.cpp b12463 的修复位于 mtmd 的视觉编码器路径。Muse Glimmer 使用一个学习得到的位置嵌入网格,输入图像的布局变化时需要调整该网格。原实现按高度、宽度的顺序调整,修复按训练所用的宽度、高度顺序处理。

什么图像更能体现修复
若网格高度和宽度相同,交换两者后尺寸关系不变,合并说明明确指出方形图像不受影响。长宽不等时,原先顺序与训练时的约定会产生差别,所以非方形图像是验证这一问题的主要输入类型。
哪些模型走同一条路径
Muse Spark Open 的视觉部分使用同一计算图,因此也覆盖在这项修复内。修复范围是相关模型的位置嵌入计算,其他视觉模型的实现应按各自路径判断。
应如何理解构建范围
b12463 是测试构建。具体变化是让视觉位置网格遵循训练时的坐标顺序,发行说明没有给出通用的图像质量、速度或设备兼容性提升结论。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













