Ollama 更新· dhiltgen·· 3 小时前AI 评分29
Ollama v0.40.0-rc1 发布:MLX 匹配发布者分词器语义
v0.40.0-rc1: mlx: match publisher tokenizer semantics (#18779)
AI 导读
Ollama 发布 v0.40.0-rc1,在 MLX 中全面对齐发布者分词器(tokenizer)语义。该版本严格遵循预分词阶段顺序、拆分行为、Unicode 边界、新增 token 规范化及排序 BPE 合并规则,并一致处理空新增 token 与空 Metaspace 输入。同时新增 Go/Python 共享参考用例,覆盖配置优先级、byte fallback 及并行编码等测试。
来源:Ollama 更新 · github.com