Scrubbed 开源发布：面向 LLM 训练的原生网页数据清洗工具

开源数据清洗工具 Scrubbed 正式发布，采用单一原生二进制文件整合乱码修复、正文提取、PII 隐私扫描和语种识别等全套网页预处理流程。在 Apple M4 平台测试 400 个文件时，其处理速度相比传统 Python 工具组合快约 37 倍。工具支持 Markdown 格式导出、JSONL 流式处理与多线程并行清洗，适用于 macOS 及 Linux 环境下的单机训练语料准备。