ChatGPT 会话标题夹带博彩色情广告的技术原理剖析

ChatGPT 会话标题偶现博彩与色情小广告，源于标题生成模型收尾异常与 o200k_base 分词器中文词表受黑产语料污染的共同作用。分析指出，分词器在无清洗语料中将大量高频黑产短句固化为长词元，而模型预训练阶段又剔除了相关语料，导致模型无法理解这些词元含义；当轻量推理模型写完标题后未能正常输出结束控制符时，便会随机采样并输出这些词表中的广告词元。