OpenSI-SI/OpenSI-0.3B-Seed-5Btok-data
⚠️ 已知缺陷：18.3% 的训练数据没有文档分隔符 本数据集的 59 个分片（561,628,432 token）内部完全没有 EOS 分隔符， 整片维基百科文本被连续拼接在一起。 后果：训练时模型在这些位置学到的是「上一篇文章的结尾后面接着一篇全新文章 的开头」——即跨文档污染，且该来源上没有任何停止信号。 受影响分片 59 / 115（57 个维基分片 + 2 个注释分片） 受影响 token 561,628,432（占 train 的 17.65%） 证据 全片 id==2 计数为 0；shard_00000.bin 头 9,592 token 与源 jsonl 首行分词结果逐位 100% 一致 成因 预训练语料走 prep_shards.py（已修：文档间插 EOS）。10-05 新增的维基分片由另一条路径生成，未复用该逻辑，把已修过的缺陷重新引入 发现时间 2026-10-08 打包时核实 未受影响：train/opensi-train-000*.bin（53 个，2,601,279… See the full description on the dataset page: https://huggingface.co/datasets/OpenSI-SI/OpenSI-0.3B-Seed-5Btok-data.
| Author / organization | OpenSI-SI |
|---|---|
| License (as declared) | cc-by-sa-4.0 |
| Downloads | 466 (as reported by Hugging Face) |
| Likes | 0 |
| Created | 8 October 2026 |
| Last updated at source | 9 October 2026 |
Popularity, last 3 days
466 now (+116 since 2026-10-16). Counts as reported by the source, snapshotted daily by Silytics.
Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 18 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.