mdokl/WuDaoCorpora2.0-RefinedEdition60GTXT
WuDaoCorpora2.0 Refined Edition (60G TXT) 一个经过深度清洗的高质量中文悟道语料子集，包含约 12M 条长文本。 数据来源 本数据集基于悟道(WuDao) 2.0开放语料（WuDaoCorporaText-2.0-open.rar）清洗得到。 原始文件获取自：中国科技情报网(Scidb) 数据清洗流程 数据处理所需工具见github仓库 文本提取与合并：从原始压缩包加压得到的json文件中提取纯文本，合并。 哈希去重：以行为单位，移除完全相同的语料。 质量标注与分类： 人工标注数千条数据（高/中/低质量）。 使用标注数据训练文本分类模型（该模型在News2016zh语料上进行了预训练）。 词表生成与广告清洗： 使用高质量数据生成词表（基于长片段崩解与最大概率路径分词算法，生僻字支持字节拆分，大模型可用）。 关键步骤：分析词表中相邻的长片段，定位并彻底清洗相似广告内容（哈希去重无法处理此类变异广告）。 正常词汇：… See the full description on the dataset page: https://huggingface.co/datasets/mdokl/WuDaoCorpora2.0-RefinedEdition60GTXT.
| Author / organization | mdokl |
|---|---|
| License (as declared) | apache-2.0 |
| Downloads | 143 (as reported by Hugging Face) |
| Likes | 12 |
| Created | 16 September 2025 |
| Last updated at source | 23 September 2025 |
Popularity, last 2 days
143 now. Counts as reported by the source, snapshotted daily by Silytics.
Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 17 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.