ShallowU/FineWeb-Edu-10B-Tokens-NPY
FineWeb-Edu 10B Tokens (NPY Format) 数据集概述 这是一个预处理好的教育文本数据集，包含约100亿个tokens，专门为训练小型语言模型（如GPT-2 124M）而设计。数据来源于高质量的FineWeb-Edu数据集，已经使用GPT-2的tiktoken分词器进行预处理，并保存为numpy格式以提高训练效率。 Followed by Let's reproduce GPT-2 (124M). Thanks to Andrej Karpathy!!! 🎯 适用场景 小型语言模型训练：特别适合GPT-2 124M/350M等参数规模的模型 教育研究：高质量教育内容，适合教学和学术研究 快速原型开发：预处理完成，可直接用于训练间 📊 数据统计 总token数量：~10,000,000,000 tokens 分片大小：100M tokens/分片 数据格式：numpy (.npy) uint16数组 分词器：GPT-2… See the full description on the dataset page: https://huggingface.co/datasets/ShallowU/FineWeb-Edu-10B-Tokens-NPY.
| Author / organization | ShallowU |
|---|---|
| License (as declared) | mit |
| Downloads | 2.6K (as reported by Hugging Face) |
| Likes | 3 |
| Created | 12 July 2025 |
| Last updated at source | 15 July 2025 |
Popularity, last 3 days
2,572 now (-309 since 2026-10-16). Counts as reported by the source, snapshotted daily by Silytics.
Recent changes
- 16 Oct 2026 Description: FineWeb-Edu 10B Tokens (NPY Format) 数据集概述 这是一个预处理好的教育文本数据集，包含约100亿个tokens，专门为训练小型语言模型（如GPT-2 124M）而设计。数据来源于高质量的FineWeb-Edu数据集，已经使用GPT-2的tiktoken分词器进行预处理，并保存为numpy格式以提高训练效率。 Followed by Let's reproduce GPT-2 (124M). Thanks to Andrej Karpathy → FineWeb-Edu 10B Tokens (NPY Format) 数据集概述 这是一个预处理好的教育文本数据集，包含约100亿个tokens，专门为训练小型语言模型（如GPT-2 124M）而设计。数据来源于高质量的FineWeb-Edu数据集，已经使用GPT-2的tiktoken分词器进行预处理，并保存为numpy格式以提高训练效率。 Followed by Let's reproduce GPT-2 (124M). Thanks to Andrej Karpathy
Changes detected by Silytics between refreshes of the source.
Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 18 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.