YeungNLP/firefly-pretrain-dataset
Firefly中文Llama2增量预训练数据 欢迎加入Firefly大模型技术交流群，关注我们的公众号。 数据简介 技术文章：QLoRA增量预训练与指令微调，及汉化Llama2的实践 该数据应为Firefly-LLaMA2-Chinese项目的增量预训练数据，一共约22GB文本，主要包含CLUE、ThucNews、CNews、COIG、维基百科等开源数据集，以及我们收集的古诗词、散文、文言文等，数据分布如下图。 模型列表 & 数据列表 我们开源了7B和13B的Base与Chat模型。Base模型是基于LLaMA2扩充中文词表后增量预训练得到的模型，Chat模型是在Base模型的基础上进行多轮对话指令微调。 为了探究基座模型对指令微调的影响，我们也微调了baichuan2-base模型，获得firefly-baichuan2-13b，具有不错的效果。更多中文微调，可查看Firefly项目。 模型 类型 训练任务 训练长度… See the full description on the dataset page: https://huggingface.co/datasets/YeungNLP/firefly-pretrain-dataset.
| Author / organization | YeungNLP |
|---|---|
| Downloads | 529 (as reported by Hugging Face) |
| Likes | 42 |
| Created | 27 August 2023 |
| Last updated at source | 21 October 2023 |
Popularity, last 3 days
529 now (+25 since 2026-10-16). Counts as reported by the source, snapshotted daily by Silytics.
Recent changes
- 16 Oct 2026 Description: Firefly中文Llama2增量预训练数据 欢迎加入Firefly大模型技术交流群，关注我们的公众号。 数据简介 技术文章：QLoRA增量预训练与指令微调，及汉化Llama2的实践 该数据应为Firefly-LLaMA2-Chinese项目的增量预训练数据，一共约22GB文本，主要包含CLUE、ThucNews、CNews、COIG、维基百科等开源数据集，以及我们收集的古诗词、散文、文言文等，数据分布如下图。 模型列表 & 数据列表 我们开源了7B和13B的Base与Cha → Firefly中文Llama2增量预训练数据 欢迎加入Firefly大模型技术交流群，关注我们的公众号。 数据简介 技术文章：QLoRA增量预训练与指令微调，及汉化Llama2的实践 该数据应为Firefly-LLaMA2-Chinese项目的增量预训练数据，一共约22GB文本，主要包含CLUE、ThucNews、CNews、COIG、维基百科等开源数据集，以及我们收集的古诗词、散文、文言文等，数据分布如下图。 模型列表 & 数据列表 我们开源了7B和13B的Base与Cha
Changes detected by Silytics between refreshes of the source.
More from YeungNLP
- YeungNLP/firefly-train-1.1MDataset
- YeungNLP/moss-003-sft-dataDataset
Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 18 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.