cliecy/DeepSeek-V4.1-Flash-1017-pruning-eval
DeepSeek-V4.1-Flash-1017 专家剪枝 / 极限量化测试 目标：让 DeepSeek-V4.1-Flash-1017（748.5B 参数，40 层 × 384 路由专家，每 token 激活 6 个）跑在 2×RTX 4090 48G + 61G 内存 + NVMe 上。办法是剪掉一部分路由专家，再把剩下的专家压到 IQ1_S～IQ2； engram 表（196.6B 参数，Q4_K 103 GiB）放 CPU/NVMe。 这个仓库只放测试结果、工具和数据，不放模型权重。测试还在进行中，结果会持续更新。 详细英文报告见 results.md。 参照模型 V0 = 修好的 UD-IQ2XS（cliecy/DeepSeek-V4.1-Flash-1017-UD-IQ2XS-GGUF， 专家 gate/up IQ2_XS、down IQ2_S）。所有 KLD / top-1 一致率都是相对 V0 的 logits。 结果一：通用模型，每层剪掉 25%（384 → 288），在 V0 上直接剪 测试集 4… See the full description on the dataset page: https://huggingface.co/datasets/cliecy/DeepSeek-V4.1-Flash-1017-pruning-eval.
| Author / organization | cliecy |
|---|---|
| License (as declared) | mit |
| Downloads | 0 (as reported by Hugging Face) |
| Likes | 0 |
| Created | 21 October 2026 |
| Last updated at source | 21 October 2026 |
Recent changes
- 21 Oct 2026 License: none → mit
- 21 Oct 2026 Description: none → DeepSeek-V4.1-Flash-1017 专家剪枝 / 极限量化测试 目标：让 DeepSeek-V4.1-Flash-1017（748.5B 参数，40 层 × 384 路由专家，每 token 激活 6 个）跑在 2×RTX 4090 48G + 61G 内存 + NVMe 上。办法是剪掉一部分路由专家，再把剩下的专家压到 IQ1_S～IQ2； engram 表（196.6B 参数，Q4_K 103 GiB）放 CPU/NVMe。 这个仓库只放测试结果、工具和数据
- 21 Oct 2026 Topics added deepseek, moe, expert-pruning, reap, quantization, gguf, llama.cpp
Changes detected by Silytics between refreshes of the source.
Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 21 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.