illusion-brain/hetero-moe-v48

hetero-moe V48.0 — 投影空间 (该多大 / 可不可训练 / 会不会自己变) 异构 MoE 项目 (Microbiosis/hetero-moe, GitHub) 第 48 代的可复现产物。 本仓库只装这一代的: 规范 / 实现 / 单元测试 / 指标快照 / 运行日志 / 远端复现脚本。 仓库里不含任何模型权重。 这一代在问什么 一句话: v33 的旗舰结果 (+25.6% vs 单大) 用的"投影空间"是随机正交初始化且被冻结的 —— 它根本没被学过。 投影空间这个变量, 在旗舰结果里从未被检验。 于是本代分三步回答: 问题 方法 结论 Q1 空间该多大? training-free 诊断: 叠放各底座表征 → 协方差谱 / 相对阈值有效维数 / linear CKA + 置换零分布 / K 网格三指标(保真度·冗余度·重叠度) 数据实际只占 5–47 维, 而现用 D_SHARED=256 → 过配 5–14 倍; 三底座在共享空间里的足迹重叠 < 0.06 →… See the full description on the dataset page: https://huggingface.co/datasets/illusion-brain/hetero-moe-v48.

<iframe src="https://silytics.si/embed/item/fdbf78c6-f720-49c7-9af2-7cfa2cbfb181" width="420" height="190" style="border:0" loading="lazy" title="Silytics entry"></iframe>

Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 25 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.