Mori-kamiyama/kana-kanji-engram-20m

かな漢字変換 Engram 学習データ 2,000万件 33Mのかな漢字変換モデルに、学習可能なハッシュ型n-gram記憶（Engram）を追加する実験で使用した、トークン化済みの学習データ2,000万件です。2026年10月の共同学習で実際に使った入力・教師ラベルを公開しています。 元データはMiwa-Keita/zenz-v2.5-datasetで、フィルタリング・重複除去・分割・トークン化を施した派生データです。今回新たに執筆・生成した文章ではありません。このリポジトリには学習済みモデルの重みは含まれません。 現時点では、今回のEngram構成による明確な精度向上は確認できていません。 通常変換の大規模評価では差が小さく、MISAJIMEEでも誤入力の正解は3/400件から4/400件にとどまりました。再現・検証に使えるよう、改善しなかった点も含めて結果を掲載しています。 収録内容と読み込み方 設定名 分割 件数 内容 tokenized（既定） train 20,000,000… See the full description on the dataset page: https://huggingface.co/datasets/Mori-kamiyama/kana-kanji-engram-20m.

<iframe src="https://silytics.si/embed/item/aea80d41-48e6-45cf-8649-eda241f86acb" width="420" height="190" style="border:0" loading="lazy" title="Silytics entry"></iframe>

Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 18 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.