hotchpotch/japanese-context-relevance
このデータセットは抽出されたハードネガティブ、質問とテキストをさらに細かく区切ったspanとの関連度スコア、さらにリランカーのスコアが含まれており、OpenProvence などのモデル学習に利用できます。 サブセットごとに元データが異なるため、ライセンスはそれぞれの提供元に従ってください。 利用可能なサブセット一覧 重複除去の有無ごとにサブセット構成をまとめました。freq2 系は MD5 ベースの頻度フィルタでデータセット全体に同一テキストが 3 回以上出現しないよう調整しており、軽量でバランスの良い学習データが欲しい場合はこちらを推奨します。同じテキストが繰り返し登場すると context_spans_relevance が過学習しやすくなるため、剪定モデルの訓練では重複を抑えることを推奨します。 サブセット 行数 (train / val / test) テキスト重複率 推奨 msmarco-ja 492,729 / 5,000 / 5,000 約 38.9% msmarco-ja-freq2 260,436 / 1… See the full description on the dataset page: https://huggingface.co/datasets/hotchpotch/japanese-context-relevance.
| Author / organization | hotchpotch |
|---|---|
| License (as declared) | other |
| Downloads | 290 (as reported by Hugging Face) |
| Likes | 0 |
| Created | 18 October 2025 |
| Last updated at source | 27 October 2025 |
Popularity, last 4 days
290 now (-9 since 2026-10-16). Counts as reported by the source, snapshotted daily by Silytics.
Connected in the knowledge graph
- hotchpotch/open-provence-reranker-xsmall-v1Model · used to train
- hotchpotch/open-provence-reranker-large-v1Model · used to train
- hotchpotch/open-provence-reranker-v1Model · used to train
Recent changes
- 16 Oct 2026 Description: このデータセットは抽出されたハードネガティブ、質問とテキストをさらに細かく区切ったspanとの関連度スコア、さらにリランカーのスコアが含まれており、OpenProvence などのモデル学習に利用できます。 サブセットごとに元データが異なるため、ライセンスはそれぞれの提供元に従ってください。 利用可能なサブセット一覧 重複除去の有無ごとにサブセット構成をまとめました。freq2 系は MD5 ベースの頻度フィルタでデータセット全体に同一テキストが 3 回以上出現しないよう調整 → このデータセットは抽出されたハードネガティブ、質問とテキストをさらに細かく区切ったspanとの関連度スコア、さらにリランカーのスコアが含まれており、OpenProvence などのモデル学習に利用できます。 サブセットごとに元データが異なるため、ライセンスはそれぞれの提供元に従ってください。 利用可能なサブセット一覧 重複除去の有無ごとにサブセット構成をまとめました。freq2 系は MD5 ベースの頻度フィルタでデータセット全体に同一テキストが 3 回以上出現しないよう調整
Changes detected by Silytics between refreshes of the source.
More from hotchpotch
Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 19 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.