pfnet/bbh-ja
BBH-ja (日本語版BIG-Bench Hard) BBH-jaは、BIG-Bench Hard (Paper, GitHub) を翻訳したベンチマークデータセットである。大規模言語モデルの日本語によるChain of Thought能力の評価に用いることを想定している。 評価に用いる問題 (bbh-ja/) とfew-shot exampleに用いるためのprompt (cot-prompts/) からなる。 bbh-ja/はsubjectごとにjsonlで保存されており、inputに問題文、targetに答えが保存されている。cot-prompts/はsubjectごとにyamlで保存されており、inputに問題文、targetにCoTを含む答えが保存されている。 翻訳にはPLaMo Translation Modelを利用した。 BBH-ja is a Japanese translation of the BIG-Bench Hard benchmark dataset (Paper, GitHub). It is designed… See the full description on the dataset page: https://huggingface.co/datasets/pfnet/bbh-ja.
| Author / organization | pfnet |
|---|---|
| License (as declared) | apache-2.0 |
| Downloads | 176 (as reported by Hugging Face) |
| Likes | 3 |
| Created | 3 July 2025 |
| Last updated at source | 7 July 2025 |
Popularity, last 2 days
176 now (+1 since 2026-10-16). Counts as reported by the source, snapshotted daily by Silytics.
More from pfnet
- pfnet/tmg-cqaDataset
Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 17 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.