hpprc/jawiki
JaWiki WikipediaのHTML形式のダンプファイルから抽出したテキストデータセットです。 Wikiextractorによって抽出したテキストデータと異なり、段落などの文書構造を維持したまま、不要なマークアップのないテキストが利用できます。 ダンプファイルは、2024年1月1日に公開されたものを利用しています。 また、各種NLPタスクに利用しやすいよう、様々なデータを同梱しています。 各種前処理スクリプトはGitHubのリポジトリをご参照ください。 データ構造 各レコードはWikipediaの記事一つに対応しています。 大まかなデータ構造と説明を以下に示します。 id (int) title (str) 記事タイトルです。 text (str) 各段落の文章(paragraphsのtext)を改行で結合したテキストです。 paragraphs (list[dict[str, int | str]]) 記事中の段落の集合です。各段落は辞書型で表現されており、以下のデータ構造に基づきます。… See the full description on the dataset page: https://huggingface.co/datasets/hpprc/jawiki.
| Author / organization | hpprc |
|---|---|
| License (as declared) | cc-by-sa-3.0 |
| Downloads | 498 (as reported by Hugging Face) |
| Likes | 18 |
| Created | 2 February 2024 |
| Last updated at source | 13 February 2024 |
Popularity, last 2 days
498 now (-42 since 2026-10-16). Counts as reported by the source, snapshotted daily by Silytics.
Recent changes
- 16 Oct 2026 Description: JaWiki WikipediaのHTML形式のダンプファイルから抽出したテキストデータセットです。 Wikiextractorによって抽出したテキストデータと異なり、段落などの文書構造を維持したまま、不要なマークアップのないテキストが利用できます。 ダンプファイルは、2024年1月1日に公開されたものを利用しています。 また、各種NLPタスクに利用しやすいよう、様々なデータを同梱しています。 各種前処理スクリプトはGitHubのリポジトリをご参照ください。 データ構造 各レ → JaWiki WikipediaのHTML形式のダンプファイルから抽出したテキストデータセットです。 Wikiextractorによって抽出したテキストデータと異なり、段落などの文書構造を維持したまま、不要なマークアップのないテキストが利用できます。 ダンプファイルは、2024年1月1日に公開されたものを利用しています。 また、各種NLPタスクに利用しやすいよう、様々なデータを同梱しています。 各種前処理スクリプトはGitHubのリポジトリをご参照ください。 データ構造 各レ
Changes detected by Silytics between refreshes of the source.
More from hpprc
- hpprc/embDataset
- hpprc/reranker-scoresDataset
- hpprc/enwiki-paragraphsDataset
- hpprc/paraphrase-qaDataset
- hpprc/jsickDataset
- hpprc/wiki-trans-ja-enDataset
Silytics shows public metadata from Hugging Face and links to the original. Information may be incomplete or out of date. Last refreshed 17 October 2026. Licenses and terms of the original apply to the work itself. Not financial, legal or professional advice.