文章要約データセットの概要

はじめに

機械学習用の文章要約データセットについてこちらでまとめます。

文章要約データセットは英語データセットが種類多く存在し、各タスクによって選択しやすいです。

日本語データセット

• 朝日新聞要約データ
  • 朝日新聞の記事から見出しを生成するデータセット（有償データセット）
• 3 行要約データセット（Livedoor News）
  • Livedoor News の記事に対して 3 文で構成された要約データセット
• wikiHow を利用したデータセット
  • wikiHowのデータは構造化されており、見出し部分を要約文として抽出するデータセット

英語データセット

• CNN/Daily Mail
  • 新聞記事の本文とその三文要約のデータセットです。
  • 記事本文は平均 781 単語
  • 要約文は平均 3.75 行（平均 56 単語）
  • 要約文は記事本文に似た傾向がある
• xsum
  • 記事本文に対して要約文が１文のみで構成されている
  • 要約文はかなり抽象度が高く、抽象型モデルでこのデータを使用すると性能が上がりやすい
• DUC
  • 英文ニュース記事の用いたもっともメジャーなデータセット。
  • タスクに合わせて以下のようなデータを提供
    • それぞれの記事に Single document 用の短いレファレンス要約
    • テーマごとにクラスタリングされた Multi document 用のレファレンス要
• その他 64 個の要約データセット

参考

• T5? BERSUM? 最近の要約言語モデルってどうなってるの？　最新言語モデルを比較してみた
• wikiHow から日本語要約データを作成してみた

備考

Hakky ではエンジニアを募集中です！まずは話してみたいなどでも構いませんので、ぜひお気軽に採用ページからお問い合わせくださいませ。