pysummarizationの使い方

Pysummarizationとは

Pysummarizationは自然言語処理と深層学習を用いて自動文書要約が行えるPython製ライブラリです。日本語に対応しており、文書要約を簡単に実装するために以下の機能が実装されています。

英語、日本語それぞれのTokenizer
文書要約モデル
- NLPベース
- re-seq2seq
Web Scraping
類似度フィルタ（Dice, Jacard, Simpson, etc)

これらの機能により、数行のコードで文書要約を行うことができます。

文書要約モデル　

Pysummarizationでは以下の文書要約モデルが公開されています。

AutoAbstractor / NgramAutoAbstractor （抽出型要約）
re-seq2seq （生成型要約）

AutoAbstractor

NLPベースの文書要約です。具体的には入力文書全体の単語の出現頻度から文（ここでは"。"で区切って1つの文とする）の重要度を計算し、もっとも重要度の高い文書を要約として出力します。

また、同様のアルゴリズムで単語の代わりにNgramを用いるNgramAutoAbstractorも実装されています。

ソースコード

Retrospective Sequence-to-Sequence Learning （re-seq2seq）

re-seq2seqはもともとは2018年にZhangらによって提案されたビデオ要約の手法です。re-seq2seqでは以下の2つの誤差を最小化するように学習を行う点が特徴的です。

「オリジナルの動画」と「Decoderの出力」
「オリジナルの動画のEncoderの出力」と「Decoderの出力（要約）を入力したEncoderの出力」

Pysummarizationではこのre-seq2seqを文書要約に応用するためのハイレベルAPIを提供しています。re-seq2seq本体はMXNetで実装されています。

ソースコード

使い方

インストール

pip install pysummarization

# 日本語文書要約の場合の依存ライブラリ
pip install mecab-python3 unidic-lite pyquery

# Neural Networkを使う場合の依存ライブラリ
pip install accel-brain-base mxnet

日本語文書要約

from pysummarization.nlpbase.auto_abstractor import AutoAbstractor
from pysummarization.tokenizabledoc.mecab_tokenizer import MeCabTokenizer
from pysummarization.abstractabledoc.top_n_rank_abstractor import TopNRankAbstractor

documents = "..."

# Object of automatic summarization.
auto_abstractor = AutoAbstractor()
# Set tokenizer for Japanese.
auto_abstractor.tokenizable_doc = MeCabTokenizer()
# Set delimiter for making a list of sentence.
auto_abstractor.delimiter_list = ["。", "\n"]
# Object of abstracting and filtering document.
abstractable_doc = TopNRankAbstractor()
# Summarize document.
result_dict = auto_abstractor.summarize(document, abstractable_doc)

# Output result.
for sentence in result_dict["summarize_result"]:
    print(sentence)

その他のPysummarizationの使い方は公式のドキュメントにデモ形式で掲載されているためここでの説明は省略します。

pysummarizationの使い方

Pysummarizationとは

文書要約モデル

AutoAbstractor

Retrospective Sequence-to-Sequence Learning （re-seq2seq）

使い方

インストール

日本語文書要約

参考

文書要約モデル　