詳しい紹介
spaCy は産業レベルのオープンソース NLP ライブラリで、トークン化、品詞タグ付け、依存構文解析、固有表現認識、テキスト分類、情報抽出に対応しています。研究でのテキスト処理、コーパス分析、情報抽出、NLP のプロトタイプ開発に向いています。
Stanza との違い:spaCy は Explosion 社が開発しており、「パイプライン」として構成され、コンポーネントの差し替えや追加、独自モデルの学習ができます。テキスト処理を安定したプログラムにまとめるのに向いています。Stanza はスタンフォード大学の NLP グループによるもので、多くの言語の学習済みモデルを提供し、言語学的な注釈や研究によく使われます。
適用場面:自然言語処理、テキスト分析、固有表現認識、テキスト分類、情報抽出
注意:中国語のタスクでは適切なモデルを選ぶ必要があり、Stanza や Transformers などのツールと比較しながら使うこともできます。