ゆるゆる更新します。

 

目次

要素技術

言語資源

 

前処理

  • 前処理とは
  • クリーニング
  • 文分割
  • 単語分割
  • 形態素解析
  • N-gram
  • 正規化
  • Stop Wordsの除去
  • Sparse Termsの除去

 

素性(特徴)

  • 素性とは
  • One hotベクトル
  • Bag-of-Words
  • Bag-of-Ngrams
  • TF-IDF
  • 分脈ベクトル表現
  • Word Embeddings

 

構文解析

  • 再帰下降構文解析
  • Shift-Reduce構文解析
  • 左隅構文解析器
  • 適応部分文字列表

 

意味解析

  • 照応解析

 

検索アルゴリズム

 

 

Task

NLPのタスクは多岐に渡る上に、区分の仕方が実社会の課題ベースになっているのできっちりかっちり分けることはできません。

とはいえ分類しないと概観もできないので以下のページを参考にタスクの分類を行います。

 

興味のあるところをピックアップして更新していきます。

メモとしてymym3412さんのACLサマリーのリンクを貼っておきます。

 

Anaphora Resolution: 照応解析

Automated Essay Scoring

Automatic Speech Recognition: 自動音声認識

Automatic Summarisation: 自動要約

Coreference Resolution: 共参照解析

Entity Linking: エンティティリンキング

Grammatical Error Correction: 文法誤り訂正

Grapheme To Phoneme Conversion

Humor and Sarcasm Detection

Language Grounding

Language Guessing

Language Identification

Language Modeling

Language Recognition

Lemmatisation

Lip-reading

Machine Translation: 機械翻訳

Morphological Inflection Generation

Named Entity Disambiguation

Named Entity Recognition: 固有表現抽出

Paraphrase Detection

Paraphrase Generation

Parsing: 構文解析

Part-of-speech Tagging: 品詞タグ付け

Pinyin-To-Chinese Conversion

Question Answering: 質問応答

Relationship Extraction

Semantic Role Labeling

Sentence Boundary Disambiguation

Sentiment Analysis: 感情解析

Sign Language Recognition/Translation

Singing Voice Synthesis

Social Science Applications

Source Separation

Speaker Authentication

Speaker Diarisation

Speaker Recognition: 話者識別

Speech Reading

Speech Recognition

Speech Segmentation

Speech Synthesis

Speech Enhancement

Speech-To-Text

Spoken Term Detection

Stemming

Term Extraction

Text Similarity

Text Simplification

Text-To-Speech

Text-To-Speech

Transliteration: 翻字

Voice Conversion

Voice Recognition

Word Embeddings: 単語埋め込み

Word Prediction

Word Segmentation

Word Sense Disambiguation: 語義の曖昧性解消

 

 

PyTorch入門

PyTorchのチュートリアルに沿ながら自然言語処理についてざっくりと触れます。

 

 

学習教材

入門 自然言語処理

入門 自然言語処理
Posted with Amakuri at 2018.6.8
Steven Bird, Ewan Klein, Edward Loper
オライリージャパン

 

言語処理のための機械学習入門