スクレイピングとはWEB上のコンテンツから任意のデータを取り出す手法の一種です。 必要な情報を素早く的確に取り出すことのできるスクレイピングは非常に便利です。しかし、HTMLやCSSの基本的な知識を持ち合わせていないと独学での習得は少し壁が高いかもしれません。 当講座では、HTML,CSS,javascriptの役割についても触れながらスクレイピングの入門を行います。 また、スクレイピングをして取り出した文章の形態素解析を行い、分散表現に変換し、文章の類似度判定を行います。 このテキストの類似度計算にまつわるロジックは迷惑メールフィルターやスパム投稿判定など様々な分野で利用されています。
Mecabのインストールがうまくいかなかった際は、"janome"というパッケージをインストールしてきていただければ、問題ありません。