前述のページだと若干古いPythonを使っているので、pyenvを用いて以下のように3.6.2をインストール
Pythonの基本を学んだので、手始めに、以下のような簡単なWebクロールスクリプトを書いてみる。
調べてみると、PythonにはWebクロールのためのフレームワーク/ライブラリも充実してるようだが、今回はPythonのお試しも含んでいるので、HTTPにrequests、HTML/XMLパーサにBeautifulSoupというライブラリを用いることにする。
まず、以下の部分で特定URLのHTTPレスポンスを取得する。BeautifulSoupを用いることで、レスポンスのXML/HTMLをparseできるようにする。
テキストに「年」が含まれるaタグ(‘2010年'などの記事が頻出するため)
Pythonスタートでやってみたところ、初めのうちは良い感じだったが、トレインチャンネルあたりからおかしくなった。