SeleniumでPhantomJSを使ってスクレイピング

SPAではHTMLをロードした後にJavaScriptがページを生成します。

従って、単純にrequestsなどで取得したhtmlソースでは取得したい情報が得られません。

 

ここではSeleniumを使ってウェブブラウザを操作することで解決します。

環境

  • Mac
  • Python 3.4.1
  • selenium 3.8.0

 

SeleniumとPhantomJS

Selenium

Seleniumはウェブブラウザを操作するソフトウェアです。

例えば、ウェブページを開いてIDとパスワードを入力してログインする、ページの下までスクロールして読み込みを待つ、など単純にページを開くだけでなく操作を必要とするような場合に役に立ちます。

Seleniumが操作可能なブラウザはChrome、Firefoxなど多岐に渡ります。

 

PhantomJS

PhantomJSはヘッドレスなWebKitです。つまり画面がないブラウザのようなものです。

Seleniumのウェブドライバーとして選択可能です。

Selenium経由で操作することで、画面のないブラウザでJavascriptの挙動を考慮してウェブページを取り扱うことが可能です。

 

インストール


brew install phantomjs
pip install selenium

 

PhantomJS経由でウェブページを取得する


from selenium import webdriver

from bs4 import BeautifulSoup


driver = webdriver.PhantomJS()

url = 'http://google.com'

driver.get(url)

html = driver.page_source.encode('utf-8')

soup = BeautifulSoup(html, "html.parser")

 

これであとはsoupを煮るなり焼くなり処理すれば良いです。

 

テスト

では、JavascriptでHTMLが書き換えられるウェブサイトを例にテストをします。

 

PLOS Oneの検索結果画面を例にとります。

cancerで検索してみると、このような画面になります。

 

論文のタイトルが見えています。

検証ツールを使うと、searchResultsListの中にdt要素として格納されていることがわかります。

 

しかし、「ページのソースを表示」をしてみると中にはコードらしきものが入っていますが、実際のタイトルは記述されていません。

 

requests

これを単純にrequestsとBeautifulsoupで取得してみましょう。


import requests

from bs4 import BeautifulSoup


url = 'http://journals.plos.org/plosone/search?q=cancer&filterJournals=PLoSONE'

html = requests.get(url).text

soup = BeautifulSoup(html, "html.parser")

target = soup.find(id='searchResultsList')

targetの中身を見てみます。


print(target) # None

 

中身は空でした。

 

Selenium + PhantomJS

ではSeleniumとPhantomJSを使ってみます。


from selenium import webdriver

from bs4 import BeautifulSoup


driver = webdriver.PhantomJS()

url = 'http://journals.plos.org/plosone/search?q=cancer&filterJournals=PLoSONE'

driver.get(url)

html = driver.page_source.encode('utf-8')

soup = BeautifulSoup(html, "html.parser")

target = soup.find(id='searchResultsList')

 

targetの中身を見てみます。


print(target)

<dl class="search-results-list" id="searchResultsList">
<dt class="search-results-title" data-doi="10.1371/journal.pmed.1001200>
<a href="/plosmedicine/article?id=10.1371/journal.pmed.1001200">Ovarian Cancer and Body Size: Individual Participant Meta-Analysis Including 25,157 Women with Ovarian Cancer from 47 Epidemiological Studies</a>
</dt>
...

 

 

目的の要素が入っていました。

あとは必要に応じて加工してあげれば良いですね。

 

もっと詳しいことを知りたい方はPythonによるスクレイピング&機械学習がおすすめです。

SeleniumやPhantomJSの専門の話ではないですが、スクレイピング全般や作法、さらに機械学習の触りまで学習できて内容が広く勉強になりました。

 

参考

 

 

 

 

 

コメントを残す