Webページからデータを抜き出したいと考えるときXHTMLなら楽だと思う。
だってDOMのツールを使えば、簡単にXPathで抜き出せるから。
ただ、世の中そんなよくできたXHTMLのページばかりではない。
そもそもこのページのようにあえてHTMLを採用しているページも多いし、
現在application/xhtml+xmlがIEで使えないという事情もあり、
整形式でないXMLで作られたXHTMLのページでも表示できてしまうので、整形式じゃないページもある。
いや、text/htmlではXHTMLでないHTMLと考えてしまいますから。少なくともMozillaは。
application/xhtml+xmlなら整形式でなければ表示できないけど、text/htmlなら整形式じゃなくても表示できる。
このままではHTMLからのデータの抜き出しがかなり難しくなる。
せっかく普及しているDOMのツールが使えないとか残念すぎる。
厳密にXMLを解釈するわけではないツールはないかと探した。
するとHTML関係では結構あるみたい。
今回はWeb::ScraperというCPANモジュールを使った。
で、なんでこんな話をしたのかというと、奈良新聞のTOPページを解析しようと思ったのね。
なぜかRSSを供給していないのでめんどくさい。
ここから新着ニュースを抜き出そうと言うこと。
use utf8;
use Encode;
use Web::Scraper;
use URI;
binmode(STDOUT,':encoding(shiftjis)');
my $scraperRes=scraper{
process q|//h3[@class='pickup_title' or @class='news_index']/a|, 'news[]' => {'url'=>'@href','title'=>'TEXT'};
}->scrape(URI->new('http://www.nara-np.co.jp/'));
my @news=sort{$a->{'url'} cmp $b->{'url'}}(@{$scraperRes->{'news'}});
print "$_->{url} | $_->{title}\n" for @news;
ちょっとクセがあると思う。
scraperというサブルーチンを使ってオブジェクトを作ってから、それのscrapeメソッドでページを与え解釈させると。
そしてscraperではブロックを渡すわけだ。ここで具体的な動作を決める。
その具体的な動作をさせるのはprocessというサブルーチン。
これの引数にXPath式、返り値のハッシュのキー、値の形式という順で書けばOK。
scrapeメソッドで解釈させたらハッシュリファレンスが返ってくると。
ここでは//h3[@class=’pickup_title’ or @class=’news_index’]/aというXPath式を使っている。
これはh3要素のうちclass属性がpickup_titleまたはnews_indexであるものという意味。
ちなみにXPath式でなくてもCSSのセレクタでもいいらしい。
news[]というキーの名前だが、これはnewsというキーで配列リファレンスを入れてくれるという意味。
複数個答えがあるときには便利。
値の形式は、TEXTでそのテキストの内容、HTMLでHTMLのコードそのまま、@xxxでxxx属性というぐらいしかない。
ここから複雑にXPath式で求めることができるのかといえばそういうわけではないらしい。
ただ、ここにハッシュリファレンスを与えると、さらにキー、値の形式のペアを与えることができる。
ここでurlにhref属性の値、titleにTEXTを指定してある。
なんかえらい複雑になってしまったが、これで最終的に得られるハッシュリファレンスは、
{‘news’=>[ {‘url=>’http://www.nara-np.co.jp/20090612144409.html’,’title’=>’せんとくんズラリ400点 – きょうまで商品展示会’} , … ] }
という形式です。
まぁここまでハッシュを湯水のように使うかというのはあるが、まぁそういうものか。
まぁこんな風にしてHTMLにXPathを適用して値を取ってくることができました。
しかしHTMLにXPathってのも通じるんだね。
ちょっと変な感じではあるけどまぁいいか。
これがいつか一般に使われるXMLのDOMでできるようになりますように。
そうなればもっともっと便利なツールが世の中にはあるから。
まぁ多分これも内部的にはHTMLをDOMツリーに変換してるんだとは思うけどね。