桜ヶ丘日記

技術メモとかとか

スクレイピング

Web::Queryでキャッシュ機能を持たせる

開発用に処理内容をちょこちょこ書き換えながらスクレイピングを回しまくると、問い合わせ先のWebサーバーにリクエスト投げまくるんでちょっと迷惑をかけます。 そこでキャッシュを実装してみるんですが一番簡単なのはHTTP::Cache::Transparentです。手順は…

さくらVPSでとりあえずWeb::Queryが使えるようにしてみる

PerlでjQuery風のセレクタを使ってスクレイピングが出来るモジュール、Web::Queryを使いたいのでまずは使えるようにしてみる。インストール。 $ sudo yum -y install cpan (中略) Installed: perl-CPAN.x86_64 0:1.9402-131.el6_4 Dependency Installed: per…

PHPでCSSセレクタ使ってスクレイピング!

*ご参考http://codezine.jp/article/detail/4162http://nonn-et-twk.net/twk/zend-http-client*Zend_Dom_Query、Zend_HTTP_Clientを入れる$ sudo pear channel-discover zend.googlecode.com/svn$ sudo pear install zend/zend*使ってみる$ vi test.php && c…