2015-03-01 webサイトのクローラとスクレイピングについて 何がしたいのかというと 複数の求人サイトを定期的に巡回して欲しい情報をスクレイピングして データベースに保存して求人検索サイトを作りたい。で、どうやったらいいのか色々しらべているところです。 JavaだとApache Nutchというものがあるみたいなのでそれを使うかもしれません。 全文検索システムのNamazuとかHyper Estraierを使ってみたんですが 用途が違うので辞めておきました。