webサイトのクローラとスクレイピングについて

何がしたいのかというと
複数の求人サイトを定期的に巡回して欲しい情報をスクレイピングして
データベースに保存して求人検索サイトを作りたい。

で、どうやったらいいのか色々しらべているところです。
JavaだとApache Nutchというものがあるみたいなのでそれを使うかもしれません。
全文検索システムのNamazuとかHyper Estraierを使ってみたんですが
用途が違うので辞めておきました。