NoClassDefFoundErrorなど処理が継続可能なErrorもあるので、
Throwableでキャッチすることにより、クロールのスレッドが
処理を終了しないで継続させる。そもそも継続が不可能な
Errorの場合は、次の処理でまたErrorになると思われるので、
特に問題ない。