複数スレッドでの同一ホストに対するアクセス間隔を制御できるようにしてほしい

ExportXMLWordPrintable

    • Type: Improvement
    • Resolution: Fixed
    • Priority: Major
    • 0.1.0
    • Affects Version/s: None
    • Component/s: S2Robot
    • None

      現在（rev103）では，複数スレッドでクロールを行った場合に，ひとつのホストに対するアクセス間隔を制御できません．
      IntervalGenerator から間隔を取得して各 S2RobotThread が sleep しているため，あるスレッドがあるサーバに
      アクセスした直後に別のスレッドがまた同じサーバに連続してアクセスしてしまう可能性があります．
      robots.txt のようなルールに従いアクセス先のサーバへの負荷を軽減するため，
      複数スレッド間でも同一のホストに対してアクセス間隔をあけられる機能がほしいです．

            Assignee:
            shinsuke
            Reporter:
            bowez
            Votes:
            0 Vote for this issue
            Watchers:
            0 Start watching this issue

              Created:
              Updated:
              Resolved: