Uploaded image for project: 'S2Robot'
  1. S2Robot
  2. ROBOT-66

差分クロール対応

XMLWordPrintable

    • Type: Icon: New Feature New Feature
    • Resolution: Fixed
    • Priority: Icon: Major Major
    • 0.3.0
    • Affects Version/s: 0.2.1
    • Component/s: S2Robot
    • None

      前回のセッションIDを元に差分クロールできるようにする。
      現在考えているのは、前回のセッションIDからデータを抽出して、それを元にして UrlQueue に登録する。UrlQueueにタイムスタンプ的なものが必要かも。そのタイムスタンプがあれば、HEAD で取得してみて、時間を比較して、更新されていれば GET しにいく感じ。

            Assignee:
            shinsuke shinsuke
            Reporter:
            shinsuke shinsuke
            Votes:
            0 Vote for this issue
            Watchers:
            0 Start watching this issue

              Created:
              Updated:
              Resolved: