削除されたツイートをある程度検出可能にする

[max747]

15分ごとの自動収集なので、その後削除されたツイートも記録されてしまっている可能性がある。
一定期間後、たとえば1-2日後に過去に投稿済みのツイートをもう一度APIでlookupしてみて、ツイートの存在を確認するのはどうか。

[max747]

• ツイートが存在せず、ユーザーが存在する ... ツイートが削除された。報告の削除を意味するのでharvestのデータからも消す
• ツイートが存在せず、ユーザーが存在して protected ... ツイートが非表示。報告の削除を確認できず、削除ではない可能性があるのでharvestのデータは維持
• ユーザーが存在しない ... 報告の削除を意味しないのでharvestのデータは維持

[max747]

ユーザーの screen_name が変更されると screen_name 検索では削除扱いになってしまう問題がある。 id も取るようにしておいた方がいいかもしれない。