2008/11/08

抓資料流程

最早部落格觀察還沒超過 1 萬筆資料的時候, 流程應該是這樣:

1. 使用者登入網址, 即時去抓分數, 然後寫入
2. 定時去更新資料
3. 重排序可以一天三五次, 系統可負荷就重排序

然後過不久超過一萬筆資料後, 排序從每天多次變成每天一次, 然後加了個程序, 算分數.

1. 使用者登入網址, 即時去抓分數, 然後寫入
2. 定時去更新資料
3. 計算方數
4. 重排序, 大約每天兩次

慢慢著因為資料容易出錯, 加了一個更正資料的環節, 此時重排序變成只能每天一次

1. 使用者登入網址, 即時去抓分數, 然後寫入
2. 定時去更新資料
3. 除錯
4. 計算方數
5. 重排序, 大約每天一次

現在發現登入網址, 也無法即時正確抓到資料, 且排序時間也拉長了, 這樣程序變成:

1. 使用者登入網址, 跟著定時更新抓第一次資料
2. 定時去更新資料
3. 除錯
4. 計算方數
5. 重排序, 大約每兩天一次

事實上這還不至於會怎樣, 比較麻煩的是更新週期還是要想辦法維持在一週以內阿...

沒有留言: