August 17, 2004

RSS対応を完了

Posted at August 17, 2004 03:54 PM in MyBlogSearch -> もぶろげっと .

Informaの力を借りて、MyBlogSearch crawler(もといJSpider)のRSS対応が完了。


 1.RSSをダウンロード
 2.ダウンロードしたRSSをパース
 3.URLの一覧をゲット
 4.新着記事かどうか(まだダウンロードされていないか)をチェック
 5.新着記事をダウンロード

……という流れ。あとはスケジューリングして、定期的に登録されたblogをチェックしに行くようにすれば、クローラまわりはとりあえず完成かな。

 

残りのToDo:

  • 諸々のデータ管理にデータベースを使いたくなってきたので、SQL Serverを仕込んで、適当なスキーマを作ってやる。

  • スケジューラを作る。

  • namazuの表示部分をhack。クラスタ表示その他に対応させる。perl弄りたくないよ〜。

  • 日付抽出と公式サイト作り(できたら)


  • Trackback

    You can ping this entry by using http://windy.ac/MT/mt-tb.cgi/502 .

    Comments

    Post a comment










    Remember personal info?