You are here: Home > August 2004 > RSS対応を完了

August 17, 2004

RSS対応を完了

Posted at August 17, 2004 03:54 PM in MyBlogSearch -> もぶろげっと .

Informaの力を借りて、MyBlogSearch crawler(もといJSpider）のRSS対応が完了。


　１．RSSをダウンロード
　２．ダウンロードしたRSSをパース
　３．URLの一覧をゲット
　４．新着記事かどうか（まだダウンロードされていないか）をチェック
　５．新着記事をダウンロード

……という流れ。あとはスケジューリングして、定期的に登録されたblogをチェックしに行くようにすれば、クローラまわりはとりあえず完成かな。

　

残りのToDo：

  • 諸々のデータ管理にデータベースを使いたくなってきたので、SQL Serverを仕込んで、適当なスキーマを作ってやる。

  • スケジューラを作る。

  • namazuの表示部分をhack。クラスタ表示その他に対応させる。perl弄りたくないよ〜。

  • 日付抽出と公式サイト作り（できたら）



    • Trackback

    You can ping this entry by using http://windy.ac/MT/mt-tb.cgi/502 .

    Comments

    Post a comment










    Remember personal info?