February 2005
February 28, 2005
研究職に就くのはとても難しいということについて
NTT研究所ですら毎年たったの60~70人しか新卒を採らない。
企業研究所のすべてをあわせても、一年間に採用される 情報工学系の新卒の数というのは数百人というところではないか。
国立研究所や大学が吸収する分もあるから 実際にはもう少し上積みされるだろうが、いずれにしても、システムエンジニアやプログラマとして採用される数に比べれば、桁が２つくらい違う。
こういう実情は本当に今になって知った。 去年、研究室の先輩方が研究職を志望しながら悉く落ちてしまうのを見て「大変なんだろうなあ」くらいの感想は持ってはいたのだが。
研究職志望はないわけではないけど それほど強いわけでもないので、別にそこらへんの適当なSIerでシステムエンジニアをやることが嫌というわけではないが。
とにかく、研究職に就くためには、厳しい競争を勝ち抜いて行かなくてはならないということはよく分かった。
情報工学の修士課程の学生として、自分の能力は平均か平均よりちょい上くらいだと思われる。
エクセレントな頭脳を持った人たちが沢山いる中を勝ち抜いていけるかっつーと、う〜ん。
February 27, 2005
StrangeBanana: リロードするたびに動的に生成されるデザイン
CSSをランダムに生成することにより、リロードするたびに違ったデザインになるWebサイト。
cool.
StrangeBanana randomly chooses fonts, colors, and other layout elements, and combines them.
StrangeBanana
http://www.strangebanana.com/generator.aspx
February 24, 2005
feedbeep
RSSの更新情報をケータイのSMS(Short Message Service)として通知するサービス。
ケータイはだいたいいつでも手元にあるわけで、インタフェースとしてケータイを使うというのは面白いと思う。RSSにそこまでの速報性を求めるケースがどれだけあるかは分からないけど。
feedbeep
http://feedbeep.com/
February 23, 2005
11の主要なサーチエンジンをあわせても、Webの50%もカバーしていない
実際、クローラを用いるサーチエンジンの検索範囲を推定してきた多くの研究は、検索範囲の幅がたった5％から30%であり、11の主要なサーチエンジンをあわせても検索範囲がWebの50%に満たないことを報告している。『Webマイニング』,p15
「たった50%か」と思ってしまうが、hidden webの存在やあれこれの要因を考えるとこんなものなのだろう。
February 22, 2005
bloglinesはいくらで買われたのか
bloglinesがAsk Jeevesに買収されたのはあちこちのニュースサイトで伝えられているが、肝心の買収金額が出てこなくて、幾らくらいなのか気になっていた。今日になって『Search Engine Lowdown』で信頼できる筋からの情報として記事が出ていたのを見つけた。公式な発表ではないので、参考程度ではあるけれど。
Bloglines Acquisition Price Inflated
http://www.searchenginelowdown.com/2005/02/bloglines-acquisition-price-inflated.html
松下とメタデータと映像編集との関係は？
松下とメタデータと映像編集との関係は？ (@IT)
http://www.atmarkit.co.jp/news/200502/15/pdn.html
映像コンテンツにメタデータをほげほげするお話。
上の記事中でも言及されているが、映像コンテンツにメタデータを付けるときに必ず問題点として指摘されるのが、必要とされるメタデータのフォーマットが個人にわりと強く依存するというところだ。あるドラマを見るときに、Aさんは主演の俳優に注目するし、Bさんはエロシーンに、Cさんはお気に入りのブランドの小物に注目するだろうと。で、そういった差異をどうやってケアしてやればよいのかということが課題としてある。
ここでは、自然言語処理における「格文法」のように、フレームの概念を使って主観による差異をケアしようというアプローチについて言及されている。「分野を絞った専門辞書」の詳細を知りたいところだが、検索したがそれらしい情報は見付からなかった。やはりそういう処に落ち着くのかなあ。ユーザ自身がメタデータを付けるというのもあると思うんだけど、HDDレコーダのような器機では難しいのだろうか。
『検索会議2005 技術動向編』に申し込みました
今から楽しみにしています。
当日お会いすることがあれば、どうぞ宜しくおねがいします。
検索会議お申し込み開始！
http://blog.academedia.jp/?eid=93208
February 16, 2005
matome.jpの中の人について
matome.jpというメタ検索サイトがある。もぶろげっとに毎日４０〜５０くらいのアクセスを流してくれるので心から愛を感じているのだが、その制作者がこの人であるということを知る。
いまは楽天に居るらしい。最近になってわかってきたのだが、楽天って、実はわりと技術オリエンテッドな会社であるようだ。yahooあたりよりもずっと。
Search Engine Strategies Conference & Expo 2005
http://www.idg.co.jp/expo/ses/
今年のプログラムはまだ発表されていない。
去年のプログラム
http://www.idg.co.jp/expo/ses/ses2004/conference.html
を見ると非常にSEO, SEMに偏っていて、いまいち食指が動かないのだが、面白そうな講演があるようなら出掛けてみようとおもう。
しかし、SEOはどうしてこんなに盛り上がってるのかなあ。
Post a comment to 'Search Engine Strategies Conference & Expo 2005'
February 14, 2005
sonic city ( via we make money not art )
ウェアラブル・コンピュータの一形態、と言ってよいのかな。ジャケットに埋め込まれたセンサノードの情報から、electronic musicをリアルタイムにつくってヘッドフォンから聴かせるというギミック。おもしろそう。試してみたい。
sonic city
http://www.tii.se/reform/projects/pps/soniccity/
The city as a musical interface ( via we make money not art )
http://www.we-make-money-not-art.com/archives/004528.php
Post a comment to 'sonic city ( via we make money not art )'
フォルクソノミーのどこが偉いかについて
目下フォルクソノミーが大流行で、実際に自分でもいくつかのサービスを使ってみている。で、「いったいこれらのサービスのどこが偉いのだろう」ということを考えてみた。フォルクソノミーについてはすでに沢山のblogで記事が書かれていて、付け加えることはあまりないのだが、自分の考えをまとめるという目的もあってここに書き散らしておきたい。
まず、「タグ付け」については比較的どうでもいい。「タグ付け」であるか「フォルダ分け」であるかというのは本質的じゃない。どちらもコンテンツにメタデータを付与するという点では同じであり……とか抽象的な議論をするよりも、フォルダ分けはタグ付けの一形態として考えたほうが分かりやすい。つまり、フォルダ分けは次のような特徴を持つタグ付けの一種である。
- タグは階層構造を持つ
- タグはたった一つだけ付けることが出来る
また、両者は決して対立する概念ではない。二者択一でどちらかを採らなくてはならないようなものではなく、両方を組み合わせたやり方もありうる。たとえばSpurlのような。
で、フォルクソノミーでタグ付けが用いられる理由であるが、単純にフォルダ分けに比べてユーザの負荷が少ないからだろうと思う。フォルダ分けをするには、複数のコンテンツから共通する言葉を取りだし、それを階層構造を持った概念の木のなかに位置付けるという、わりと抽象的な頭の使い方をしなくてはならない。これは面倒でやりたくない。タグ付けだとたった一つのコンテンツだけを見て、そこから適当に思いついた言葉を打ち込んでおけばいいので断然ストレスを感じない。
重要なのは個々人が、自分の主観に基づいたタグを自由に付けられるという点にある。誰かから与えられるのではなく、自分でタグを付けることには意味がある。当然のことだが、あるコンテンツにどのようなメタデータを付けるかというのは個人によって異なりうる。「どこに注目するか」「どう解釈するか」というのは人によって違うからだ。たとえばサッカー日本代表が北朝鮮に勝った記事を見て、サッカーファンなら「日本代表」というタグを付けるし、日本代表の熱心なサポーターなら「北朝鮮戦」というタグを付けるだろう。中村俊輔の大ファンなら「俊輔」と付けるかも知れないし、北朝鮮フリーク（そんな人がいるのかしら）なら「北朝鮮」と付けるかもしれない。あたりまえだけど、「自分のものの見方」にもっともマッチしたタグを付けられるのは、自分自身だろう。
そして、それがSNS的なシステムに乗っ取ってたくさんの人たちで共有されるというところが肝なのだとおもう。コンテンツについて「それを誰が取り上げたか」「どういうタグを付けたか」という２つのデータが付与されることによって、タグを横軸、人を縦軸としたメッシュ状のネットワークができる。その中をにょろにょろと探索するのが非常に楽しくエキサイティングであることは、フォルクソノミーなサービスを使ったことがある人なら分かるのでは。
情報工学の研究者からすると、こういうサービスが普及し、そのデータに自由にアクセスできる（del.icio.usのようにAPIが提供されることによって）ようになるのはとても興味深いことだ（たぶん）。いまblogをネタにした研究が数多く行われているように、近いうちにフィロクソノミーもホットな研究テーマとなるかもしれない。
February 12, 2005
become.com: 新しく登場した商品情報検索エンジン
become.comというのがベータ版を公開した。商品情報を検索するための検索エンジンらしい。Search Engine Newsの記事で知り、さっそく試してみた。
Become.com Now Open for Beta Testing
http://www.searchenginelowdown.com/2005/02/becomecom-now-open-for-beta-testing.html
アクセスすると、まずユーザ登録を求められる。どうもユーザ登録をしないと使えないっぽい。ユーザ登録といっても、個人情報を延々と入力しなくてはならないわけではなく、求められるのはメールアドレスとアカウント名とパスワードくらいのもので、メールでのvalidationも必要ない。
ユーザ登録を済ませると検索機能を使えるようになる。で、"iPod"とか打ち込んでみる。ぱっと見、検索結果はごく有り体なフォーマットで、googleやyahooをふつうに使うのと変わらない。検索結果の提示はページ単位で、そのページのタイトルと、要約と、URLが表示される。商品情報の検索エンジンというとgoogleの提供する"Froogle"が真っ先に思い浮かぶが、froogleが商品画像や価格、取り扱い店までを検索結果に含めるのに比べると、なんというか、商品情報の検索エンジンと言うわりに、それに特化していないという印象を受ける。
真新しい機能を挙げる。面白いのは、検索結果をレーティングする機能。検索結果の下の部分に、次移行のページへのリンクとともに、検索結果を５段階で評価できるようになっている。その結果がどういうふうに使われるのかはよくわからない。
また、他のひとが他にどんなキーワードと一緒に検索しているかを提示している。
……で、軽く使ってみた感想であるが、「なにをしたいのかが分からない」というのが正直なところ。"Floogle"のように、商品そのものを検索結果とするわけではない。また、オンライン・ショップへのダイレクトなパスを提供するわけでもない。オフィシャルなページが当然のように上位に来るところを見ると、いわゆる「評判情報」を検索させようというわけでもないとおもう。サイトにある"OVERVIEW OF SERVICES"という文章を読むと、"Our mission is to help you make ideal buying decisions"とあるが、現時点では、あまり達成されていないような。
まだベータ版であるし、これからどうなっていくのか、チェックしていきたい。
February 11, 2005
awstatsでのreferer spamに対処する
「今日の井原」では、アクセス解析にawstatというオープンソースソフトウェアを使っている。とても高性能で機能的には文句がない。しかし、最近目に付くようになったのがリファラによるスパムだ。下は「今日の井原」の解析結果のリファラ一覧なのだが、スパムなURLが上位にランクインしていて面白くない。
"crescentarian.net"とか"terashells.com"とか含まれるものがリファラスパムによるもの。こんなサイトからリンクされたことはない。blogや掲示板のようなサイトにはリファラを表示するものが多く(たとえばtDiaryの「本日のリンク元」のように)、リンクが増えることによるSEO効果を目的として行っているのだと思われる。ほんとうに鬱陶しい。spammerは悉く死んで欲しい。
スパムなURLが表示されるのは面白くないので、対策をすることにした。以前コメントスパムに対処したときには、「全角文字を一つも含まないコメントを弾く」という日本語サイトならではのやり方が使えたのだが、このやり方はリファラスパムには使えない。URLには全角文字なんて普通つかわないし。
世間一般ではどのようにしているのか調べたところ、どうもブラックリストを作ってそこに載っているものを集計の対象から外すという、手間の掛かる方法を採る以外には無いようだ。SourceForgeでawstats用のリファラ対策パッチが公開されていたので、今回はこれを使わせていただいた。
パッチの当て方を書いておく。
まずはパッチをダウンロード。awstatsの本体(awstats.pl)の存在するディレクトリにパッチを置いて、patchコマンドを実行する。
# patch -b awstats.pl blacklist.patch.txt
続いてブラックリストを取ってくる。以下のURLにある。
http://www.jayallen.org/comment_spam/blacklist.txt
最後にブラックリストの場所を設定ファイルで指定して完了。以下のように追記する。
RefererBlacklist="/path/to/blacklist.txt"
以上で完了だが、注意する点がある。リファラスパムの除去は解析データの作成時に行われる。なので、すでに解析したデータからリファラスパムを除去するには、データを作り直す必要がある。
February 10, 2005
302 Googlejacking: HTTPプロトコルの302リダイレクトを使った検索スパム
302リダイレクトを使った検索スパムがあるということを知る。"302 Googlejacking"とか、"Google 302 Pagejacking"とか呼ばれているらしい。
HTTPプロトコルで定められたリダイレクトには２つの種類がある。301と302で、前者は恒久的な、後者は一時的なコンテンツの移動を表すものとされている。googleのクローラはこれらのリダイレクトを解釈するが、301と302では扱いが異なる。誰かが自分の所有するコンテンツから302を使ってどこかのページにリダイレクトを掛けると……って、分かりにくいので具体的に書いたほうが良いかな。たとえば、悪意あるspammerが彼の所有する"http://unko.com/"に302リダイレクトを仕込み、「今日の井原」のトップページ(http://blog.windy.ac)に飛ばすようにしたとする。すると、googleはこれを解釈し、spammerの所有する"URL"（この場合はhttp://unko.com/)とリダイレクト先の"コンテンツ"(http://blog.windy.ac/の中身）を関連付ける。ここで、「リダイレクト元のURL」と「リダイレクト先のコンテンツ」を関連付けるというのが肝だ。そうして、誰かが「今日の井原」に含まれる言葉でgoogle検索したときに、なぜかhttp://unko.comが検索結果に登場してくる、と。
「ほんとにこんなことがあるのか」という感じもする。そんなことが可能なら、もっと話題になっていても良さそうなものだ。だが、METAタグを使った事例ではあるが、この方法で被害を被った人もおり（２つ目のリンクを参照のこと）、まったく根拠のない話でもないようだ。また、SEO関連のページを調べると、「302リダイレクトは検索スパムと誤解され， 検索エンジン側でペナルティが与えられる可能性があるので使わないように」との記述も見付かる。
何にせよ、面白い話題だと思ったので紹介したい。もっと詳しく知りたい人は下のリンクからページを辿ってみてください。
Google and the Mysterious Case of the 1969 Pagejackers (@ Kuro5hin)
http://www.kuro5hin.org/story/2005/2/5/183516/0997
Dupe content checker - 302's - Page Jacking - Meta Refreshes
http://www.webmasterworld.com/forum3/25638.htm
Post a comment to '302 Googlejacking: HTTPプロトコルの302リダイレクトを使った検索スパム'
February 9, 2005
OrganicHTML
URLを指定すると、そのHTMLから珍妙な植物を作り出すflash。おもしろい。センスあるなー。
上はもぶろげっとでやってみたもの。
OrganicHTML
http://organichtml.com/flash/
[論文紹介] Web情報検索のためのBlog情報に基づくトラスト値の算出方法
blogとWeb検索を絡ませたネタである。
blogの書き手は、ある商品や出来事について記事を書くとき、記事中でその話題の元となったURLへリンクを張ることが多い。それはたとえばメーカのWebサイトで公開されている商品の紹介ページかも知れないし、ニュースサイトの記事かも知れない。
そのようなblogの記事は、リンク先のURLに対するアノテーション（注釈）と捉えることができる。特に最近ではblogユーザの数が急激に増加しており、一つの商品や記事について、何十ものblog記事が書かれることも少なくない。それらのblog記事をアノテーションとしてインデックスに統合し、うまく検索結果に反映させることができれば、検索結果の向上を達することができるのではないか。
この研究の背景と目的はこのようなところだ。
では、具体的にどのような手法でそれを実現しようとしているのか。ここで、筆者らは「blogの書き手をスコアリングする」という着想を持ち出している。blogを多く読んでいる人ならよく分かっていることだろうが、blog記事というのはそのクオリティ（抽象的な表現であるが……）に大きな開きがある。従って、筆者らはすべてのblog記事を等価なものとして扱うべきではないという考えに立ち、blogの書き手がどれくらい信頼に足る人物であるかということを明らかにしようとしている。
実際、現在行われているblog研究ではblog記事を各個で全く独立したものとして捉える傾向が強いが、blogには「blog記事」と「書き手」との関連を容易に取得できるという便利な性質がある。よって、blogの書き手をスコアリングし、その書き手がどのくらい信頼できるのかを定量的に明らかにしようというのは非常に正しいアプローチであると思われる。
以下は論文からの引用である。
たとえば、どれだけ多くのユーザに読まれているか（人気）、最近の注目のトピックやニュースを早く記事として載せているか（すばやさ）、記事中で参照するコンテンツを他の信頼できるblogサイトも紹介しているか（参照）、などが要素としてあげられる。
この研究では、そのために、ある書き手の書いたblog記事をすべてクローリングし、それらをまとめて一つのコーパスとして統計的な処理を行う。Chasenを用いて形態素解析を行い、頻度の高い単語を上位n件まで取り出す。そしてそれがどのようなカテゴリに属する言葉なのかを、カテゴリ検索サービスを用いて階層的情報として取得する。これによって、その書き手がどのような分野について詳しいのかを判断している。また、簡単なパターンマッチングの処理によって、参照先のページに良い評価を与えているかを判断している。
筆者らはプロトタイプを実装し評価を行っているが、あまりしっかりした評価ではない。
これからの発展を注視したい。
Web情報検索のためのBlog情報に基づくトラスト値の算出方法
http://www.ieice.org/iss/de/DEWS/proc/2004/paper/I-2/I-2-02.pdf
February 8, 2005
あのサービスは今？
年度末企画 「あのサービスは今？」
http://internet.watch.impress.co.jp/www/article/2001/0319/sp.htm
泣いた。
ネットバブルは現世（うつしよ）の夢。
goo blogのシステムの作り込みが甘い件について
存在しない日付を設定できるのはどうにかして欲しい。
できれば、カレンダ機能でありえない年月を指定できるのもどうにかして欲しい。
もぶろげっとを開発していて、このあたりの作り込みの甘さに手こずらされております。
February 6, 2005
にゃんこクリーナー
[論文紹介] The EigenTrust Algorithm for Reputation Management in P2P Networks
久しぶりに論文など紹介してみようと思う。
偉そうに論文紹介のカテゴリを作っておきながら、一年でたった５本しか紹介していないとなると、「こいつは論文もまともに読まないうんこ院生なのではないか」と思われそうだが、もちろんもっと色々と読んでいるのだ。ただここに書いていないだけだ、ということを断っておきたい。でも僕がうんこ院生だというのはその通りだと思いますけれど:-)
で。今回紹介する論文のタイトルは「The EigenTrust Algorithm for Reputation Management in P2P Networks」。 スタンフォード大のKamvarらによってWWW2003で発表された論文である。
たとえ話から入る。気になる商品があるが、その商品の分野について自分には十分な知識がない。 そういう場合、その分野に詳しい知り合いに声を掛けて、「あれが気になるんだけどどう思う？」と聞くのはよくあることである。
これをもう少し一般化して換言すると。つまり、自分にとって未知の対象を評価するのに、それを知る（１人、あるいは複数の）誰かにクエリを投げてその誰かの評価値を受け取り、それを自分の中で統合して間接的に評価値を決定するわけである。未知の対象を評価するのに、間に誰かを挟むところがミソだ。
この論文では、そういう「間接的な評価」を定式化し、P2Pのノード管理やらWeb検索やらに適用するスコアリングアルゴリズム"EigenTrust"として提案している。
元々はP2Pなファイル交換ネットワークでうんこなノードを見つけるために、各々のノードについてunique global trust valueを算出しましょう、という話から出発している。……のだが、定式化されたアルゴリズム自体は広く応用が利きそうな、なかなか興味深いものになっている。お勧めの論文である。
アルゴリズム自体もシンプルで、高度な応用数学を使ってどうこう、というようなことはしていないので、すんなり理解できるとおもう。途中、CAN（P2Pネットワークで使われる分散ハッシュの形態の一つ）をあれこれする部分が出てきて、その辺りの知識がないとわけわかめだと思うが、この辺りはすっ飛ばしてかまわない。
P2Pネットワークや検索技術に興味があるなら、読む価値のある論文だと思う。
The EigenTrust Algorithm for Reputation Management in P2P Networks
http://www.stanford.edu/~sdkamvar/papers/eigentrust.pdf
Post a comment to '[論文紹介] The EigenTrust Algorithm for Reputation Management in P2P Networks'
February 1, 2005
mixi、クローラによる(？) アクセスに対策
安定してサイトの運営をおこなう為、間隔を空けない連続的なページの遷移・更 新は制限させていただいております。ご迷惑をおかけいたしますが、しばらくお 待ちいただいてから操作をおこなってください。
mixiなのだが、連続的なアクセスをすると上のようなメッセージが出るようになった。いつからこうなっていたのかは分からない。
最近ではmixiへのアクセスを自動化するツールや、明らかに機械的なクローリングによって作成されたと思われるデータをちらほら見るようになっており、クローラによる負荷の増大が問題になっているとしてもおかしくはない。
リニューアルした『インターネットマガジン』を読んだ
インターネットマガジンが今月号からリニューアルしていた。いつも通り購入して、研究室に帰って一通り読んでみた。
今までのインターネットマガジンは、インターネット界隈のニッチな話題を取り扱う雑誌で、たとえばSEOやアフィリエイト、Web検索といった話題が積極的に取り上げられていた。「アダルトサイト特集」なんてのを組んだ号もあった。記事は全体的にビジュアル重視で読みやすく、技術的な知識のない一般の読者でも分かるように書かれていた。
翻って今月号は、それとは一転して、プロフェッショナル向けの硬派な技術雑誌のようになっていた。ページ数も少なくなり、ページ当たりの値段は前よりもかなり上がった。雑誌の名前こそ今までと同じだが、想定している読者層はほとんど重ならないのではないか。
で、記事の中身である。決してクオリティが低いわけではないが、ただ最新の技術動向を羅列して通り一遍の紹介をするだけの内容に止まっている。これは良くないと思う。読ませるサーベイ記事を中心に紙面を作るのは方向性としてアリだが、しかし、そのような雑誌をつくるのなら、そこで取り上げる各々のネタをきちんと整理して相対的に位置付け、何らかのヴィジョンを示して欲しい。今月号のインターネットマガジンの読後感は、「IT用語辞典」の興味のある項目を適当に読んでいったのとそんなに変わらない。
来月以降の内容に期待したい。
RSS Feed