tjun memo面白いこと探してます。

googleの講演聞いた

大学で講演があったので、聞きに行ってみた。

2010/07/02

“Practical and Simple Parallel Computation in the Cloud”

by Grzegorz Malewicz

内容は、まあタイトルの通りで、大量のデータにどう向かっていくか、という話。
基本的なところから話すので、知ってる内容も結構あった。Big tableとかMapReduceとかPageRankとか。あとはParallel computingの基本的な話とか。

よく分からなかったのが、

• pregel: model of graph computation
Official Google Research Blog: Large-scale graph computing at Google

の話。英語力が足りなかったのかもしれない。
これを使うとPageRankの実装が15行でできるらしい。

まあまとめると、googleのアプローチとしては、
不安定なperformanceや failure は起きるものなので、それを考慮して設計。

scalable reliable software on unreliable hardware

これに尽きる。

あと面白かったのがベンチマークの話で、

1PBのデータ(10^13のレコード、それぞれが100bytes)を
- 4000台のマルチコアのマシン
- 48,000のハードドライブ
でソートするのに6h 2m

ベンチマークに使うデータが1PBっていうサイズなのはさすがです。

あとは質疑応答

• map reduceにcast できない問題はあるのか？
少し手を加えれば、多くの問題はcastできる。新たなモデルも考えている。

• street viewなどでも同じデータストレージシステムを使っている？
分からないが、たぶん違う。
big tableはデータの変換などを行うことに特化したデータ構造で、street viewなどのように書き込んだらあとは参照するだけの情報の場合、違うデータアーキテクチャがベターだろう。

• 処理が多少速くなっても、結局ネットワークがボトルネックになるのでは？
データをいかに集めておくかが重要で、またネットワークトポロジーなども工夫している。

• pregelは利用可能な実装はある？
オープンソースで現在の実装はない。論文に説明がある。

合ってるか分かりません。

あとGoogleは飯がうまくて優秀な仲間がいていい環境だよ、と宣伝してました。

Tags: cloud, Diary

Discussion about Internet of Things

Internet of Things (IoT)に関するとある会議?を聴きに行きました。

やっぱりこの辺のInternetとReal Worldがつながる世界で何か面白いことをやりたいな、と感じた。
Real Worldというとアバウトだけど、それは人だったりモノだったり環境だったり。
Webに人間が作るコンテンツ(UGC)が増えたら少しずつ世界が変わっていったように、モノが作るコンテンツ(Things-generated content?)あるいはコンテキスト(Things-generated context)が増えたらまた世界が変わるんじゃないか。Web3.0みたいな。

Extend Internet to real world　と言っていたが、Internetの視点から見るかreal worldの方から見るか、両方がありえて、Internetにはfacebookとかtwitterとかリッチなサービスというかプラットフォームがいろいろあるのにreal worldからの人の多くは可視化したりtwitterに繋げて満足して終わっていたりして、その先をもっと考えてもいい気がしている。


この間にくるのがたぶんarduinoだったりandroidだったりで、敷居が下がってきているというか環境が整ってきているんで、新しくて面白いことをやるチャンスかもしれない。
もちろん、みんながそんなようなことを考えている中で違ったことをやるのは難しい。

でも、arduinoもandroidもInternetの方の人がReal Worldの方に来るためのもの、つまりextend internet to real worldであって、extend real world to the Internetなプラットフォームがない、ような気がしている。

pachubeはReal WorldからInternetにつなぐよさそうなPlatformかもしれない。

他にも自分の身近にもこのあたりをいろいろ考えている人はいる。CastanetやTangram。
自分も何かやりたいけど、今の場所で研究していてもこの先ができない感じがしている。内定先の会社に入ってもできないし。


関連のありそうなWebサイトをいろいろ教えて貰ったのでまとめておきます

• Web of Things | Architecting the Web of Things, for techies and thinkers!
Real worldとWebをつなげるアーキテクチャ


• IPSO Alliance: Promoting the use of IP for Smart Objects
IPをSmart Objectsにも利用しようというalliance


• pachube :: connecting environments, patching the planet
Store, share & discover realtime sensor, energy and environment data from objects, devices & buildings around the world.
Pachube is a convenient, secure & scalable platform that helps you connect to & build the ‘internet of things’.
世界中のセンサやアクチュエータをRESTfulなInterfaceでつないでやろう、というプラットフォーム。


• touchatag
モノにタグをつけたりするソリューション?


• MIRASENSE
ケータイからバーコードを読んで、商品の感想などを共有するサービス


• my2cents.mobi
my2cents is a mobile app to share comments on products.
上のやつと似てる。


• AppAware.org Social Market for Android
Install / Uninstall したAndroidアプリケーションを共有するサービス


• Augmented Reality Browser: Layar
たぶんセカイカメラのようなAR実空間タグ付けアプリ。たぶんいろいろなレイヤーにタグが分類されるから、レイヤーの切り替えとかをすると見たい情報だけ見ることができる。


• I-LAB
アフリカでケータイを使った保険サービスをやってる?
ドイツ語なので分かんない。

• Amazon Mechanical Turk – Welcome
ソフトウェアが判定できない問題を、人間を使って解決する仕組み。

Tags: android, arduino, sensor, web