Airbnb Supersetを素人が読み解く

Superset !!

airbnbが開発・公開し、先日Apache IncubatorとなったSupersetについて作りを読み解く。Supersetとは、SQLデータベース内の情報をQueryし、結果をリッチな図表で視覚化してくれるWebツールです。


背景

このSupersetをベースにSQL文をGUI操作から自動生成するツールを今風のツール使ってオシャレに効率良く作りたい！という背景があり、まずは
  • Supersetがどんな部品で構成されているの？
  • 目的を果たすにはどのへんを集中して掘り下げていけば良いか？
をクリアにするために読み解き作業を行います。

方針

主にPythonとNode.jsで構成されているらしく、Python部分の作りを自動可視化して様子を見てみる。

開発環境

以下を参考にSuperset開発環境を整える。
incubator-superset/CONTRIBUTING.md at master · apache/incubator-superset
 以下を実行して仮想環境を作成し、ソースをリポジトリからクローンする。

 $ virtualenv superset_dev_venv  
 $ . ./superset_dev_venv/bin/activate  
 $ git clone https://github.com/apache/incubator-superset.git incubator-superset-dev

あとは言われたとおりやる。

 $ fabmanager create-admin --app superset

ここで admin でユーザ作るとDBへのユーザ追加時にエラーとなるので注意

 $ superset db upgrade  
 $ superset init  
 $ superset load_examples  
 $ superset runserver -d -p 9099

この状態でアクセスするとフロントエンドが未完成な感じのまま。このままnpmによるnodejsのセットアップに移ります。

 $ cd superset/assets/  
 $ npm install -g yarn  
 $ yarn

このインストールはすぐ済みます。

 $ npm run sync-backend  
 $ npm run dev

最後のコマンドが「nodeが古い」とかで失敗しました。なので最新化してあげます。

 $ sudo n latest  
 $ node -v  
 v8.3.0

これで改めて、npm runとrunserverを両方やればリッチなフロントエンドでsupersetにアクセスできます（fabmanagerで設定したアカウントを使ってアクセス）。

構成の可視化

可視化には以下を利用する
snakefood: Python Dependency Graphs

ソースコードはbitbucketで管理されており、個人的には聞きなれないMercurialをリポジトリに使っている。なので単純に最新スナップショットをzipでダウンロードした。

以下の
http://furius.ca/snakefood/doc/snakefood-doc.html
「30-seconds Usage Instructions」に従って、エイヤッで作るとこんな風になって、よくわからない。

結局、以下のコマンドで標準ライブラリを除去したりしてみたが、情報量としてはあまり多くなかった気もする。

 $ sfood --ignore-unused --internal ./superset | sfood-graph | dot -Tsvg > test3.svg

 sql_lab機能周辺が気になるので、sql_lab.pyと依存関係にあるsql_parse.py、dataframe.py、jinja_context.py、db_engine_spec.pyあたりに絞ってみてみる。

ログから読み解く

このアプローチのほうがてっとり早かった。デバッグモードで起動するとコンソールに色々デバッグ情報を吐いてくれる。
  • メニューや画面の実装は views/core.py で行っており、flaskのJinjaという軽量テンプレートを利用している。
なので、独自のメニューや画面の追加は容易に行えそうである。

画面にはReactを利用

下のSQL Labの画面などは、jsxファイルの集合体となっている。今流行りのReactで書かれている、ということかな。


クラス図を生成した方が良さそう

メニューを追加したり、Flask AppBuilderを使ったテーブル表示をカスタマイズしてみたりして思ったのが、クラス図が見えると色々見えてきそうだ、ということ。というわけで以下に従ってクラス図を生成してみたのがコチラである。うん、わかりやすい! こういう設計センスがある人って、すごいな。場数踏めばできるもんなのかな。
生成手順は以下の通り。

 $ sudo pip install pylint  
 $ pyreverse -o png -p hoge superset  
 $ ls -l *hoge.png  
 -rw-rw-r-- 1 ubuntu ubuntu 3713024 Aug 16 15:58 classes_hoge.png  
 -rw-rw-r-- 1 ubuntu ubuntu 742609 Aug 16 15:58 packages_hoge.png

コメント

コメントを投稿

このブログの人気の投稿

６日目：フィゲラス ダリ美術館見学（その３）

イメージ
どこかで見たことありますね ターミネーターやトランスフォーマーを彷彿とさせる作品 スプーンで出来たろくろ首 有名な歪んだ時計です！ セルフポートレート集 さまざまな作品に終始圧倒されて、かなり体力も消耗しました。劇場美術館を観終えて次は宝石美術館へ。その前に腹ごしらえです。美術館すぐ近くのレストランへ。 トマトのバケットはここまで色々食べましたが、ここのはなんと自分でトマト＆生にんにくを塗ったくるタイプ！観光地だったので正直あまり期待してなかったのですが、ここはご飯が美味しかったです。 手がすっかりにんにく臭くなりましたよ 味付けもほどよく大大満足！ お肉は頂かなかったのですがシュラスコがメインらしい^^; ご覧の通り大変リーズナブルな価格です 宝石博物館には、ダリがデザインした奇抜な宝飾品が多数展示されています。 この心臓を模したものは実際に鼓動するらしいです 後からよく観ると大きな瞳のようにも見えますね  脚の長い象。絵画内に登場した象のようです ブドウですね。ですがよく観ると髑髏の集まりだったりします。 この日は終始どんよりでした。赤い壁面もイマイチ映えません 駅までの道中も人影まばら と思ったら、街の広場に賑わってる場所を発見  古本市でした。様々な本が売っており あいにくの雨にもかかわらず多くのお客さんで賑わってました。 萌系日本アニメの書き方本など色々興味深い本が多数出ていました。 こういう偶然こういった催しに出会うことができるのが個人旅行の醍醐味ですね  落書きもいたるところにありました。絵になるなぁ なんて思うのは観光客だけですかね 帰りの電車は接続が悪く１時間以上駅で待ちぼうけ。。  そのおかげで車内でワンコに会うことが出来ました。ご主人と一緒で楽しそうでした こんな感じで車内はガラガラです。我々も疲れ気味＆天気もイマイチなので ジローナでの途中下車の旅はやめて一路バルセロナ・サンツ駅まで直帰することに！ バルセロナ・サンツ駅に...
続きを読む

Dell XPS 13 9350 doesn't boot up

イメージ
My Dell XPS 13 9350 was suddenly dead. When turn on the notebook, after blinking power button LED for a few seconds, nothing happen.😞 At that moment, it still did take only a few months since I got this notebook at auction.  In my case, running out of battery ( CMOS BIOS battery ) seems to be cause of the issue. When get voltage of the battery lower than the level required to boot up bios, this issue seems to appear. Dell Latitude 13 (7350) / XPS 13 (9343 / 9350) CMOS BIOS Battery Dell XPS 13 Teardown - iFixit One of the solutions to avoid that this issue would happen again is that you should not charge battery with AC adapter during Power down. If you want to charge battery, you need to do that during power on. When you face the same again, detach and attach of the CMOS BIOS battery might be able to resolve the issue. Good luck!
続きを読む