2015年5月11日月曜日

[docker] DockerでSpark SQL

›
Spark SQL 1.3から以下の2つの機能が導入されています。 DataSourceとしてJDBCが使えるようになった DataFrame この2つの機能追加によってSpark SQLを汎用のバッチ処理基盤にできるのではないかというインスピレーションが湧きました。 この実現目...
2015年5月7日木曜日

[docker] Docker Composeでデータ投入

›
「 Docker ComposeでMySQLを使う 」ではDocker Composeを使ってJobSchedulerからMySQLをそれぞれ別のDockerコンテナ上で動作させ連携して使用しました。 テストなどでMySQL公式Dockerコンテナを使う際の問題点として、データ投...
2015年5月4日月曜日

[docker] Docker ComposeでMySQLを使う

›
製品の評価や、開発時のテストなどDBをカジュアルに作成して消したいシチュエーションは多々あります。 開発マシンにDBを入れてデータ投入する運用だと、開発マシン環境が汚れてきたり、復数の設定が共存して収集がつかなくなったり、DBやライブラリのバージョンに依存する場合の切り替えに困っ...
2015年4月27日月曜日

Finagle+Karaf+Dockerでmicroservices

›
流行りなのでmicroservicesという用語を使ってみましたが、意図としては(microservicesも含む)マルチサーバー構成によるクラウド・システムを構成するサービス群がターゲットです。 この実行基盤としてFinagle、Karaf、Dockerの組合せが有力ではないか...
2015年4月20日月曜日

[scalaz-stream] ストリーミングで状態機械

›
Functional Reactive Programming(FRP)の眼目の一つはMonadic Programming(MP)によるストリーミング処理です。 MPでFRPを記述できることで安全なプログラムを簡単に書くことができるようになります。 そこで今回は「 Scala的...
2015年4月13日月曜日

[OFAD]Everforthのモデル体系

›
前回「 クラウド・サービスのモデリング 」で、クラウド・サービスを開発する際のモデリングの枠組みについて考えました。 クラウド・サービスの開発はSPaaS(Service Platform as-a-Service), OFP(Object-Functional Programm...
2015年4月6日月曜日

[OFAD] クラウド・サービスのモデリング

›
ここ数年 Apparel Cloud の開発に携わっています。 Apparel Cloudはアパレル向けのクラウド・サービスを実現するためのサービス・プラットフォームで、サーバーサイドの実装はScala+ScalazによるMonadic Programmingを採用しています。 ...