バッチとストリーミング処理のための分散処理ツール「Apache Beam」がトップレベルプロジェクトに | OSDN Magazine
Apache Software Foundation（ASF）は1月10日（米国時間）、分散処理ツール「Apache Beam」がトップレベルプロジェクト（TLP）となったことを発表した。 Apache Beamは、バッチとストリーミング処理の両方を任意の実行エンジンで動かすことができるユニファイドプログラミングモデルを提供するソフトウェア。Apache SparkやApex、Apache Flink、Google Cloud Dataflowなどの実行環境を利用でき、PythonとJavaでデータ処理パイプラインを定義できるSDKを含む。拡張性にも優れるとしている。 当初はGoogleでMapReduceシステムの流れを汲むデータ処理の取り組みの一部として開発されたもので、2016年1月にApache Software Foundation（ASF）に寄贈された。 GoogleはApac
Apache Cordova: after 10 months, I won't using it anymore
When you are reading this, it's been 10 months I'm using Apache Cordova, and I explain why I will not use it for my next projects. Bad performances. Doing your app with Cordova is slow, and this is absolutely normal. On iOS for example, there is one thread which drives UI and handles all the touch events. Then the other threads can be used to access a file or a db, or to do some other processing.
TechCrunch | Startup and Technology News
When the founders of Sagetap, Sahil Khanna and Kevin Hughes, started working at early-stage enterprise software startups, they were surprised to find that the companies they worked at were trying…
RDBMSのコネクションプーリングとかその辺の話 - wyukawa's diary
データベース技術の羅針盤 from Yoshinori Matsunobu これは素晴らしい資料で後半のキャリアの話とか面白いんだけど、今回書くのはp6,p8に書かれていた下記の話です。 PosgreSQLは接続がプロセスベースなのでLL言語との相性がよくない Pgpool(これはプロキシサーバー的に使うらしい)などのコネクションプールと併用することが多い MySQLは接続がスレッドベースなのでコネクションプーリングが使いづらいLL言語環境では魅力 なんでLL言語だとコネクションプーリングが使いづらいのかわからずつぶやいたらリプライもらってついでにちょっと前に話題になったRDBMSでコネクションプールが必要な理由、わからない。 - Togetterや7年前のブログエントリであるコネクションプーリングの話 - naoyaのはてなダイアリーを読み返してみて思ったことを書いてみる。全然まとまって
Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。 というわけで、読んだ結果をまとめてみます。 Sparkとは？ 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？ 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
オープンソースのワークフローエンジン「Activiti」入門
1. オープンソースのワークフローエンジン「Activiti」とは 「Activiti」は、Apache2.0ライセンスのもとで配布されているオープンソースの“ワークフロー・エンジン”です。 BPMN2.0という規格に準拠していることから、“BPMN2.0エンジン”とも呼ばれています。 Activitiの開発は、オープンソースの「Enterprise Content Management（企業向けコンテンツ管理システム）」で有名な「Alfresco Software」によって行われています。 Activitiは、元JBoss jBPMのプロジェクトリーダーであり、開発者でもあったTom Baeyens氏らによって開発されました。 よって、jBPMのVer.3およびVer.4のコンセプトを継承しており、JavaベースのWebアプリケーションへ組み込みやすいエンジンになっています。 これまでの
mod_spdyから学ぶSPDYとストリーム並列処理の実装
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 HTTP関連の研究をしているので、そろそろ古い技術を詰めるばかりではなく（これはこれでとても大事な事なのですが）、新しい技術についても調べておきたいところです。 ということで、僕のSPDYに関する現状の理解を、mod_spdyに関する情報を元にまとめておきたいと思います。 SPDY概要 SPDYの概要を表す図としては、下記が良く用いられます。 TLS上にのせたSPDYストリーム上でHTTPやWebSocketを扱うプロトコルで、特徴としては、以下の4つがあげられます。 ストリームの並列化 フレームレイヤーやヘッダーの圧縮 リクエストの優先処理 サーバからのリソースプッシュ HTTP/2.0についても、SPDYを元に仕様が検討されています。では
MongoDB 2.4 の性能 徹底評価 - 中年engineerの独り言 - crumbjp
まとめ 超長くなったのでまとめを上に持ってきた。 巷で言われているチューニングは結構嘘が多い事が解ってきた。 ツール等 workingSet Analyzer は信用ならない。（overSecondsはまあ良い） mongoperfの値は完全に参考にならない。 insert mongoperfの値はinsert性能と関連しない。（何を測ってるんだ？） カラムのプリアロケーションによるUPDATE時のデータ肥大化回避($setOnInsert)はMUST。 クリティカルな時間帯にストレージファイル(2GB)の生成を避けるチューニングの効果は懐疑的。 レコードプリアロケーション・チューニングは頑張る価値が無い。(むしろ逆効果) update 上記の通り必ずin-placeになるようにする。 paddingFactorが動くようだとお話にならない性能劣化 remove かなり高速。 全件削除の場
JavaScript is not available.
Something went wrong, but don’t fret — let’s give it another shot.
Apache 2.4.1のスループット評価（旧ApacheとNginxとのベンチマーク比較）
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 久々のApache HTTP Server 2.4.1という安定版がリリースされたので、早速ベンチマーク評価を行う。今回はevent_mpmのExperimentがとれて、晴れてデフォルトMPMになったのでそれを使ってみたい。 日本一（ひょっとすると世界一）早いApache 2.4.1 event_mpmのレビューを意識してみた。 はじめに 個人的にも、event_mpmが採用されたことに最も注目している。event_mpmは非同期型のIO処理をしていて、nginxに近いアーキテクチャをとっている。厳密には、nginxの非同期と比べた場合、nginxは徹底的にノンブロッキング（accept4を使う等）してworkerスレッドで次々と並列処理し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Log4j – Log4j 2 Lock-free Asynchronous Loggers for Low-Latency Logging
MySQL負荷分散の方法