ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita
一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい
socket.io が提供してくれているものは何か - from scratch
現在開発中のシステムにリアルタイムな処理があり、そこで socket.io を使おうかなと思ってて、そういう折にタイムリーにもこの辺りの記事がタイムラインで出てきたのでメモ代わりに自分の意見を残しておく。 blog.jxck.io qiita.com socket.io が提供してくれているもの 「ブラウザとサーバ間のプロトコル」という観点で見ると socket.io は WebSocket を基本として繋がらなかった時に XHR Long Polling や polling といった形式の代替手段を提供してくれるもの、という位置づけ。 一方で「ライブラリ」という観点で見ると socket.io はリアルタイムアプリケーションを作る際に必要になる処理をまとめて実装し、クライアントとサーバ間での EventEmitter として抽象化してくれているもの、という風になる。 もう少し噛み砕いて言
サーバからクライアントに送信する技術 - WebSocketを中心に - Qiita
Webでのプッシュ技術 HTTPはクライアント（ブラウザ）からリクエストしてサーバからレスポンスが返る一問一答型のプロトコルなので、基本的にはサーバ側からブラウザに新着情報をリアルタイムで通知（プッシュ）できるようにはできていません。 しかしそれでもプッシュをしたいという場合にどうするかという話が出てきます。やり方には以下のようなものがあります。 ポーリング クライアントからサーバに定期的に新着を問い合わせるようにします。 最も原始的かつ確実なやり方。欠点は、最大でポーリング間隔の分だけ通知が遅延しうることです。 ロングポーリング（“COMET”） ポーリングなのですが、問い合わせを受けたサーバは新着情報がなければレスポンスを返すのをしばらく保留します。 そのあいだに新着情報が発生すれば即座にレスポンスを返しますし、一定時間経過したら何もなかったとレスポンスを返しましょう。 飛び交う通信内
いまさら聞けないWebSocketとSocket.IOの基礎知識＆インストール
本連載「Socket.IOで始めるWebSocket超入門」では、WebSocketを扱うことができるNode.jsのライブラリ「Socket.IO」を使って、サンプルアプリケーションを構築していきます。 具体的には、チャットを題材とし、送受信されるメッセージ内容が即時反映されるリアルタイムかつ双方向なWebアプリケーションの構築を目標とします。さらに構築の中で、Socket.IOの各種ライブラリの使い方について解説することで、Socket.IOを使ったWebSocketの実践方法を体系的に学びます。 いまさら聞けないWebSocketとは WebSocketはリアルタイムWeb技術の一種であり、リアルタイムかつ双方向な通信を実現するプロトコルです。WebSocket通信では、コネクション確立時にHTTPからWebSocketへプロトコルを切り替えます。1度コネクションが確立されると、「w
Which WebSocket library to use in Android app?
I want to add a Service to my Android app which runs in the background holding a WebSocket connection (possibly over several hours or even days) and regularly sends some data to a server. Now there seems to be a bunch of WebSocket libraries for Java, and I'm not sure which one I should use: TooTallNate/Java-WebSocket Description from GitHub: A barebones WebSocket client and server implementation w
WebSocket クライアントライブラリ (Java SE 1.5+, Android)
特長 RFC 6455 (The WebSocket Protocol) に準拠している。 Java SE 1.5+, Android で動く。 全てのフレームタイプ (continuation/binary/text/close/ping/pong) をサポートしている。 分割されたフレームを送信するメソッドを提供している。 WebSocket が使用しているソケットを取得して設定できる。 Basic 認証のためのメソッドを提供している。 javax.net.SocketFactory インターフェースを利用するファクトリークラスを提供している。 WebSocket イベントをフックするためのリッチなリスナーインターフェースを提供している。 エラー発生時にきめ細かい制御ができるよう、きめ細かいエラーコードを定義している。 フレームの RSV1/RSV2/RSV3 ビット及びオペコードの検
あなたにWebSocketは必要ないかも | POSTD
(訳注：2015/8/4、いただいた翻訳フィードバックを元に記事を修正いたしました。) 本題に入る前に強調しておきます。WebSocketは優れた通信プロトコルです。実際私はこの RFC6455 を、 Fanout のサービスで使っている( Zurl や Pushpin といったパーツで採用しています。Fanoutではまた、 Primus （異なるリアルタイムフレームワーク間での通信を可能とするラッパー）を利用し、 XMPP-FTWインターフェース を介したWebSocket通信をサポートしています。 しかしながら私はこれまで、多くの広く普及しているアプリケーションにかなりの時間を費やし、おかげでRESTやメッセージングパターンについては多少なりとも理解が深まってきた今、実はWebSocketを実装した典型的なWebアプリケーション（もしくはWebSocketライクな抽象化レイヤ）の大部分
Jettyで学ぶWebSocket入門 - omotenashi-mind
準備 JettyでWebSocketを利用するためには次の２つとそれに関連するモジュールが必要となります。 jetty-server javax-websocket-server-impl 以下、pom.xmlの設定例です。 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
Jetty 9.0.3でWebSocket - ka-ka_xyzの日記
Jetty 9 – Updated WebSocket API | Jetty & Cometd Blogs を基にWebSocketサンプルを作成したものの、微妙にAPIのパッケージ名が変わっていたりして混乱したので、ちょっとメモしてみる。 とりあえずpom.xml（maven v2.0.9で動作確認） <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <group
Jettyを使って、JavaでWebSocketサーバーを実装してみる。 - 感謝のプログラミング
WebSocketって何？ WebSocketとは、サーバとクライアントの間で降雨率的な双方向通信を実現するための仕組みである。 WebSocketを利用すると、1本のHTTP接続上で双方向のメッセージを自由にやりとりできる。 HTTPのリクエスト、リプライでは実現できなかった、「サーバーからのpush通信」もWebSocketを使えば実現可能となる。 JettyでWebSocketを実装するサンプル 昨日から、Javaを使ってWebSocketサーバーを作ろうと考え、WebSocketをサポートしているJettyというアプリケーションサーバに光を当てた。 で、Eclipseのプラグインまでインストールしたのが以下の記事。 http://d.hatena.ne.jp/sho322/20130714/1373823115 今日はその環境を使って、JettyでWebSocketを実装し、チャッ
donottouch.org
is a Moniker production Amsterdam, 2013 Contact us! (We would love to work with you) follow us on twitter like us on Facebook Cast Björn Ottenheim Daan Schinkel Alexandra Duvekot Thijs Havens Roberta Petzoldt (& over 1 million of your Pointers) Director Moniker Line Producer Vargo Bawits, Flickering Wall DOP Sal Kronenberg Focus Puller Marinka Schippers Styling Ogenda ter Haar Make Up Paulien Hart
HTMLってホントよく出来てるな。
Objective-Cなんてのを書いてると、なんでこんなちっぽけなことを実現するのに時間がこんなにかかるんだろうと思う。 スキルや経験に問題があるかも？！というのは否定しないけど、Webベースで作ってる時に比べて、自分の生産性が1/20ぐらいになってる気がして、携帯HTMLのサーバサイドコード書いてた時と比較しちゃって、モチベーションの維持が本当大変。 HTMLのハイパーリンク、テーブル、CSS、、、すごくシンプルなアーキテクチャで、すごいよ、やっぱり。 なによりWebは分業したときの切り分けがエンジニアに優しいw。 唯一の弱点はサーバサイドコードが汚くなることだけど、汚くあることで可読性は悪いけど、その分、修正のスピードが早い。汚いところは君の頭の回転でカバーだ。 AjaxもいらないからブラウザとWebサーバの間で先読み技術などがどんどんリッチになって、Webの人はできるだけ使いやすいW
クロスドキュメントメッセージングやWebSocketを使ってみる
＊）オリジンとは、プロトコル、ドメイン、ポート番号の組み合わせの事です。 サンプル一式は、会員限定特典としてダウンロードできます。記事末尾をご確認ください。 従来のHTTPによる通信では以下のような問題や制約があります。 メッセージの送信時に毎回接続を確立して送信後に切断する必要があり、オーバーヘッドが大きい。 接続を開始する権利はクライアント側にしかなく、サーバー側は要求に対する応答の形のみでしかデータ送信出来ない。 各メッセージ送信において状態を維持する事ができない。 クロスドメイン（クロスオリジン）での通信はできない これらの制限が、効率的なリアルタイム性のあるリモートアプリケーションの作成や、他サイトの提供するサービスの組み合わせでWebサイトを構築する場合に、他の技術も使用しなければならず、実装が複雑になってしまう原因となっていました。 しかし、HTML5の上記の新機能により、サ
ついにRFCに登場！Webサーバとの双方向通信を実現する「WebSocket」 - builder
次世代のWebアプリケーションの中核を担う技術として「HTML5」に注目が集まっているが、それと並んで期待されている技術に「WebSocket」がある。 IETFとW3Cによって仕様の策定が進められており、最初の提案以来幾度もの改訂を経て、2011年12月11日にそのプロトコル仕様がRFCのProposed Standard（RFC 6455）となった。 AjaxからComet、そしてWebSocketへ WebSocketはウェブサーバとブラウザが直接コネクションを張って双方向通信するための技術規格である。HTTPとは異なる独自の軽量プロトコルによって通信を行うため、オーバーヘッドが小さく、長時間に渡って通信する場合でもHTTPコネクションを占有する必要がないというメリットがある。 WebSocketが生まれた背景には、サーバとブラウザがもっとリアルタイムに通信して情報の配信や更新を行え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Wormhole is a Fast, Secure Way to Send Files to Other Users Through the CLI - OMG! Ubuntu
Jetty WebSocket Client API
GitHub - socketio/socket.io-client-java: Full-featured Socket.IO Client Library for Java, which is compatible with Socket.IO v1.0 and later.
okhttp/okhttp-ws at master · square/okhttp · GitHub
RACER: A Chrome Experiment
回転寿司
