Selenium 2で非同期処理を待機する5つの方法 - CODESCRIBBLE
リッチなユーザインターフェースを備えたWebアプリケーションでは、Ajaxやアニメーションなどの非同期処理はよく用いられます。こういったWebアプリケーションをSeleniumでテストする際、従来の静的なユーザインターフェースを持つWebアプリケーションと同じようにテストを作成していると、実際にテストを動かした時に次のような問題が発生することがあります。 存在するはずの要素が見つからない（あるいはその逆） 画面全体、もしくは特定の要素の内容が更新されていない 例えば、以下のようなソースコードです。 ajaxButton.click(); WebElement fooElement = driver.findElement(By.id("foo")); 非同期処理を伴うボタンをクリックした後にfooというIDを持つ要素を探していますが、この要素が非同期処理の完了後に表示される要素であった場合
C#でSelenium2を使用して主要ブラウザを動かしてみた - Qiita
はじめに C#でSelenium2(Selenium Webdriver)1を使ってみようと思っている方に どのようなものかを実際に動かしてもらうことを目的としています。 やってみること 主要ブラウザ2でgoogleにアクセスしてSelenium2と検索する 本日のめにゅー VSでコンソールアプリケーションのプロジェクトを新規作成する NuGetから各種パッケージを取得 Selenium.Support Selenium.WebDriver Selenium.WebDriver.ChromeDriver Selenium.WebDriver.IEDriver WebDriver.GeckoDriver 3 各ブラウザーのウェブドライバーを作成するクラスを作成 googleにアクセスしてSelenium2と検索する部分の作成 実行してみる 準備済みのサンプルコードはこちら 1. VSでコンソ
【スクレイピングと法律】スクレイピングって法律的に何がOKで何がOUTなのかを弁護士が解説。【２０２２年１２月加筆】 | IT法務・AI・暗号資産ブロックチェーンNFT・web3の法律に詳しい弁護士｜中野秀俊
【スクレイピングと法律】スクレイピングって法律的に何がOKで何がOUTなのかを弁護士が解説。【２０２２年１２月加筆】 スクレイピングによってデータベースを作りたい！はいいのか？ スクレイピングとは、ウェブサイトから、ウェブページのＨＴＭＬデータを取得して、取得したデータの中から、特定のトピックに関わるデータを抽出、整形しなおすことをいいます。 スクレイピングは、ウェブ上にあるデータを取得する際に、クローラを用いて、自動的に取得することによって、短時間で膨大な情報を収集することができることに特徴があります。 このような技術を用いて、政府公開情報や他企業の情報、ニュース記事などの中から、自社に必要な情報を抜き出して、分析し、自社のデータベースを作成することが行われています。 一般的に、スクレイピングによって、データベースを作成する手段をまとめると以下のようになります。 クローリングによってウェ
C#でモダンにスクレイピングするならAngleSharp - Qiita
C#やVB.NETでWebページをスクレイピングする方法をWeb検索するとHtml Agility Packが見つかることが多いですが、APIはXHTMLやXPATHといったXML技術をベースにしているので、今これを使うのは少々やぼったい印象があります。 じゃあ何がいいのか？ということですが、私はAngleSharpを強くお勧めします。 AngleSharpの利点 AngleSharpのどこがいいのか？は、改めて別の記事を書くつもりですが、ここでは簡単にまとめます。 HTMLだけでなく、SVG、MathML、CSSもパース可能です。 HTMLをパースするとW3CのWeb標準に従ったDOMが構築されます。HTML5ベースのため、閉じる必要のないタグ（<br>や<img>など）や閉じタグを省略可能なタグ（<li>、<dt>や<dd>、<tr>や<td>など）も正しく理解します。 Selecto
Webスクレイピングの注意事項一覧 - Qiita
[2020/09/09追記] 本記事の内容は著作権法改正より前に記載されたものです。 最新の情報をご確認下さい。 * 著作権法の一部を改正する法律（平成30年法律第30号）について | 文化庁 * 令和2年通常国会 著作権法改正について | 文化庁 上記に関連して、次の記事を記載致しました。 * 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita はじめに Webスクレイピングで誰も嫌な思いをしなくて済むように、注意事項一覧を作りました。 ただ、法律の専門家による解釈ではないので責任は取れません。 この記事は、クリエイティブ・コモンズのCC-BYで公開致しますので、ご自由にご改修下さい。 データをダウンロードする時 目的は下記のものに限る。 * 個人や家族間で使用する * Web検索サービスを提供する * 情報解析をする ※参考：著作権法第30条・著作権法第47条(6
住みたい物件のURLを貼り付けるだけで家賃・初期費用・2年間トータル費用などの比較表が作れる「家探しのための Suumo スクレイピング用スプレッドシート」
by Matthew Trentacoste 不動産情報サイト・SUUMOの物件のURLをコピー＆ペーストするだけで、家賃・管理費・敷金・礼金・仲介手数料・鍵交換等・更新料・2年間合計・初期費用・築年数・面積・家賃/平方メートルなどの物件の比較表が簡単に作れてしまうスプレッドシートがエンジニアのtofuさんによって公開されています。 家探しのための Suumo スクレイピング用スプレッドシート - Fascinated with Tofu http://tofu.hatenadiary.com/entry/2017/02/19/suumo-scraping 「家探しのための Suumo スクレイピング用スプレッドシート」はウェブスクレイピングを使ったGoogleスプレッドシート。どういうものなのか？ということは実際に使ってみるのがわかりやすいので、まずは上記のウェブページに記載されているU
kimono
kimono Turn websites into structured APIs from your browser in seconds No more scraping Build an API in seconds with kimono to power your apps, models and visualizations with live data without writing any code Intelligent extraction The kimono smart extractor recognizes patterns in web content allowing you get the data you want quickly and visually
.NET向けHTMLパーサー「Html Agility Pack」で簡単スクレイピング
はじめに アプリケーション開発をしていると、他のWebサイトの情報を活用したくなる場合があります。そのサイトがWebサービスを提供していれば問題ありませんが、大抵のWebサイトはHTMLを公開しているだけです。正規表現などを使ってHTMLを解析することも可能ですが、思いのほか手間がかかってしまいがちです。 そこで、本稿ではHtml Agility Packと呼ばれるHTMLパーサーを紹介します。Html Agility Packを利用することで、C#やVB.NETからHTML内の情報を簡単に取り出すことができます。 Html Agility Packの概要 Html Agility Pack(以下、HAP)は、CodePlexで開発されている.NET2.0以上向けのオープンソースライブラリです。HAPはHTMLをDOMに展開して、XPathによる抽出やXSLTによる変換を行うことができます
Html Agility Pack
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform W
Audrey Watters「大規模データのスクレイピング、クリーニング、マネタイズ」 - 以下斜め読んだ内容
o'reilly radar 2011.5.11のエントリ Scraping, cleaning, and selling big data - O'Reilly Radar スクレイピングで金を稼ぐことを模索してる会社infochimpsのCEO、CTO、ビジネス開発マネージャを呼んだ このビジネスモデルの法的なリスクと技術的な面について突っ込んでみました という主旨のエントリ スクレイピングで稼ぐモデルとしては、技術を大企業に買ってもらうパターン（ex. Yahoo inc.によるDapper買収）しか知らなかった自分には勉強になった あと、まるごとrssのfeedのようにアフィリエイト広告入れるとかもあるが scraperwikiの存在を知ることできてよかった ruby/python/phpのスクレイピングコードをブラウザ上で実行してviewで結果確認したり、出力をcsvでDLしたり
.NET 用HTMLパーサ「HTML Agility Pack」 はなかなかイケテる。：ビジネスをデザインするブログ：オルタナティブ・ブログ
Bot 作成の技術メモ。 いよいよMix11の開幕が迫ってきました。お誘いを受けるも行けずじまい。 個人的にはSilverlight をHTML5に変換するツールを出してほしい・・・。というかExpression Blend をHTML5オーサリングに対応させてほしい今日この頃。 さて、そんなわけで世の中最新のWeb技術で盛り上がっておりますが、Bot や検索エンジンなどを作成しようと思うと、古いスタイルのHTMLから特定の情報を抽出しなければならないことが多々あります。ちゃんとしたXHTMLやシンプルなHTMLだとLinq to XML で処理してもいいのですが、なかなか実務ではそうは問屋がおろしません。 そんな時、重宝するのがHTML Agility Pack (HAP) です。 HAPは、.NETでHTMLをパースするというかXPathでHTMLをいじるための便利なツールです。最新版
スクレイピングで作る“まとめサイト”
どんなサイトでも、マッシュアップすることができる。APIが公開されていなくてもいい。新たなまとめサイトを構築し、情報付加価値を高めるための手法を解説しよう。 さまざまなコンテンツを組み合わせて、好みに合ったページ（サービス）を作り上げる「マッシュアップ」。これの最たるものは、コンテンツ提供者が公開する「WebAPI」の組み合わせで実現するものだ。 しかし、利用する仕様を整備して、効果的なデータだけをメータデータ配信するWebAPIは、まだそれほど普及していない。つまりマッシュアップというキーワードから流行っている兆しはあっても、対象として使うことができるものは、意外と少ない。思い出してほしい。 このような状況を打開するのが、HTMLコンテンツを抜き出して加工する「スクレイピング（scraping）」という手法だ。 このオンライン・ムックPlus「まとめサイト2.0」では、例として「ITme
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scraping webpage generated by JavaScript with C#
Selenium
ParseHub | Free web scraping - The most powerful web scraper
SSSSLIDE