日本語wikipedia情報(タイトル＋本文)をBigQueryに投入する - Qiita
1.はじめに 日本語wikipediaのデータをBigQueryに投入した。 wikiextractorというライブラリと、pandasではなくて polarsを利用した。 2.日本語wikipediaデータを使いたい 「最も「ありそうで存在しない漢字」は何か？」を読んで「ありそうでない熟語」をどう作ればいいかなと実験したくなり、その中で日本語wikipediaデータをBigQueryに投入したくなった。 他の投稿を見るとMySQLデータをcsvにしてから投入するのが楽そう、と思ったけど、python（というかColaboratory）でやるとしたらどうするのかと検討して下記のような方法を思いついた。 3.日本語wikipediaデータを取得する。 いろいろなメタデータもあるみたいだけど、本文と見出しがあればいいので、下記のファイルを指定してダウンロード。 !curl -o jawiki-
Wikipediaのデータで人生解析をしてみよう
■概要 人物に関するWikipediaの項目は人の出生から生き方、死に方まで色々載ってる。 せっかく大量にあるんだし、人の人生に関する解析をしてみよう。 例えば： ・こういう幼少を過ごした人はこうなるとか、 ・こういう名前/誕生日の人はこういう人生を過ごしやすいっていうのは本当？とか、 ・時代毎の名前/職業等傾向とか、 いろいろ調べてみよう。 ■データ ・Wikipediaのデータベースダンプを取得、 ・その中から人に関する項目だけ抽出（「存命人物」や「*没」などの文字列が含まれるエントリ） ・名字、名前、生年月日、死没日などをパースして取得。 ・更にカテゴリ名に「日本の*」が含まれるエントリを日本人に関するエントリとして取得。 日本人は計119024人。 以下、雑多な解析結果。 ■死亡した年と、その時の年齢 →近代化と共に寿命が伸びている様子が見える →戦争時は（Wikipediaに載っ
Page view statistics for Wikimedia projects
(For up-to-date information (outages, ...) about this dataset, please consult the dataset's wiki page.) Pagecount files per year 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 What are the page view statistics files and what do they contain? Each request of a page, whether for editing or reading, whether a "special page" such as a log of actions generated on the fly, or an article from Wikipedi
ウィキペディアが昔懐かしいテキスト・アドベンチャーに
ケヴァン・デービスさんが公開した Wikipedia: The Text Adventureは、ウィキペディアの情報を元に世界中を回れる1980年代風テキスト・アドベンチャーゲームです。 タイトルからWikipediaに […] ケヴァン・デービスさんが公開した Wikipedia: The Text Adventureは、ウィキペディアの情報を元に世界中を回れる1980年代風テキスト・アドベンチャーゲームです。 タイトルからWikipediaにある地名で検索すると、その場所がゲームの開始地点となります。”Tokyo”だとこんな感じ 英語版ウィキペディアのTokyoにある写真が、8bit風の荒い画像に変換されて場面表示されていますね。”Tokyo”の場合は、5枚の写真を組み合わせた画像なので、なんだかわからないことになっていますが。 ゲームプレイは、Zork などのテキストアドベンチャーで
Rustで作ってみよう -- HyperLogLogと並列処理で、ウィキペディア全記事のユニーク単語数を見積もる（その１） - Qiita
Rustで作ってみよう -- HyperLogLogと並列処理で、ウィキペディア全記事のユニーク単語数を見積もる（その１）アルゴリズムRust 今年の始め、私が Rust を習いはじめのころ、手本となるプログラムがあまり見つからないことが不満でした。GitHub で探せば、Rust で書かれた実用的なライブラリーが数多く見つかりますが、それらを読むのは入門者にとっては敷居が高過ぎます。私が欲しかったのは、学習用に書かれたプログラムで、入門者が手軽に試せて、いろいろといじれるプログラム例でした。 そんなわけで、そういうプログラム例を書いてみようと思います。２回に分けて、Rust で簡単なツールを作ります。 今回は乱択アルゴリズムの一種である、probability cardinarity estimatior（確率的カーディナリティ推定機）を実装します。HyperLogLog という名前のデ
WikipediaのキーワードリンクでPageRankを試す - のんびり読書日記
この前のエントリ(WikipediaのキーワードリンクでHITSアルゴリズムを試す - のんびり読書日記)ではWikipediaのキーワードリンクを使ってHITSを実行してみましたが、今回はPageRankを試してみたいと思います。 PageRankの概要はもう説明するまでもないですね。より詳細なアルゴリズムを知りたい方は、下のページを参照してください。 http://homepage2.nifty.com/baba_hajime/wais/pagerank.html では実際に試してみます。今回作成したコードは以下の通りです。ほとんどの部分が前回のHITSの使いまわしです^^; #!/usr/bin/perl # # PageRank # # Usage: # pagerank.pl -l linkdb -o pagerankdb # use strict; use warnings;
Wikipediaのリダイレクトを使って同義語とれるかな - のんびり読書日記
wikipediaは同義語の単語(「ASIA」と「アジア」とか)は、代表的な単語にリダイレクトするようになっています。つまりリダイレクト関係にある単語は、大抵は同じ意味であることが期待されます。そこでこのリダイレクト関係を使って、同義語を抽出してみようと思います。 実際に作成したスクリプトは以下の通りです。 #!/usr/bin/perl # # wikipediaのリダイレクトを使って同義語を抽出 # # Usage: # % bzcat jawiki-latest-pages-articles.xml.bz2 | ./redirect_words.pl > result.tsv # # 参考ページ: # [を] Wikipediaのキーワードリンクを使って関連語データを作ってみた # http://chalow.net/2007-06-09-3.html # use strict; u
Computing Wikipedia’s internal PageRanks
Introduction Wikipedia is the world’s largest online encyclopedia, comprising millions of pages and links between pages. It also gives away all of this data in an easy-to-process format, via its periodic database dumps. What would happen if we took this set of data and ran the classic PageRank algorithm on every single page? PageRank is a method for determining the importance of each document in a
[Wikipedia] WikipediaのデータをMySQLに読み込む
□リンク −Data dumps 詳細 http://meta.wikimedia.org/wiki/Data_dumps −データダウンロード http://download.wikimedia.org/ 例えば、下記をダウンロード jawiki-2010xxxx-pages-articles.xml.bz2 jawiki-2010xxxx-category.sql.gz jawiki-2010xxxx-categorylinks.sql.gz □MediaWikiを使ってMySQLに読み込む −MediaWiki http://www.mediawiki.org/wiki/Manual:importing_XML_dumps −MySQLの設定 /etc/my.cnf を編集 max_allowed_packet = 32M −MySQLの再起動 /etc/rc.d/init.d/my
開発合宿してきた & 声優統計メンバーy_benjoからのWikipediaのリンク構造に対するメッセージをお読みください - 糞糞糞ネット弁慶
というわけで毎年恒例二泊三日の開発合宿を@inut，@syou6162，@twittoru，@wakuteka，@yag_aysとやってきた． 開発合宿してきます - 糞ネット弁慶 現実逃避のために開発合宿してきた - 糞ネット弁慶 合宿そのもの 卓球して 酒飲んで 温泉に入って アノテーションして 漫画を読んで という感じだった． 寝て起きたら@twittoruがコード修正しててくれたり，相手のマシンにsshしてscreen -xやってペアプロやってる人がいたりして良かった．わっせわっせと集まって色々喋りながらそれぞれのテーマに取り組むと「それ***でできるよ」とか「それ今やりました」みたいなやり取りが生まれ続けるので効率というか相互作用が良い． 二日目は丸一日文字列がアニメタイトルかそうでないかだけを判別し続けた．人力アノテーションとかそもそもやったことが無く，NLP業界の人だと「アノ
Command パターン - Wikipedia
Command パターン（英: command pattern）は命令/動作をオブジェクトで表現するオブジェクト指向プログラミングデザインパターンの一種である。 リクエストのために必要な手続きとデータをCommandオブジェクトとしてカプセル化した上で取り回し[1]、必要に応じてExecute（実行）するパターンである。オブジェクトであることを生かして命令のキューイングやロギング、Undo等が可能になり[2]、Executeを分離したことで手続きと実行を疎結合にできる。 定義[編集] Commandパターンでは何かリクエストを実行する際、単純に処理を実行するのではなく、次のステップを踏む。 処理をメソッドとして内包するCommandクラスの定義 Commandオブジェクトの生成 Command.Execute()のコールによるリクエスト実行[3] すなわちリクエストを「手順書」の定義・生成
ラグランジュの未定乗数法 - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "ラグランジュの未定乗数法" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2011年7月） ラグランジュの未定乗数法（ラグランジュのみていじょうすうほう、英: method of Lagrange multiplier）とは、束縛条件のもとで最適化を行うための数学（解析学）的な方法である。いくつかの変数に対して、いくつかの関数の値を固定するという束縛条件のもとで、別のある1つの関数の極値を求めるという問題を考える。各束縛条件に対して定数（未定乗数、Lagrange multiplier）を用意し、これらを係数とする線形結合を新しい関数（未
Earned value management - Wikipedia
Earned value management (EVM), earned value project management, or earned value performance management (EVPM) is a project management technique for measuring project performance and progress in an objective manner. Overview[edit] Earned value management is a project management technique for measuring project performance and progress. It has the ability to combine measurements of the project manage
XFree86 - Wikipedia
XFree86は、1991年よりオープンソースで開発されていたX Window Systemの実装である。名称は、AT&Tによるi386向けX Window Systemの実装であるX386の3 (Three) をFreeに置き換えた点から由来している。 PC向けに広く使われていたフリーソフトウェアであり、OSとしては、Linux、FreeBSD、NetBSD、OpenBSD、Solaris、Mac OS X、Windows NT、OS/2などを対象としている。CPUアーキテクチャとしては、当初i386系CPUだけがサポートされたが、後にPowerPCなどの他のCPUもサポートするようになっている。 現在、2009年5月を最後にコミットされておらず、2011年にはプロジェクトは休止したと確認された。 X.Org Foundationの分離[編集] XFree86のバージョン4.4からはライ
XRandR - Wikipedia
XRandR（エックス・アール・アンド・アール）は、X Window System を再起動せずに解像度の変更や、画面の回転、表示モニターの切替え、マルチモニターの設定など、を行うことを容易にするライブラリとコマンドである。XRandRは、X Window System Resize and Rotate Extension を略したもの。 最初の X11 の設計では動的なサイズ変更の要望を予想しておらず、変更を行うには Xサーバを再起動する必要があった。RandR 拡張フレームワークによりXセッションの再起動なしでディスプレイの特徴を変えることができるようになった。拡張フレームワークによってラップトップや手持ちサイズのコンピュータで、組込みのスクリーンではなく異なる解像度の外部モニターを駆動するようにスクリーンサイズを変更できるようになる[2]。現在のプロトコル仕様のバージョンは1.2で
initrd - Wikipedia
初期RAMディスク（initial ramdisk）はLinuxカーネルのブート時に一時的なルートファイルシステムをメモリに読み込むための方式。 真のルートファイルシステムをマウントできるようになる前にファイルシステムを必要とする場面で使用される。 initrd とinitramfs（Linux 2.6.13 以降利用可能）の2種類の方式があるが、文脈によってはこれらを総称してinitrdと呼んでいる場合もある。 本記事でもinitrdとinitramfsの両方を記述する。 原理[編集] Linuxディストリビューションの多くは、なるべく広範囲なハードウェアでブートできるよう、単一の汎用的カーネルイメージで出荷されている。この汎用カーネルイメージのデバイスドライバ群はローダブル・カーネル・モジュールになっており、メモリの限られたコンピュータやフロッピーディスクなどの低容量媒体からもブートが
シグナルプログラミング - Wikipedia
シグナルプログラミングは、しばしばイベント駆動型プログラミングと同じ意味で使用される。 「シグナル」という用語は、Qt、GTK、libsigc++のようなライブラリのドキュメントで、「イベント」という用語の代わりに使われる。 しかし、「シグナル」は非同期なイベント待ちにも利用されるものの、むしろ同期のイベントを示すのにしばしば使われるようである。 同期シグナルプログラミングのための別の(より科学的な)名前はObserver パターンである。 また、シグナルプログラミングも狭い意味でSIGSEGVやSIGTERMなどのUnixシグナルでプログラムを作るのにも使われている。ちなみにUnixシグナルは非同期である。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ネット上の知、「ありえないもの」を認めるということ──ケヴィン・ケリー
GitHub - abij/hadoop-wiki-pageranking: Calculate the PageRank of the pages in the wikipedia dump.
GitHub - TrainingCamp2012/seiyu_prediction: link prediction of SEIYU