Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか
Twitterを利用していると、ときどきクジラの絵の画面が表示されることがあります。これはTwitterの処理能力がパンクして一時的に利用不可になったときに表示されるお馴染みの画面。 2月9日にTwitter Engineeringブログにポストされたエントリ「The Anatomy of a Whale」（クジラの解剖学）では、Twitterのエンジニアたちがこのクジラの内部に分け入ってどのようにTwitterサーバの処理能力を向上させたのか、という話が詳しく語られています。 彼らが行ったのは、まず詳細なデータを取得して原因がどの辺にあるのかを推測すること。そこから多数の無駄な処理を発見し、ソースコードの修正による性能の向上に成功します。 元記事は非常に長いエントリになっていますが、問題の調査から解決に至るアプローチについて多くのエンジニアの方の参考になりそうな内容が含まれていますし、T
容量はBlu-rayの20倍、ついに500GBの記録容量を実現した「ホログラフィックディスク」が登場
2006年にGIGAZINEで次世代光ディスクとして「ホログラフィックディスク」が将来的に登場する予定であることをお伝えしましたが、ついに実際に登場することが明らかになりました。 1枚あたりBlu-rayディスク20枚分にあたる500GBの大容量を実現していることに加えて、従来のディスクとの互換性も維持しています。 詳細は以下の通り。 米ＧＥ、５００ＧＢのデータを保存できるマイクロホログラフィック・ストレージ技術を実証 | 日経プレスリリース このリリースによると、アメリカのGEがDVDと同じサイズのディスクに500GBのデータを記録できるマイクロホログラフィック・ストレージ材料の実験に成功したそうです。 今回開発されたマイクロホログラフィック・ディスクは、記録フォーマットがDVDやBlu-rayディスクなどの現在の光ストレージとは異なるとしており、DVDやBlu-rayディスクがディスク
ユーザーの伝票明細テーブルを間違ってTRUNCATEした。 ROLLBACKも効かない。:アルファルファモザイク
編集元：プログラマー板「759 ：仕様書無しさん： 2009/03/12(木) 07:32:32 」より 178 WBC監督(東京都):2008/09/14(日) 22:30:48.60 ID:mNrtA2B90 深夜のメンテナンス作業で眠くて眠くて、ユーザーの伝票明細テーブルを間違ってTRUNCATEした。 ROLLBACKも効かない。 あせってArcserve開いてテーブルを戻そうとする・・・ログウィンドウを見ると、 バックアップバッチは数ヶ月前から停止したままだった。 頭が真っ白になった。 IDCを出て深夜の自席に戻って、机の中の大事なものをかきあつめてかばんに詰めた。 社員証を課長の机の上に置き、会社を出て、アパートに戻る。 保険証、パスポート、前の年に死んだ愛犬の写真を持ち、始発にあわせて家を出る。 携帯が鳴り始める。何度も何度も何度も。空港につくころには着信
スーパープログラマのSIにおける限界 - novtan別館
普段から総工数1000人月を軽く超えるようなプロジェクト内で生活しているせいで、麻痺しているのかもしれないけれども、SIerの仕事ってやっぱり理解されていないなあと思うことはある。確かに効率は悪いよ。でも実際問題、コーディングをしている時間なんて全体の三分の一にも満たないわけで、そこをスーパープログラマーに置き換えて削れる工数なんてたかが知れている。とても単純な話、量が多いだけ。そんなところにスーパープログラマーを投入するよりは、もうちょっとコアな、真にコンピュータスキルが必要なところに使いたい。ていうか、単純労働なんてしたくないでしょ、スーパープログラマー。均質化は属人性の排除のためにあるわけだし。 ソフトウェア開発では、個人の生産性は上と下とで 30 倍違うと言われる。これが本当だと仮定したら、これだけ差がでるものを均一化なんてできるわけない (したところで間違った結論しかでない) ん
IT業界で徹夜しちゃう人
先日友人とお酒を飲んでいてちょっと思ったことがある。 そいつが私に対して、 「お前ずっとIT業界なんだろ？すげーな。」 なんて言うんで 「なんで？」 って聞くと 「だって徹夜だらけなんだろ？すごいきついイメージある」 なんて言ってた。 えーと・・・そうなの？ 私が今働いてるのはとあるWeb屋でベンチャー企業なんだけど、 4年働いててほとんど徹夜はしない。 というか、 徹夜してる人＝スケジュール管理できない人＝仕事できない人 みたいな風潮があって、 徹夜して仕事してると翌日になにやってんのお前？って思われたりする。 時系列が変で申し訳ないんだけども、今の会社は2社目で 初めて入った会社は大企業だったんだけども、 そこでも徹夜はほとんどなかった。 そこでは 徹夜してる人＝スケジュール管理できない人＝マネージャーが無能 みたいな風潮があって、 徹夜して仕事してると翌日にマネージャーが怒られるか、
日経春秋 春秋(2/7) - finalventの日記
うまく操れば便利この上ないのに、使い方を一歩誤れば惨禍にもつながる。思えば、ネットという道具は人類がかつて得た「火」と似ている。ならばそれを扱うルールとマナーを、家庭で学校で社会で身に付けていくしかない。ブログを炎上させた人たちも、後味の悪さは燃焼もさせられず抱えていることだろう。 違うんですけどね。 このあたりは、ＩＴに対するある種の感性がないと通じないのだろうけど。 これはテクノロジーとそのマネージメントの問題であって、エシックの問題じゃないんですよ。 そもそもブログが炎上するというのは、バグなのな。 ただ、それがバグと気が付くかどうかというのは、空気みたいのがあって、その空気操作はＩＴを使えない旧勢力のほうが強いというか、それなりの強みが旧システム側にある。 だからこそ、新しいシステムと新しいマネージメントが必要ということ。（でもその話はほんと通じないのな。） というか、「たちの悪い
プログラマーになりたい中学生から取材を受けた | 秋元@サイボウズラボ・プログラマー・ブログ
中学校の課題で「なりたい職業の人に会って、そのレポートを書く」というのがあるそうで、中学三年生からメールをもらい、サイボウズ・ラボの会議室でインタビューを受けた。 なりたい職業は「ブロガー」じゃなくて「プログラマー」の方ね。グーグルの検索とかで僕のブログが出てきたらしい。 なにがきっかけでプログラマーになろうと思ったのか(電気屋の店頭でパソコンを見つけて)とか、いつからなりたいと思ってたか(小五)とか、プログラマーのいいとこ(スーツ着ないでいいとか)や悪いところ(納期前はたいへん)とか、その他いろいろ用意されてきた質問に答えた。 「プログラマーになりたいと思うからには、今もプログラミングとかしてるんですよね?」と逆質問したところ、今はC言語でDXLibを使ってRPGを作ってるという。その前はJavascriptをやってたそうだ。 最近になって自分専用のパソコンを買ってもらったという。好きな
従来のソフトウェアエンジニア人事工学が決定的に間違っている点 : 404 Blog Not Found
2009年02月06日05:30 カテゴリArt 従来のソフトウェアエンジニア人事工学が決定的に間違っている点 ここまでは、誰もが同意するだろう。 従来のソフトウェア工学が決定的に間違っている点 - kwatchの日記 仕事が高度になればなるほど、属人性は排除できないし、人材の替えはきかない。問題を解決できない人間を100人集めても、問題は解決できない。問題を解決できるのは、問題を解決できる能力を持った人間だけ。頭の悪い大人100人より、すごく頭のいい小学生1人のほうが、成果物が出る。ソフトウェア開発はそういう類いの仕事。 にも関わらず、 ソフトウェア開発も同じような体制にしたほうがいいのではないか。生産性が 30 倍違うのであれば、バカプログラマー 30 人を雇うより、スーパープログラマー 1 人にサポートスタッフ 5 人つけたほうが安くていいものができるだろう。 とならないのはなぜか。
「Excelでどうにかならないか」――中小企業IT支援のミスマッチ
中小企業へのIT支援の枠組みはさまざまな形で進められている。不況が深刻化する中、こうした動きは非常に重要だ。しかし、支援する側とされる側の間でニーズのミスマッチはどうしても起こる。具体例を挙げて見てみよう。 ハードルの高いデータベース 中小企業庁は最近、中小企業の経営革新を図るためのIT活用の促進や社内IT人材の育成を積極的に推し進めている。「IT経営」という言葉もかなり浸透してきたようである。目玉の1つは「中小企業CIO育成支援アドバイザー制度」の創設。中小企業が自社でCIOを育てたいと思ったときに専門家が支援に来てくれる制度である。このほかにも中小企業の悩み全般に応える「地域力連携拠点事業」や地域ITユーザーとITベンダーのビジネスマッチングを支援する「地域イノベーションパートナーシップ推進事業」も始めている。 しかし、中小企業を見わたしてみるとIT経営やCIOなどとは縁もゆかりもなさ
眠る開発屋blog｜最新オンラインカジノのニューカジノ情報
もしもこの世から「残業」が完全になくなったら ３年ぐらい前に読んだ本を思い出した。 １９８０−９０年代の話ですが、残業について、 「時間外・休日労働の弾力的運用が我が国の労使慣行の下で雇用維持の機能をはたしている」（１９８５年労働基準法研究会報告）とか、「我が国の労働慣行の実情に合うような上限設定が可能かどうか定かでない」（１９９２年同報告）と、雇用維持の為のコストとして恒常的な長時間労働を是認する考え方が主流でした。 需要の低下に応じて、生産水準を下げなくてはならなくなっても、バッファがあるから解雇せずに大丈夫でしょ、という。。。 まぁ、 ところが、その後、労働法政策が内部労働市場の雇用維持から外部労働市場における移動促進に徐々にシフトしていったにもかかわらず、この長時間労働哲学には疑問が呈されないまま２１世紀に至っているのです。 と著者は問題視しているわけだけど。 話変わって、最近友人
SI屋にとって問題なのは技術の空洞化ではなくそれに気付かないこと - monjudoh’s diary
ではないかと、↓を見る等して思った。 SI屋の経営陣が技術の空洞化に気づかない理由 - プログラマーの脳みそ 直接必要な人材を自社で抱えている必要自体はなくて、 プロジェクト完遂の為にどんな人材がどれくらい必要か判断する程度の能力 必要と判断された人材を確保する程度の能力 があればかまわないとは思うけど、 自社の空洞化に気付いてないってことは、2を意識的にできていない、 成功したプロジェクトにおいて必要な人材が確保出来たのはたまたま、 ってことだから大変危険。 リスクを引き受けるのが仕事なんだったら、 どこの会社がどういう技術が得意かとか、 なんていうフリーエンジニアがどういう技術が得意かとか、 そういう人材確保の経路をパッツンパッツンじゃなくて ある程度冗長性を持って把握してないと駄目でしょ。 多重請け負い構造の一番下の方のたまたまその案件に入ってきた人の中に、 たまたまある技術について
となりの技術者をイラッとさせる10の方法 - ぼくはまちちゃん！(Hatena)
人の画面をじっと見る あるいは人の後ろにずっと立つ。 人の画面を指で触る せめて爪側、できればペン等で…！ 作業中に話しかけて、そのまま長話 質問や要点をまとめておいてから→いまいい？って確認するとか。 急ぎでなければ、たとえ隣の席でもメールかメッセンジャー的なもので…！ 自分じゃなくても答えられる質問 その技術者が「誰でも知ってて当然だろ」と思っているようなことを質問しちゃうのはだめ。 逆に技術者が「これは俺の得意分野」って思っていることを質問すると機嫌が良くなる場合も。 知ったかぶりによる言語批判 「****(言語)って汚い or 気持ち悪い」 これを言うのはほとんどその言語をちゃんと使ったことない人ばかりでは…！ バグの犯人捜し・犯人叩き 開き直っちゃうけどバグが出るのは仕方がないよ…！ 日経新聞から得たような(あるいは広告業界特有の)IT(?)用語 「WEB2.0のインフルエンサー
偽装請負（裏派遣）が悪い理由 - はてな匿名ダイアリー
http://anond.hatelabo.jp/20081108211610 読んでて思ったんだけどさ。 偽装請負の形もいろいろあるけど、一番の問題点はどう見ても労働者・従業員である一個人を「個人事業主への発注」として働かせ、派遣法違反逃れをしているところにあると思う。詳しく言うと労働者を個人事業主とみなし、所得税や社会保険（労災含む）の徴収の対象外になるところが問題。これ、肉体労働の世界においてはすっげー問題。業務中に大怪我をした場合、普通なら労災認定を受けるよな。だけど個人事業主だとそうはいかない。自分の身は自分で守るのが原則なので、普段から自分で民間の傷害保険などに入っておくしかない。ただ、これ問題発言かもしれないけどこの手の「ニセ個人事業主」の多くは労働者と事業主との明確な区別なんてついていない。「仕事中に怪我をしても労災があるさ」と思い続けたまま仕事をし、いざ怪我をしたらその時
ノーベル化学賞を受賞した下村脩氏の息子下村努氏は超凄腕ハッカー - 空中の杜
ノーベル物理学賞に続き、下村脩氏がノーベル化学賞を受賞し、株価暴落のニュースを各ニュースサイトのトップから追い出すほどのニュースになっています。さて、この下村脩氏というのはどういう方で、どのような研究をされてきたかというのは、各報道に任せるとします。一応Wikipediaも。 ■下村脩 - Wikipedia 今日はそれに関連することから、ネットの人たちにとって非常に興味深い話題をひとつ。 「下村努」という方をご存じでしょうか*1。この方、先の下村脩氏の息子さんだったりします。しかしネットユーザーには、もしかしたら昨日まではこちらの下村努氏の名前のほうを知っている方のほうが多かったかもしれません（それでも知っている方は、かなりディープな知識の持ち主だと思いますが）。実はこの方、ネットセキュリティ方面では非常に有名な人なのです。 この方の名前を知らなくてもインターネットをやっていれば「ケビン
IBMの問題はアメリカナイズされた老害 - ひがやすを blog
日本IBM周辺でトラブルが続出している。IBMの下請けとしてサブシステムの開発に携わっていたソフトウェア企業が4億円近い負債を抱え、2008年10月中にも破産手続きに入る。同社は、IBMから追加費用の支払いが行われていなかったと主張して訴訟準備に入っていたという。ほかにも、スルガ銀行やソフト開発会社など、IBMを相手取った訴訟も続発しているのだ。 この訴訟続発を問題のように受け止めている人も多いようだけど、IBM自身にとっては、そんなに問題じゃないと思う。ユーザーの発注が確定しなくてもその先の作業を進めるために下請けに先行発注したりすることがなくなったり、不採算案件は最初からやらない、あるいは早期に手を引くことが、徹底されたからだと思うから。 これまで、日本的な空気を読むビジネスから、アメリカ的な白黒はっきりな契約ベースになったということなので、一方的に悪いことではない。 でも、契約を交わ
Yoshioriの日記: ライ麦畑で子供が落ちないように見張るだけの簡単なお仕事に戻ってはどうか？
まず最初に断わっておく事がある。 これは僕個人の意見であって、「エンジニアの未来サミット」で登壇した方や主催した方などには一切関係ない。 後で書くが基本的に僕の伝えたい事が伝わってない事に関しては完全に僕の「負け」であり、 この文章はただ負けただけでは何も残せないと思った僕の最後ッペである。 内輪についてなんだけど 何を以って「内輪」と定義してるんだろう？ 例えば僕は和田さんや古川さんは初対面だったし、 tokuhirom なんか「ヨシオリ以外に知ってる人いねー」って言うくらいだった。 なんか内輪って言ってる人って自分の観測範囲や活動範囲以外を全部「内輪」って事にしてない？ あなたの内輪以外を「内輪」って否定してるだけじゃないの？ さらにそもそも 「IT業界」という「内輪」を良くしたいと思って動いたんだ。 別に漫画業界が色々あっても僕は動かなかった。 自分の内輪である I
不倒城: SI業界からネットゲーム業界に移った知人に色々話を聞いてきた。
ちょっと技術的な話になる。 私の知人に、かつてはアルファベット三文字の某有名SI会社に在籍していて、今はどういう訳か某ネットゲームの会社に勤めている変り種がいる。 彼はネットワークとDBの専門家である。ゲーム業界には元来DB周りに詳しい人があまり多くなかったらしく、しかしネットゲームの開発にはDBやネットワークのアーキテクチャに関する知識が必須で、要は引き抜かれたらしいのだが、当人それ程ゲーム好きでもないのに面白いルートに行くなーと思っていた。 機会があったら金融業界とネットゲーム業界のシステム周りの違いについて聞いてみたいなーと思ってたんだが、この前久々に会ったら色んな話が聞けた。特定されない程度においおい書いてみよう。ぼかして書く為、ところどころいー加減だが勘弁して頂きたい。 今日はサーバとかデータのやり取りとか、技術的な話。 まず、前提。オンラインシステムの肝の一つに、「誰がデータを
「ＩＴ製品、ソースコード開示せよ」…中国が外国企業に要求へ : 経済ニュース : マネー・経済 : YOMIURI ONLINE（読売新聞）
中国政府が外国企業に対し、デジタル家電などの中核となる製品情報を中国当局に開示するよう命じる新制度を２００９年５月から導入する方針であることが１８日わかった。 対象はＩＣカードやデジタル複写機のほか、薄型テレビなども含まれる可能性がある。開示を拒否すれば、その製品の対中輸出や中国での現地生産、販売が一切禁止される。企業の知的財産が中国企業に流出するおそれがあるほか、デジタル機器の暗号技術が中国側に筒抜けとなる安全保障上の懸念もある。経済産業省や米通商代表部（ＵＳＴＲ）などは制度の撤回を強く求める構えで、深刻な通商問題に発展する可能性がある。 中国は、新制度を「ＩＴセキュリティー製品の強制認証制度」と呼んでいる。具体的には、対象となる製品について、デジタル家電などを制御するソフトウエアの設計図である「ソースコード」の開示を外国企業に強制する。対象製品は、開示されたソースコードに基づく試験と認
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://twitter.com/pha/status/1016054802
転職・退職代行マガジン -