これは はてなエンジニア Advent Calendar 2023 の 18 日目の記事です。昨日は id:gurrium による private-isuで70万点取るためにやったこと - ぜのぜ でした。私は 50 万点ぐらいで満足してしまっていたので、しっかり詰めていて凄いなと思う。 developer.hatenastaff.com Web アプリケーション開発において、「キャッシュは麻薬」という言葉がインターネット上をよく飛び交っています。YAPC::Kansai OSAKA 2017 の id:moznion のトークでよく知られるようになったワードじゃないかな。 初出はちゃんとは分からないんですが、少なくとも 2011 年には言われていますね。 「キャッシュは麻薬」とはよく言ったものだ。— TOYAMA Nao (@nanto_vi) November 5, 2011 キャッシ
3万2768時間が経過して発生した石巻市戸籍情報システムの障害についてまとめてみた - piyolog
2024年2月14日、宮城県石巻市は2023年9月に発生したシステム障害について原因がSSDの重大なファームウエア不具合であったと公表しました。ここでは関連する情報をまとめます。 重大な不具合情報が共有されずシステム障害発生 2023年9月当時にシステム障害が発生したのは石巻市本庁内で稼働する戸籍情報システム。システムが稼働するサーバー上で使用していたSSDの不具合によりバックアップサーバーを含めてシステム停止が起こり、市役所やコンビニなどで戸籍証明書の発行が行えない事態となった。2日後には最新の戸籍証明書の写しは発行できるようになった*1ものの、完全復旧（除籍や改製原戸籍の証明書発行）には約1か月（2023年9月20日～2023年10月18日）を要することとなった。 障害影響が長期化した理由として、市は当該システム上で取り扱うデータが戸籍にかかわるもので、復旧方法および突合などに万全を期
全国銀行資金決済ネットワーク（全銀ネット）は2023年10月11日、前日に発生した銀行間送金を担う「全国銀行データ通信システム（全銀システム）」の不具合が午前7時時点でも解消のめどが立たないと明らかにした。午前8時30分に、平日朝から夕方までの取引を処理する「コアタイムシステム」に切り替わってからも、三菱UFJ銀行など11金融機関で他行宛ての振り込みが通常よりも遅れる可能性がある。 全銀ネットによると、10月10日夜から11日早朝にかけて、システム障害の原因になったとみられる中継コンピューター（RC）の内国為替制度運営費（旧銀行間手数料）のチェック機能に関するプログラムの改修を急いだ。しかし、「改修プログラムをテスト環境で試したところ、エラーが継続した」（全銀ネット）としている。
2023年5月16日、富士通Japanから全国の自治体の首長に対し、1通の依頼文が届いた。表題は「当社コンビニ交付システムのサービス停止について（お願い）」。デジタル庁の要請に基づき、自治体のコンビニ交付サービスを一時停止してシステムを点検させてほしいという趣旨だ。そこには次のような記述があった。 「2023年5月16日にデジタル大臣より、弊社からの依頼が首長様に届いていないという強い叱責を受けています。つきましては、改めて直接お願いさせて頂くものです」 世田谷区の住民記録・戸籍課の担当者は「唐突に依頼文が区長宛てに届いた。『叱責を受けた』など背景の説明もなく、これはさすがに受け取れないと、最初は受け取りを拒否した」と明かす。
もしそのコンテナターミナルが業務停止に陥るとどうなるか――。そのリスクを如実に示したのが、2023年7月4日に名古屋港コンテナターミナルで発生したランサムウェア感染被害だった。 2024年3月に開催されたセキュリティイベント「Security Days Spring 2024」に、国土交通省で最高情報セキュリティアドバイザーを務める北尾辰也氏が登壇。「名古屋港コンテナターミナルを襲ったサイバー攻撃とその背景」と題し、公表された報告書などを基に攻撃から復旧までのいきさつと、そこから得られた教訓を紹介した。 ITを用いた効率化が進んできたコンテナターミナル コンテナターミナルというと、港に林立する大型クレーン（ガントリークレーン）を思い浮かべる人も多いだろう。名古屋港コンテナターミナルもその一つだ。 同コンテナターミナルは5つのターミナルで構成されている。1日当たり約7500本のコンテナが出入
2023年7月5日、名古屋港統一ターミナルシステム（NUTS / Nagoya United Terminal System）でシステム障害が発生しており、システムを管理する名古屋港湾協会は障害原因がランサムウエアによるものと公表しました。ここでは関連する情報をまとめます。 ランサムウエアによる国内初の物流影響事例か システム障害が起きたのは名古屋港湾協会が管理する名古屋港統一ターミナルシステム(NUTS)。名古屋港の5つのターミナル（飛鳥ふ頭北、NCB、飛鳥ふ頭南、TCB、鍋田ふ頭）と集中管理ゲート、荷役機器、NACCS、NUTS-Webをネットワークでつなぎ、船からの積み下ろし、プランニング、コンテナ保管、搬出入、ヤード作業、保税管理を行うシステム。*1 NUTSは1999年に導入されこれまで大きな障害が起きたことがなく、また2022年8月からシステム移行が行われ2023年1月に新シス
富士通､マイナ誤交付で揺らぐ｢IT最大手｣の足元
国内トップITベンダーとしては、あまりにもお粗末だ。 富士通グループが提供するマイナンバーカードを利用した証明書交付システムで、別人の証明書が交付されるトラブルが3月以降、全国の自治体で相次いでいる。障害を引き起こしたシステムは「Fujitsu MICJET コンビニ交付」。富士通の100％子会社である富士通Japanが自治体向けに提供しているサービスだ。 富士通によると、印刷処理管理プログラムなどに不備があったことで、利用者とは別人の個人情報が記載された証明書が横浜市や東京都足立区などで印刷されたという。 【2023年7月13日13時27分追記】誤交付が発生した要因に関する初出時の表記を一部、上記の通り修正いたします。 デジタル庁の指示の下、5月にはサービスを提供している自治体で利用を停止し、点検を実施した。動作確認をしたうえでサービス利用を再開したものの、6月末に福岡県宗像市で同様の誤
「もうデスマーチが始まってますよ」。自治体情報システムの開発を手掛ける複数のベンダー幹部は口をそろえる。自治体は2025年度末までに主なシステムを標準仕様に準拠させ、政府が契約したクラウドサービスに原則移行しなければならない。ところが標準仕様の改版が続いている上に、岸田文雄政権の経済政策に伴うシステム改修が追い打ちをかけているためだ。 全国約1700の自治体は2025年度末までに、それぞれの自治体で仕様が異なっていた戸籍情報や住民記録など計20の基幹業務システムを同じ標準仕様に基づいて作り直さなければならない。その上で政府が運営する「ガバメントクラウド」に原則移行する。 政府の大号令によって、全国の自治体は一斉に移行作業を迫られる。ベンダー各社では既にシステム開発担当者らが過酷な労働を強いられる「デスマーチ」が始まっているという。政府のシステムでなぜデスマーチを招く事態になっているのか、匿
クラスメソッドのAWS総合支援 コスト最適化からセキュリティ、構築支援、運用保守まで、AWS活用を支援します。
愛知県に本社があるスギ薬局グループの全国の店舗で、「うるう日」が原因とみられるシステム障害が発生し、一時、処方箋の登録や会計ができなくなりました。会社によりますと、システムは午後1時ごろまでに復旧したということです。 スギ薬局グループによりますと、29日朝、全国の店舗から「処方箋のシステムが使えない」という問い合わせを受け、システム障害の発生が確認されました。 愛知県のほか関東や関西など、全国におよそ1300ある調剤ができる店舗で、処方箋を登録したり会計をしたりするパソコンのシステムが一時、使えない状態になり、各店舗の薬剤師が緊急性があるものについては、薬を出したうえで後日、会計してもらうよう対応したということです。 会社によりますと、原因調査を行ったうえ、システムの改修プログラムを各店舗に送り、システムは午後1時ごろまでに復旧したということです。 今回、障害が起きたシステムは3年ほど前に
マイナンバーカード 証明書交付システム 再停止へ | NHK
マイナンバーカードを使い、コンビニで住民票の写しなどの証明書を交付するシステムでトラブルが相次いだ問題で、28日、別人の証明書が誤って発行されるトラブルが発生したことがわかりました。これを受けて富士通はシステムを再び止めて点検を行うことにしています。 富士通によりますと、福岡県宗像市役所の庁舎内に設置されている証明書の交付システムで、住民がマイナンバーカードを使って住民票の写しを請求したところ誤って別人の証明書が発行されたということです。 富士通によりますと、2019年にも住民票のデータの更新中などにこうした不具合が起きていて、当時、全国の自治体でシステムの修正を行いましたが、宗像市では変更されていなかったということです。 このため、システムを運営する富士通の子会社は全国123の自治体などでシステムを止めて点検を行うことにしています。 このシステムをめぐってはコンビニなどで誤交付が相次いだ
富士通は、英国で数百人の英郵便局管理職が窃盗の罪で不当に起訴されたり有罪判決を受けたりした一大冤罪（えんざい）事件で、公的な調査によって責任が認められた場合、補償を行う必要がある。英政府閣僚らが主張している。 同社は勘定系システム「ホライゾン」を2000年前後から英ポストオフィスに提供してきた。このシステムの欠陥により、「サブポストマスター（民間受託郵便局長）」と呼ばれる英郵便局管理職が窃盗の罪を着せられ、数百人が破産したり収監されたりし、何人かは自ら命を絶った。 この問題を巡って、最近のテレビドラマ化によって国民の怒りが高まり、政府は被害者への補償を迅速に行うと約束している。 ストライド英雇用・年金相は９日、スカイニュースに対し「このツケを払うのは納税者だというような状況に陥ることにはならないのは確かだと思う」と語った。この問題に関する判断は、2020年に始まり年内に結論が出る見込みの公
神奈川県の公立高校入試のインターネット出願システムで、「@gmail.com」ドメインのアドレスにシステムからのメールが届かず、受験生による登録や高校出願に支障が出ていた問題が、2月7日までに解消した。問題発生から完全解消まで1カ月かかっている。 県は問題の原因について「システム開発を委託した業者の設定に不備があったため、メール送信が集中したタイミングでGmailに迷惑メールと判定されたのでは」と説明しているが、設定のどこが問題だったかは特定できておらず、Googleに問い合わせても回答がないという。 ネット上では今回、業者の技術力を疑問視する声も出たが、担当者は「県が仕様書を出して技術確認を行い、仕様に対応できるとのことで入札で決めた。問題ないと考えている」と述べている。 「@gmail.comだけ」突然の障害、メールシステムを変えるなど対応 出願システムは1月4日に公開。メール配信サー
登壇資料 SRE立ち上げてどうなった？最新のコア技術とSRE事情 Lunch LT https://findy.connpass.com/event/305677/ ハッシュタグ ：#SRE_findy
JR東日本の「モバイルSuica」でシステムトラブルがあり、24日未明からアプリ上でチャージができない状態が続いていましたが、午後1時ごろ、復旧しました。 JR東日本によりますと、24日午前0時半すぎから、「モバイルSuica」のアプリでのチャージができなくなったり、「えきねっと」での予約や変更ができなくなったりする障害が発生していましたが、午後1時ごろ、全て復旧したということです。 トラブルの原因は、電源工事の際、システムサーバーの電源が誤って遮断されたためだということです。
はじめに こんにちは。雑食系エンジニアの勝又です。 今回は、私が2年ほど参画させていただいた大規模サービスのインフラやDevOps周りを全面的にリプレイスしたお話について簡単にご紹介させていただきます。(内容に関しては事前に参画先企業様に確認していただいております) サービス概要 詳細な内容は伏せますが、メインとなるテーブルのレコード数が数十億件、スパイク時には数万〜数十万のユーザーが一斉にアクセスする大規模サービスです。 技術的負債 長く運用されてきたサービスのあるあるですが、新機能の追加が最優先されてきたことにより、こちらのサービスにも下記のような技術的負債が大量に積み上がっていました。 RubyやRailsやMySQLのバージョンがかなり古い インフラの構成がコードではなくドキュメントで管理されている アプリケーションの構成管理がおこなわれていない CI/CDパイプラインが構築されて
富士通ジャパンは6月29日、ある自治体の庁舎に設置された証明書発行機で、別人の住民票が交付される不具合が発生したとして、基盤システム「Fujitsu MICJET コンビニ交付」を再度停止すると発表した。 問題が発生したのは28日午後3時ごろ。同システムでは過去に、住民票発行の申請があってから住民票が発行されるまでの間に住民情報の一部が変更されると、データの不整合が発生するという障害が発生していたが、これを適切に修正できていなかったのが今回の不具合の原因という。 富士通Japanは再点検のためシステムを停止。再開時期は未定としている。 富士通Japanのコンビニ証明書交付サービスを巡っては、別人の住民票の写しを交付したり、抹消済みの印鑑登録証明書を誤交付したりといったトラブルが相次いでいた。富士通では5月末から6月初頭にかけてサービスを停止してシステムを一斉点検。6月20日までに点検が完了
はじめに 皆様こんにちは、ソーシャル経済メディア「NewsPicks」(Media Infrastructureチーム)エンジニアの北見です。 現在、私は弊社サービスの一部のインフラ刷新を行なっている最中で、ここ数ヶ月 AWS CDKを触っておりました。 前職では Infrastructure as Code として Terraform を使ったことがあるのですが、少なくともAWS を使うという条件においては CDKを使うべき という結論に辿り着きました。 今回はそのように考えるようになった理由について説明していこうと思います。 前提 Terraform はパブリッククラウドにおける Infrastructure as Code の走りとして様々な現場に導入実績があり、それに対するリスペクトは持つべきです。 しかしよくある「AvsB」というメリデメの構図で「どっちでもいいよ、好みだよ」と投
NTTデータグループは2023年11月6日、銀行間送金を担う「全国銀行データ通信システム（全銀システム）」のシステム障害に関する会見で原因の見解や今後の対応について説明した。「ハードの物理メモリー不足によるものではない」（NTTデータの鈴木正範取締役副社長執行役員）とし、金融機関名テーブルなどのテーブルを生成するプログラムに原因があると見て調査しているという。 10月7日から9日にかけて実施した中継コンピューター（RC）の更改作業ではOSを32ビットから64ビットに変更した。鈴木副社長は「64ビットOSへの変更に当たり生成プログラムを64ビットに対応させなければならない箇所があったが、その部分に不具合があった」との見解を示した。不具合が混入した原因や試験で検出できなかった理由は「現在全銀ネットと共に検証している」（NTTデータの佐々木裕社長）とした。 今後は決済システムや勘定系システムなど
電子計算機っていうとハードウェアがイメージされるところにちょっとした「ハコモノ行政」っぽさがある - in between days
愛媛県庁の大型計算機が退役するのでセレモニーが執り行われた、というニュースがNHKのサイトに出てたんですが、何か分かりにくいなあ、こんがらがってるなあ、と思ってしまった。 よく「ハコモノ行政」っていうけれど、この分野でも大切にされるのは外側の箱なんだなあ。 「長年のサポートに感謝」県庁の電子計算機運用終了の催し｜NHK 愛媛のニュース 50年も使われてきた電子計算機ってどんなの？ 気になるのは次の箇所で、これを読んでどういう「電子計算機」をイメージします？ 愛媛県庁でおよそ50年にわたって税金の計算や会計業務などに使われてきた大型の演算装置、電子計算機の運用が20日で終了となり県庁で催しが行われました。 50年にわたり使われてきた大型の演算装置？？ ということは1970年代のメインフレームだろうから、昔の漫画とかでよく見た磁気テープのストレージがカタカタと動くこういうやつかな？ By Ar
全国の大学生協の食堂などで決済に使われている「大学生協アプリ」で4月15日の正午過ぎから約30分間にわたって障害が発生し、決済などができない状態になった。 同アプリを提供している大学生協事業連合は16日、 「AWSで設定されていた同時接続制限を超過したことが原因」と表明。同時接続制限を拡張し、監視体制を強化することで対策したとしている。 大学生協アプリは、生協の購買や食堂などで使える電子マネー機能などを備えており、全国の多くの大学生協で採用されている。 4月15日の障害は、お昼のピーク時刻に当たる午後0時3分に発生。サインインやバーコードの更新、チャージ、会員証の表示、電子マネーによる精算などができない状態になった。Xには学生から困惑の投稿が相次ぎ、トレンドに「大学生協アプリ」が入った。 原因は、AWSで設定されていた同時接続制限を超えたことにより、リクエストが処理できなくなったこと。同日
｢プッチンプリン｣の出荷停止に､ゆうちょ銀行の入金遅延…日本企業でシステムトラブルが相次ぐ根本原因 SIerとユーザー企業の間にある｢埋められない人材格差｣
江崎グリコのシステム障害によりプッチンプリンなど一部商品の出荷が停止している。4月にはゆうちょ銀行で入金遅延が起きた。なぜ企業のシステムトラブルが相次いでいるのか。麗澤大学教授の宗健さんは「システムを発注している日本のユーザー企業にはITのプロがいないことが背景にある」という――。 続出する企業のシステムトラブル 今に始まったことではないが、企業のシステムトラブルは思ったよりも多い。2023年10月に発生した全銀ネットの障害では数百万件の送金が滞り社会的にも大きな影響があり、2027年に稼働を見込んでいた次期システムの検討作業も停止に追い込まれた。 最近も、江崎グリコのシステム障害によりプッチンプリンの出荷が止まり（※1）、ゆうちょ銀行でも100万件を超える入金遅延が起きた（※2）。 ※1 日本経済新聞「プッチンプリン出荷再開を延期 グリコのシステム障害」（2024年5月1日）4月3日のE
江崎グリコの基幹システムで障害が続いている。物流センターでの出荷業務が一部停止し、看板商品である「カフェオーレ」や「プッチンプリン」など冷蔵商品が出荷できない状態に陥っている。原因は旧基幹システムから独SAPの「SAP S/4HANA」への切り替えに伴うトラブルだ。江崎グリコの開示資料からは、この基幹システム刷新プロジェクトが稼働前から「難産」だったことがうかがい知れる。 費用が215億円から342億円に膨張 江崎グリコの有価証券報告書によると、同社が基幹システムの刷新に着手したのは2019年12月だ。2021年12月期の時点で、完了予定時期を3年後の2022年12月としていた。投資予定額は215億円と、2021年12月期の営業利益193億円を上回る一大プロジェクトだった。このうち、同期末までに118億円を既に支払っていた。 ただプロジェクトはもくろみ通りにはいかず、費用の膨張と延期に見舞
「ダブルチェックを頑張る」でごまかさない、スクウェア・エニックスのサーバ設定漏れ防止策：たくさんのサーバを一気に構築できる“自律構築の仕組み”とは（1/3 ページ） スクウェア・エニックスは膨大な数のゲームを提供している。当然、それらを支えるインフラも大量で、運用管理にかかる手間も大きい。「Cloud Operator Days Tokyo 2023」のセミナーを基に、大量サーバの最適な管理法を紹介する。 変化の激しい現在のビジネス環境において、アプリケーションやサービスもその変化に素早く対応する必要がある。もちろん、それを支えるインフラについても同様だ。クラウドサービスやIaC（Infrastructure as Code）などを活用し、効率的にインフラを管理している企業も多いだろう。 ただ、ある意味でインフラは生き物だ。作った当初は問題なくても、管理する対象が増えたり、長期間運用してい
筒井.xls@エクセル関数擬人化本著者 @Tsutsui0524 情シス「パソコン直りました」 製造部「一体どんな手を…！？」 情シス「再起動です」 製造部「それは我々も試したが、無駄だった」 情シス「でも再起動で直ったんです」 2023-09-12 10:03:25
宿泊予約サイト「Booking.com」を運営するブッキング・ドットコム日本支社は10月10日、宿泊施設に対して未払いが相次いでいる問題について謝罪した。支払いシステムの更新作業で起きた不具合が原因であったと説明。同社は「現在緊急に対応させていただいております」としている。 Booking.comは、宿泊施設に代わって、利用客に対してオンライン予約を提供するサービス。運営会社のBooking.comはオランダに本社を置いている。同サービスを巡り、TBSなどの一部報道機関は10日、宿泊施設への宿泊費の未払いが相次いでいるブッキング・ドットコムに対し、一部の施設オーナーが損害賠償請求を起こす方針であると報じていた。 この報道を受け、ブッキング・ドットコム日本支社は声明を発表。「お取引先（パートナー）各社様に対し、期日通りに支払いを履行することは、当社にとって常に最優先事項であり、先般の支払いシ
Twitterは、「エンジニア視点で見ると、作ってと言われたら断りたいほどめんどくさいしろもの」――ドワンゴ取締役／ニコニコ代表の栗田穣崇（くりた・しげたか）さんのこんなツイートがきっかけで、Twitterを開発する難しさについて、エンジニアたちが意見を交わしている。 栗田さんは、「Twitterのタイムラインはユーザーから見ると『ツイート並べてるだけでしょ？』みたいに簡単なサービスに見えるけど、エンジニア視点で見ると、作ってと言われたら断りたいほどめんどくさいしろもの」とツイート。 Twitter代替サービスがなかなか出てこない理由として、開発が大変なこと、維持費が大きいのにマネタイズが難しいことを挙げた。 ニコニコ動画の開発に初期から関わっている戀塚昭彦さんは、栗田さんの投稿を引用しつつ、「最近のTwitterは多機能、大規模、高速を全部兼ね備えてるので、ちょっとやそっとじゃ真似できな
特集：脱・思考停止のITインフラ選定 「クラウドかオンプレか」の一歩先へ パブリッククラウドの活用が広まる一方、大手企業ではプライベートクラウドの推進や、オンプレミス回帰の流れも見られる。ハイブリッドクラウド含め選択肢が多様化・複雑化する中で、ITインフラの正しい選び方を探る。 増えてる？ 減ってる？ 海外のオンプレ回帰動向 まず、オンプレ回帰を巡るトレンドが現状、どんな状態にあるのか、調査会社や海外メディアの反応を確認する。米調査会社IDCの傘下にあるIT系ニュースサイトInfoWorldは1月3日、「2023 could be the year of public cloud repatriation」（2023年は脱クラウドの年になるかもしれない）と題した記事を掲載している。 著者はIT関連の著書を多数執筆しているベテラン記者、David Linthicum氏だ。同氏は「クラウドのコ
富士通Japanのコンビニ証明書交付サービスをめぐっては、別人の住民票の写しを交付したり、抹消済みの印鑑登録証明書を誤交付したりといったトラブルが相次いでいた。 これを受け、河野大臣は富士通Japanにシステムの一時停止し、再点検を行うよう要請していた。 関連記事 富士通、コンビニ交付システムを一斉点検へ 最大で6月4日まで 証明書発行は利用不可に 富士通は5月23日、コンビニエンスストアの証明書交付サービスの誤発行を巡り、富士通Japanが提供するシステムを一斉点検すると発表した。最大で6月4日まで証明書交付サービスを停止するという。 富士通、相次ぐコンビニ交付サービス不具合に謝罪 「行政サービスへの信頼損ねた」 再発防止策を開示 富士通は、富士通Japan製システムで相次いで発生しているコンビニ交付サービスの不具合などについて謝罪した。一連のトラブルについて「住民が利用する行政サービス
基調講演に最初に登場したスンダー・ピチャイCEOは、同社の生成AI「Gemini」のこれまでの成長について語った。同氏によると、150万以上の開発者が活用しているという。 生成AI搭載検索エンジン「AI Overview」（旧SGE） 「AI Overview」は、昨年のGoogle I/Oで発表されたGoogle検索の生成AI機能「Search Generative Experience」（SGE）を改称し、改善したもの。 詳細を説明したリズ・リード氏は、「Googleがあなたのためにググってくれるようになる」と語った。 AI Overbiewは「Gemini時代のGoogle検索」であり、リアルタイム情報、ランキングと品質システム、新しいエージェント機能で改善されたという。 マルチステップリーゾニング（多段階推論）で、1つの質問で複数ステップの結果を提示する。 例として、ピラティスにつ
10月10日から11日まで2日間にわたって発生し、12日の午前中に取引が正常化するまで稼働開始から50年を経て初めての大規模障害となった全銀システムのトラブルだが、12月18日には監督官庁である金融庁から改めて資金決済法第80条第1項にもとづく報告懲求命令を受けたと発表する一方で、そのトラブルの要因にまつわる報道関係者向けの最終的な報告が12月1日に行われた。 いろいろとあった2023年も年の瀬を迎えようとしているが、この全銀システムのトラブルについて、「なぜこうした問題が発生したのか」「いま全銀システムに何が起きているのか」「全銀システムがどこに向かっているのか」の3つのポイントについて、いま日本の金融業界で起きている変化を交えて整理したい。 世界で最も巨大な銀行オンラインシステムの1つ 3つのポイントに触れる前に、少し前段が長くなるが「“全銀システム”とは何か」を簡単に解説しておきたい
IaC、あるいはインフラ抽象化レイヤー導入時に考えたらいいんじゃないかと思うことを雑多に書く - ださろぐ@はてな
この記事はSRE Advent Calendar 2023の4日目の記事です。 qiita.com 3日目は@myu_mxさんのゆるやか成長スタートアップの小さなEnabling SRE的活動でした。 久々のアドカレ参加ですが、少し思いの丈に任せてみようということで経験と主観が強めの記事です。 この辺で語られていたよとかこれは賛同できないというポイントなどもっといい情報があればぜひお知らせください、という感じで雑多に書いて参ります。 TerraformやCloudformationあたりをよく触るのでそのあたりがどうしても頭にありますがなるべく固有の話はしない方向で。 色々書きつつ、基本的には長期的な運用を見越したソフトウェアの運用設計と同じ考えで良いとは思ってます。 最低限のインターフェースを公開し疎結合に設計する、モジュールは交換可能する、ライフサクルを考える、などなど。 ただIaCコ
金融機関どうしの資金のやり取りを担う全銀ネット＝「全国銀行資金決済ネットワーク」のシステムに不具合が発生した問題で、運営団体はシステムが復旧し、遅れが出ていた振り込みの処理もすべて完了したと発表しました。 全国銀行協会の関連団体の全銀ネット＝「全国銀行資金決済ネットワーク」は、10日から不具合が続いていた金融機関どうしの資金をやり取りするシステムについて、12日午前8時半から正常に稼働していることを確認し、復旧したと発表しました。 今回のシステムの不具合では10の金融機関で振り込みが遅れるなどの影響が出ましたが、システムの復旧を受けて三菱UFJ銀行やりそな銀行、商工中金など各金融機関で通常通りの利用ができるようになったということです。 全銀ネットによりますと、10日から11日までに処理が遅れた取り引きはあわせて500万件を超えたということですが、12日午前中までにすべての処理が完了したとい
はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の6日目です。 この記事で取り上げるやらかしは数年前の出来事です。 当時新卒2年目のエンジニアだった私が、ロードバランサ配下のサーバを全部切り離してサービス停止させてしまった話について、ここに供養させていただきます。 自分の失敗談なんて書きとぉないんじゃ、、というのが本音ですが、毎年やらかし系のアドベントカレンダーに勇気と希望をもらっていたので、今年は私もその一助となれたらという思いです。 やらかして死にたくなっているあなたへ。 背景 新卒で入社した会社で社内システム向けインフラの保守運用に携わっていました。 2年目となって仕事にも慣れてきた頃（フラグ）、事を起こしてしまいました。 環境 やらかしの対象となった環境はこちら。 AWS環境上で、ロードバランサとしてELBがあり、その配下にサーバ（
Cloudflareで起きた約40時間の障害、原因はデータセンター事業者の不手際？（1/2 ページ） 11月2日午前11時43分（現地時間、以下同）から4日午前4時25分ごろまでの約40時間にわたり、米Cloudflareのサービスで障害が発生。同社は障害の解決後、状況の詳細を4日中に公開した。 11月2日午前11時43分（現地時間、以下同）から4日午前4時25分ごろまでの約40時間にわたり、米Cloudflareのサービスで障害が発生した。パケットの転送制御やデータ分析システムに問題が起き、セキュリティに関するサービスやログの取得機能、各種APIが利用できなくなったり、使いにくくなったりしたという。同社は障害の解決後、状況の詳細を4日中に公開した。 障害の原因はデータセンターにおける電力供給の問題と説明。Cloudflareによれば、同社のパケット転送制御機能などは米オレゴン州にある3つ
はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の7日目です。 私はIT関連企業ではないサービス業の人間ですが、IT関連全般のことをやってます。 現在ノーコード開発としてはかなりメジャーな Bubble というプラットフォーム上でサービスを展開しているのですが、そこでのやらかしを共有したいとおもいます。 Bubbleとは Qiitaにはノーコードエンジニアはあんまりいなさそうなので説明します。 Bubbleは、プログラミング知識がなくても使えるノーコードプラットフォームです。ドラッグ＆ドロップでウェブアプリを作れるので、、技術がない人でも簡単にアプリ開発が可能です。このプラットフォームのいいところは、見た目のデザインからデータベースまで、全部自分で作れる点。プログラミングがわからなくても、条件分岐やデータ操作などの複雑なことができます。 B
「弊社は情シス部門の人員を削減し、営業力を強化します！」「プロジェクト管理ツールなんていらない、Excelで十分！」──東京都内のとあるホテルで、情報インシデントやトラブルにつながりそうな“死亡フラグ”発言が男女4人から飛び交った。 ──2022年10月、こんな書き出しの記事を掲載した。見出しは「“限界情シス”をゲームで体験 HENNGEの『情シスすごろく』遊んでみた インシデントまみれの1カ月、無事に乗り切れるか」。内容は、セキュリティ企業のHENNGEがユーザーコミュニティー向けに作ったボードゲームを遊んだ体験記事だ。 そして24年4月18日、この「情シスすごろく」にまさかの新作「情シスすごろく2」が登場。早速試遊してきたので、レビューをお届けする。結論から言えば、現地では「社員を信じてメール誤送信防止ツールは解約します」「大した提案がないので、外資系ITコンサルとの契約は解除します」
Amazon S3のコンテンツを配信したい場合、S3の静的ウェブサイトホスティングを使用したり、S3の前段にCloudFront(CDN)を配置して配信することが多いかと思います。今回は、3つ目の選択肢として、S3をALBから配信する構成について紹介します。 S3バケットをプライベートにしたまま、ALBレイヤーでHTPS通信化や認証やセキュリティグループのアクセス制限を行うことができます。アプリケーションで利用するALBにS3配信を集約させることも可能です。また、外部･内部どちらのALBでも採用できます。 オンプレミスからプライベート通信によるS3アクセス 認証付きURL/CookieでS3コンテンツを配信する代替案として、ALB認証でS3配信 などで有用です。 構成ポイント 本構成の肝はALBのターゲットにS3のインターフェース型VPCエンドポイントのIPを指定すること(昔からあるゲート
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「キャッシュは麻薬」という標語からの脱却 - id:onk のはてなブログ
全銀システム障害は11日朝時点で復旧のめど立たず、プログラム改修でもエラー継続
試練続く富士通Japan、コンビニ誤交付トラブル巡り河野デジ相からは「強い叱責」
名古屋港が約3日でランサムウェア被害から復旧できた理由 国土交通省が語る教訓
ランサムウエアによる名古屋港のシステム障害についてまとめてみた - piyolog
官製デスマーチがやってくる、全国の自治体やベンダーが証言するシステム移行の実態
2023年12月5日に発生した複数AWSアカウントが操作不能となった障害について | クラスメソッド株式会社
スギ薬局グループ システム障害が復旧 「うるう日」が原因か | NHK
富士通、英政府調達から排除求める圧力－冤罪事件の責任問う動き
なぜGmailだけ届かなかった？ 高校出願システム問題、神奈川県に詳しく聞いた
SREこのへんで苦戦しがちじゃないですか？
「モバイルSuica」復旧 トラブルの原因はシステムサーバーの電源が誤って遮断されたため｜日テレNEWS NNN
大規模サービスのインフラを全面的にリプレイスした話 - Qiita
住民票誤交付再び 富士通Japan、コンビニ交付システムを再停止 総点検したが修正漏れ
なぜCDKを使う「べき」なのだろう? - Uzabase for Engineers
テーブル生成プログラムのOS変更対応に不備か、全銀障害のNTTデータG見解
ランチ時に「決済できない」学生悲鳴 大学生協アプリ障害「AWSの同時接続制限超過が原因」
マイナンバーカードのトラブルにどう対処すべきなのか【鈴木淳也のPay Attention】
稼働が1年超遅れたグリコの基幹システム刷新、投資額は当初比1.6倍の342億円に
「ダブルチェックを頑張る」でごまかさない、スクウェア・エニックスのサーバ設定漏れ防止策
製造部がいろいろ試しても無駄だったパソコンを情シスが再起動するだけで直った話…「これマジである」の反応も
全銀システム障害と、同システムが目指す将来像【鈴木淳也のPay Attention】
Booking.com、宿泊費未払い問題を謝罪 原因は“支払いシステムの不具合” 「現在緊急対応をしている」
Twitterは「開発頼まれても断りたいレベル」？ エンジニア視点で意見続々
常態化する“オンプレ回帰” 2023年の最新動向を追う
コンビニ証明書誤交付問題、システム点検完了 「安心してお使いいただけます」と河野大臣
Google I/O 2024基調講演まとめ AI一色、GPT-4oのような機能も
「全銀システム障害」とは何だったのか 解明まで時間がかかった理由と、待ち構える“茨の道”とは
全銀ネット 遅れ出ていた振り込み処理もすべて完了 運営団体 | NHK
ロードバランサ配下のサーバを全部切り離してサービス停止させてしまった話 - Qiita
Cloudflareで起きた約40時間の障害、原因はデータセンター事業者の不手際？
ノーコード開発なのに盛大にやらかした - Qiita
「情シスすごろく」にまさかの「2」 “限界情シス”をゲームでも～っと体験 早速遊んだ
ALBからS3コンテンツを配信してみた | DevelopersIO