AWS製のS3マウントツール「Mountpoint for Amazon S3」を試してみた | DevelopersIO
Mountpoint for Amazon S3 は高スループットが求められるワークロード向けのS3マウントツールです。 札幌オフィスの中川です。 少し前にS3バケットをローカルファイルシステムとしてマウントするためのファイルクライアントツールとして、Mountpoint for Amazon S3 が登場していました。 ファイルシステム上の操作をGetやListのようなS3オブジェクトAPIに変換し、アプリケーションがopenやreadといったファイル操作を通じてS3にアクセスできるようにします。 ツールはRustで書かれており、ペタバイトクラスのデータ処理を必要とするような読み取り負荷の高いワークロード向けに最適化されています。 また、先日のアップデートで書き込みも一部サポートされました。 ※2023年7月時点では新規ファイルの作成のみサポートされており、既存のファイルへの更新や削除は
Amazon S3 Update – Strong Read-After-Write Consistency | Amazon Web Services
AWS News Blog Amazon S3 Update – Strong Read-After-Write Consistency When we launched S3 back in 2006, I discussed its virtually unlimited capacity (“…easily store any number of blocks…”), the fact that it was designed to provide 99.99% availability, and that it offered durable storage, with data transparently stored in multiple locations. Since that launch, our customers have used S3 in an amazin
ストレージオーケストレーターRookへのサイボウズのコミット方針 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、Necoプロジェクトのsatです。 NecoではKubernetes上のアプリケーションが使うストレージをCephによって提供すること、およびCephクラスタの管理にKubernetes上で動作するストレージオーケストレーターRookを使うことを決めています。本記事はNecoがなぜRook/Cephを選択したのか、Rookに対する現在のコミット状況、および今後のコミット方針について紹介します。 CephやRookがどういうものなのかについては以下の記事をごらんください。 blog.cybozu.io blog.cybozu.io なぜRook/Cephなのか まずはNecoがなぜストレージをRook/Cephによって提供することにしたのかを簡単に書いておきます。 Ceph Necoで提供するストレージには、既存のインフラで苦労した点を無くす、あるいは軽減するために次の
ヤフー株式会社 事例紹介 | IBM
月間約725億ページビューを誇る日本最大級のインターネットサービスを支え、高度なビジネス要件を満たすプライベート・クラウド基盤構築に向けた挑戦 1996年にサービス提供を開始し、2018年2月の時点で、月間約725億ページビューのインターネットサービスへと成長した「Yahoo! JAPAN」を運営するヤフー株式会社（以下、ヤフー）。同社は、プライベート・クラウド基盤のストレージにIBM Cloud Object Storageを導入しました。日本アイ・ビー・エム株式会社（以下、日本IBM）の検証用データセンターを活用し、本番環境と同様、複数拠点間での冗長化構成でIBM Cloud Object Storageを活用したストレージを構築する検証を実施。それを経て、まずは、最も機密性を求められるデータ保存領域である「高セキュリティエリア」に導入。インフラの運用管理性が大幅に向上し、今後「社内シ
安全性・信頼性・可用性を強化、Yahoo! JAPANに学ぶオブジェクトストレージ活用 - ホワイトペーパー [クラウドストレージ]
「Yahoo! JAPAN」を運営するヤフーは2018年10月、プライベートクラウド基盤のストレージ環境を非構造化データに強いオブジェクトストレージに移行した。導入したのは同社のストレージの中でも、最も機密性を求められるデータ保存領域である高セキュリティエリアだ。 移行に踏み切った理由の1つは技術面にあった。同社の開発環境でコンテナ技術やPaaSなどのニーズが高まっていたのはもちろん、さらなる俊敏性や柔軟性を強化するため、オンプレミスにおけるクラウドネイティブ技術との親和性が高いストレージが求められていた。 加えて、問題となっていたのがパフォーマンスだ。Yahoo! JAPANのページビューは2018年2月時点で月間で約725億、ユーザーアクセスも1日当たり4000万に達するなど、トラフィックが膨れ上がり、従来の環境では限界に近づいていたのだ。同社はオブジェクトストレージを活用して、どのよ
![安全性・信頼性・可用性を強化、Yahoo! JAPANに学ぶオブジェクトストレージ活用 - ホワイトペーパー [クラウドストレージ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/26824ea25c49e4d8b7d5f5a586be1e09c4d39d50/height=288;version=1;width=512/https%3A%2F%2Fwp.techtarget.itmedia.co.jp%2Fimages%2Ftt_logo.gif){kind=logo}
Rust製の分散オブジェクトストレージをOSSとして公開しました - dwango on GitHub
はじめに ドワンゴではniconicoの配信系サービスのバックエンドで利用するために、Frugalosという名前の分散オブジェクトストレージを開発しているのですが、この度OSSとして公開することとなりましたので、この場を借りて軽く紹介させて貰います。 FrugalosはRustで実装されており、現時点では以下のリポジトリが公開されています: raftlog_protobuf: raftlogへのProtocol Buffersサポートの追加 “Frugalos"って何？ “Frugal object storage"の略です。 “frugal"は日本語では「倹約な」や「節約する」といった意味となり、「読み書き性能を犠牲にせずに、膨大な数のBLOB（Binary Large OBject）を、容量効率良く保持する」ことを目指して開発されているオブジェクトストレージです。 提供されている機能は
Rook.io
Open-Source, Cloud-Native Storage for Kubernetes Production ready management for File, Block and Object Storage Try it out now Storage Operators for Kubernetes Rook turns distributed storage systems into self-managing, self-scaling, self-healing storage services. It automates the tasks of a storage administrator: deployment, bootstrapping, configuration, provisioning, scaling, upgrading, migration
メンテナンス・障害情報・機能追加｜さくらインターネット公式サポートサイト
2017年09月09日 障 害 発 生 の お 知 ら せ さくらインターネット株式会社 平素よりさくらインターネットをご利用いただき、誠にありがとうございます。 9月9日より、ご提供サービスにおきまして、以下の通り障害が発生いたしました が、収束いたしました。 ご利用中のお客様には大変ご迷惑をおかけいたしましたことを深くお詫び申し上 げます。 障害が収束いたしましたので、本障害について報告書として下記にご説明いたし ます。 ＜ 記 ＞ 発生日時 : 2017年9月9日10時27分 影響範囲 : さくらのクラウド（オブジェクトストレージ） 障害内容 : バケットに接続しにくくなる障害が発生いたしました --------------------------------------------------------------------- 2017年10月11日 さくらのクラウドサービスに
ヤフーの分散オブジェクトストレージ Dragon について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装
Reflections on S3's architectural flaws
On 28th February 2017, Amazon Web Service’s S3 storage service experienced a period of unavailability. While we are awaiting a postmortem and explanation of root-cause, I thought I would share my thoughts on the storage guarantees provided by S3, the implications of S3’s closed model for metadata, and a prediction of the re-emergence of cloud-scale hierarchical filesystems as a replacement for obj
CTCSP | シーティーシー・エスピー株式会社 [新たな潮流、オブジェクトストレージとは？ 『オブジェクトストレージが求められる背景』]
従来のストレージの概念では、個々のディスクからRAIDグループやLUNが作られ、その上にファイルシステムが作成されておりました。また、アプリケーションからファイルシステム上のディレクトリやファイルへのアクセスには、古くからIEEEで標準化されているPOSIXというライブラリが使われております。 これに対して、オブジェクトストレージでは、ソフトウェア上で展開された領域に、ファイルに相当するオブジェクトを直接書き込むという仕組みが取られております。アプリケーションとオブジェクトストレージのインタフェースは、Webシステムで使われている、RESTです。 ファイルシステムではデータを保管する際、「ディレクトリ」と呼ばれる階層構造が取られますが、オブジェクトストレージではそのような構造はありません。オブジェクトストレージでは、仮想的で単一なデータ格納領域(バケットと呼ばれることもある)に対して、オ
![CTCSP | シーティーシー・エスピー株式会社 [新たな潮流、オブジェクトストレージとは？ 『オブジェクトストレージが求められる背景』]](https://cdn-ak-scissors.b.st-hatena.com/image/square/70ecedb8625628ee2ae1d6bec8b6a707c31e4898/height=288;version=1;width=512/http%3A%2F%2Fwww.ctc-g.co.jp%2F~ctcsp%2Fsp%2Fimages%2Fostf_02h.gif)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Enigmaの解説
GitHub - minio/minsql: High-performance log search engine.
http://dprg.cs.uiuc.edu/docs/SIGMOD2016-a/ambry.pdf
AWS S3 open source alternative written in Go | Hacker News
Session_A1_01 - Large LDPC Codes for Big Data Storage
Globally Distributed Cloud Object Storage
GitHub - linkedin/ambry: Distributed object store
Goでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 Spring
https://docs.aws.amazon.com/s3/