Linuxのメモリ割り当てアルゴリズムを追う Slab Allocation編
はじめに この記事はコネヒトAdvent Calendar2023の24日目の記事です。 前回の記事では、Linuxの主要なメモリ割り当てアルゴリズムの一つであるBuddy Memory Allocationについて詳しく紹介しました。 本記事では、Linuxで使用されているもう一つの重要なメモリ割り当てアルゴリズムであるSlab Allocationに焦点を当てて、その仕組みについて解説していきたいと思います。 ↓ 前編の記事です 前提 前編のおさらい 前編では、Buddy Memory Allocationの基本原理と仕組みについて紹介しました。 このアルゴリズムは、メモリブロックの割り当てと解放を2の冪乗単位で行うことにより、外部フラグメンテーションの発生を削減できると同時に、割り当てと解放のプロセスを高速化できるというものでした。 ビットマップ方式とBuddy Memory All
Buddy memory allocation by bitmap - Qiita
はじめに 組み込みやゲームなど特殊な環境では, 独自のメモリ割り当てが必要になることがあります. ひとつの選択肢として, "Buddy memory allocation"を考えてみます. 良いメモリ割り当ての理想は次になります. 特殊環境で自前に実装する理由は, 3つ目を捨てて, その環境で1と2を追求するということです. 確保・解放が高速に動作する 内部・外部断片化が最小である 環境に応じて最適に動作する 記載するコードは一部を抜き出しています. Buddy system オブジェクトの相方（buddy)を決めて, 処理の効率化を測るシステムになります. "Buddy memory allocation"では, メモリブロックを2分木で管理して, 兄弟の節を相方と考えます. 実装が2分木であるかではなく, 考え方が2分木です. メモリ割り当ての効率化とは, コンパクションの効率化になり
Linuxのメモリ割り当てアルゴリズムを追う Buddy Memory Allocation編
はじめに この記事はコネヒトAdvent Calendar2023の5日目の記事です。 世界中で広く使われているLinuxがどのようなメモリ割り当てアルゴリズムを使って物理メモリを管理しているのか、その仕組みには以前から興味がありました。 そこで、Linuxでメモリ割り当てアルゴリズムとして使用されている、Buddy Memory AllocationとSlab Allocationを自作しているOSに実装したのですが、日本語の記事や情報があまりなく実装するのに結構時間がかかってしまいました。（両者とも日本語版Wikipediaにすら載っていませんでした）なので、日本語の情報が少ないのならばこの機会に残しておこうと思い、この記事を書くことにしました。 本記事では、Buddy Memory Allocationに焦点を当て、その仕組みを紹介していきたいと思います。 ↓ 後編の記事です 前提
第5回 Linux Kernelメモリ管理最新動向［その1］ | gihyo.jp
2012年6月6日～8日にLinuxCon Japan 2012が開催されます。ここではLinux Kernelの最新技術の発表や議論がいろいろ行われるのですが、カンファレンスを楽しむ手助けとなる記事を…ということで、最近のLinux Kernelのメモリ管理の以下のトピックについて、2回に分けて紹介したいと思います。 今回は、 NUMA対応 組込みシステム向けの新機能 次回は ファイルシステム、デバイスと連携したエンハンス メモリ資源管理機能（cgroup） CleanCache を取り上げます。 それぞれ、LKMLでどのような提案があって、提案の理由は何か？ 現在はどうなっているのか？ ということを簡単に紹介したいと思います。 NUMA対応 性能エンハンス機能として現在議論されているのが、NUMAマシン上のアプリケーションのチューニング機能です。現在、全く別の方式が有名ハッカー2人から
ブラウザにおけるメモリリークを解決するために読んでおけると良い資料 - mizdra's blog
最近趣味や仕事の Web アプリケーションでメモリリークに遭遇して、頑張ってメモリリークの原因を突き止めて修正する、ということがあった。その過程でメモリリークについて色々調べて知見が溜まったので、学習資料の紹介という形でアウトプットしてみる *1。 前置き 紹介する記事がかなり偏っていることに注意 冒頭で触れたメモリリークを解決するために読んだ記事をまとめただけなので、内容にそれなりの偏りがある 例えば id:mizdra が遭遇したメモリリークは全てブラウザ上で発生していたものだったので、これから紹介する内容も主にブラウザにおけるメモリリークに焦点を当てたものになる GC がどうメモリをどう解放しているか、何故メモリリークが発生するのかは全てカット 調べれば色々な記事が出てくるので、必要に応じて読んでください 基本的な知識を抑える まずメモリリークとメモリ撹拌の違いを学ぼう どちらも同じ
リード・コピー・アップデート - Wikipedia
リード・コピー・アップデート（read-copy-update、RCUと略記）とは、オペレーティングシステムにおいて一種の排他制御[note 1]を実装する同期機構であり、リーダー・ライターロック（英語版）の代替手段として使われることがある。参照において待ち状態が生じず、極めてオーバーヘッドが低い。しかしRCUにおけるデータ更新は、既存の参照者のために古い版のデータ構造を保持しつつ行うため、時間と空間（メモリ）をより多く必要とする。古い版のデータ構造は、既存の参照者が全てアクセスを完了した後で回収される。 概要[編集] RCUでは「参照側クリティカルセクション」という概念があり、通常 rcu_read_lock() と rcu_read_unlock() で挟まれた部分がそれにあたる。参照側クリティカルセクション内にない文は「不活性状態」と呼ばれ、RCUで保護されたデータ構造への参照を保持
RCU(Read Copy Update)をちゃんと知る（1）-1 ほんとの概要 - tkokamoの日記
はじめに ファイルシステムのrcu-walkを理解するためにRCUの勉強から始めようと思ったので書留ます。 RCUとはざっくりこんなものだ、と分かっている前提での記録です。 予想している流れとしては、 概要（概要）← 今回 Linuxでの実装 rcu-walk（RCUの応用先） と考えています。原稿も無いので、次回がいつになるかわかりません（社内勉強会でrcu-walkを語ろうと思っているので完遂はすると思われます） 今回は、wikipediaとかよんでで「？」となった当たりを捕捉。 RCUとは？ 図を用いた簡単な理解 複数のタスクで共有するデータの参照/更新をきちんと行う場合、大抵は適切に排他区間をロックによって設けてそれを実現します。 理想的には、タスク間で共有するデータの参照/更新をロックフリーで行えるとよいのですが、一般的にそのようなことを実現する方法は考えられていません。 しかし
HTMはメモリ管理の為に生まれてきたんだよ！ ΩΩ＜な、なんだってー - Software Transactional Memo
HTMの第一人者にして、obstruction-freeやwait-freeなどの厳密な定義や、CAS命令の数学的な意義を証明し、The Art of Multiprocessor Programmingの著者で、ロックフリーでもSTMでも八面六臂の活躍をしているMaurice Herlihy先生が連名している最近の論文を流し読み。 Aleksandar Dragojevic, Maurice Herlihy, Yossi Lev, Mark Moir: On the power of hardware transactional memory to simplify memory management. PODC 2011: 99-108 「トランザクショナルメモリのパワーでメモリ管理を簡略化する」という感じ。 GCを使わない環境下においてメモリ管理は鬼門になってて、そのせいでC++のロ
The OOM CTF
カーネルのバージョンやシステムの構成や実行するタイミングなどの変動要因により、結果が異なる場合がありますことを予めご了承ください。 0.3 自己紹介：熊猫の Linux との関わりについて ＯＳレベルでのセキュリティ強化 ２００３年４月から２０１２年３月までは、 TOMOYO Linux という Linux システム向けのアクセス制御モジュールの開発に携わってきました。バッファオーバーフロー脆弱性やＯＳコマンドインジェクション脆弱性を撲滅できない状況で、当初は SELinux という難解なアクセス制御モジュールしかありませんでした。 TOMOYO Linux のメインライン化にまつわる苦労話は、セキュリティ＆プログラミングキャンプ２０１１の講義資料を参照していただければと思います。 TOMOYO Linux から始まって AKARI や CaitSith に至るまでの変遷は、セキュリティ・
高度に最適化された移植可能なメモリマネージャ
Boost.勉強会 #21 札幌「C++1zにstring_viewが導入されてうれしいので紹介します」Hiro H.
C言語におけるメモリプールの実現方法 - S.T.K Wiki
メモリプール メモリプールとはあらかじめまとまったメモリ領域を一括で確保した後に確保したメモリ領域を使ってメモリにデータを割り当てる手法、 もしくは確保したメモリ領域をプログラムから効率的に使用/管理できるようなアルゴリズム/データ構造を指す。 CようにGC(ガベージコレクション)を持たない言語ではヒープ領域から確保したメモリの解放はプログラマの責任で行う必要がある。 しかし、実際にCやC++でプログラミングしたことがあるならわかるように確保したメモリを適切なタイミングで 解放するのはとても難しいとまでは言わないまでもあまり簡単なことではない。 単にfreeを呼び出すのを忘れたり、もしくはリストやツリーのような少しでも複雑なデータ構造を扱う際に割り当てられたメモリを適切に解放できずにリークしてしまうようなことは普通に起こりうる。 モダンなOSではプログラム終了後にそのプログラムに割り当てら
メモリ管理～windowsのメモリ割り当て～
Win32は「仮想メモリ」をサポートしている。Windows上で実行されているプロセスは、実際の物理メモリの容量に関わらず、プロセスごとに4Gバイトの仮想メモリ空間が割り当てられる。 仮想メモリ空間は、ページと呼ばれる単位で管理される。x86系ならば１メモリページは4Kバイトである。システムは、プロセスの仮想メモリ空間中で、プロセスが使用しているメモリページだけを物理メモリに割り当て、未使用のメモリページは物理メモリに割り当てない。この仕組みにより、物理メモリの容量を超える仮想メモリ空間を実現することができる。 物理メモリには、RAMとページングファイルがある。システムは、RAMの容量以上の物理メモリが必要になると、RAM上のメモリページをページングファイルに退避し、RAM上に空きメモリページを作り、このページを使用する。ページングファイルに退避されたメモリページに割り当てられていた仮想メ
https://support.microsoft.com/ja-jp/help/108449
すべて Microsoft 製品 Microsoft 365 Office Windows Surface Xbox セール サポート ソフトウェア Windows アプリ OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Azure Microsoft Dynamics 365 Microsoft 365 Microsoft Industry データ プラットフォーム Power Platform 法人向けを購入する Developer & IT .NET Visual Studio
ワーキングセットとは - IT用語辞典
概要 ワーキングセット（working set）とは、仮想メモリが運用されているOS上で、実行中のプログラムがある時点で使用しているメモリページの集合のこと。 プロセスが占有するページ全体の中から、直近に使用したなど何らかの基準に基づいて選んだ、ある瞬間に必要とされている記憶内容の総体を表している。確保された領域のうち物理メモリ上に展開されている部分のことをワーキングセットと呼ぶ場合もある。 ワーキングセットが常に物理メモリ上に展開できていれば、ストレージと物理メモリの内容の入れ替え（スワップ/ページング）を行うことなく高い性能を維持したままプログラムを実行できる。 ソフトウェアの機能について言う場合ソフトウェアの操作性を向上させる機能の一つで、項目数や選択肢が膨大な場合に頻繁に使うものだけを選んで表示するものをワーキングセットということがある。
ワーキングセット - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "ワーキングセット" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2023年1月） ワーキングセット (Working set) とは、プロセスがある時点で使用中の仮想メモリページの集合である。 ワーキングセットは大きすぎても小さすぎても問題を生じるので、そのサイズの及ぼす効果は重要である。ワーキングセットが大きすぎると同時に実行可能なプロセス数が少なくなる。小さすぎるとページフォールトが発生しやすくなる。 ページ置換アルゴリズムとワーキングセット[編集] ページ置換アルゴリズムは従来、システムの全物理ページを対象としていた。しかし、メモ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自作OSのメモリ管理をBuddy Systemで実装してみて学んだこと | ドクセル
CMA documentation file [LWN.net]
shared_ptrとゲームプログラミングでのメモリ管理
カスタムメモリマネージャと高速なメモリアロケータについて