今天我們來談談Linux的內(nèi)存機制。
首先我們理一下概念
一、什么是linux的內(nèi)存機制?
我們知道,直接從物理內(nèi)存讀寫數(shù)據(jù)要比從硬盤讀寫數(shù)據(jù)要快的多,因此,我們希望所有數(shù)據(jù)的讀取和寫入都在內(nèi)存完成,而內(nèi)存是有限的,這樣就引出了物理內(nèi)存與虛擬內(nèi)存的概念。
物理內(nèi)存就是系統(tǒng)硬件提供的內(nèi)存大小,是真正的內(nèi)存,相對于物理內(nèi)存,在linux下還有一個虛擬內(nèi)存的概念,虛擬內(nèi)存就是為了滿足物理內(nèi)存的不足而提出的策略,它是利用磁盤空間虛擬出的一塊邏輯內(nèi)存,用作虛擬內(nèi)存的磁盤空間被稱為交換空間(Swap Space)。
作為物理內(nèi)存的擴展,linux會在物理內(nèi)存不足時,使用交換分區(qū)的虛擬內(nèi)存,更詳細的說,就是內(nèi)核會將暫時不用的內(nèi)存塊信息寫到交換空間,這樣以來,物理內(nèi)存得到了釋放,這塊內(nèi)存就可以用于其它目的,當需要用到原始的內(nèi)容時,這些信息會被重新從交換空間讀入物理內(nèi)存。
Linux的內(nèi)存管理采取的是分頁存取機制,為了保證物理內(nèi)存能得到充分的利用,內(nèi)核會在適當?shù)臅r候?qū)⑽锢韮?nèi)存中不經(jīng)常使用的數(shù)據(jù)塊自動交換到虛擬內(nèi)存中,而將經(jīng)常使用的信息保留到物理內(nèi)存。
要深入了解linux內(nèi)存運行機制,需要知道下面提到的幾個方面:
-
Linux系統(tǒng)會不時的進行頁面交換操作,以保持盡可能多的空閑物理內(nèi)存,即使并沒有什么事情需要內(nèi)存,Linux也會交換出暫時不用的內(nèi)存頁面。這可以避免等待交換所需的時間。
-
Linux 進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬內(nèi)存,linux內(nèi)核根據(jù)”最近最經(jīng)常使用“算法,僅僅將一些不經(jīng)常使用的頁面文件交換到虛擬 內(nèi)存,有時我們會看到這么一個現(xiàn)象:linux物理內(nèi)存還有很多,但是交換空間也使用了很多。其實,這并不奇怪,例如,一個占用很大內(nèi)存的進程運行時,需 要耗費很多內(nèi)存資源,此時就會有一些不常用頁面文件被交換到虛擬內(nèi)存中,但后來這個占用很多內(nèi)存資源的進程結(jié)束并釋放了很多內(nèi)存時,剛才被交換出去的頁面 文件并不會自動的交換進物理內(nèi)存,除非有這個必要,那么此刻系統(tǒng)物理內(nèi)存就會空閑很多,同時交換空間也在被使用,就出現(xiàn)了剛才所說的現(xiàn)象了。關于這點,不 用擔心什么,只要知道是怎么一回事就可以了。
-
交換空間的頁面在使用時會首先被交換到物理內(nèi)存,如果此時沒有足夠的物理內(nèi)存來容納這些頁 面,它們又會被馬上交換出去,如此以來,虛擬內(nèi)存中可能沒有足夠空間來存儲這些交換頁面,最終會導致linux出現(xiàn)假死機、服務異常等問題,linux雖 然可以在一段時間內(nèi)自行恢復,但是恢復后的系統(tǒng)已經(jīng)基本不可用了。
因此,合理規(guī)劃和設計Linux內(nèi)存的使用,是非常重要的.
在Linux 操作系統(tǒng)中,當應用程序需要讀取文件中的數(shù)據(jù)時,操作系統(tǒng)先分配一些內(nèi)存,將數(shù)據(jù)從磁盤讀入到這些內(nèi)存中,然后再將數(shù)據(jù)分發(fā)給應用程序;當需要往文件中寫 數(shù)據(jù)時,操作系統(tǒng)先分配內(nèi)存接收用戶數(shù)據(jù),然后再將數(shù)據(jù)從內(nèi)存寫到磁盤上。然而,如果有大量數(shù)據(jù)需要從磁盤讀取到內(nèi)存或者由內(nèi)存寫入磁盤時,系統(tǒng)的讀寫性 能就變得非常低下,因為無論是從磁盤讀數(shù)據(jù),還是寫數(shù)據(jù)到磁盤,都是一個很消耗時間和資源的過程,在這種情況下,Linux引入了buffers和 cached機制。
buffers與cached都是內(nèi)存操作,用來保存系統(tǒng)曾經(jīng)打開過的文件以及文件屬性信息,這樣當操作系統(tǒng)需要讀取某些文件時,會首先在buffers 與cached內(nèi)存區(qū)查找,如果找到,直接讀出傳送給應用程序,如果沒有找到需要數(shù)據(jù),才從磁盤讀取,這就是操作系統(tǒng)的緩存機制,通過緩存,大大提高了操 作系統(tǒng)的性能。但buffers與cached緩沖的內(nèi)容卻是不同的。
buffers是用來緩沖塊設備做的,它只記錄文件系統(tǒng)的元數(shù)據(jù)(metadata)以及 tracking in-flight pages,而cached是用來給文件做緩沖。更通俗一點說:buffers主要用來存放目錄里面有什么內(nèi)容,文件的屬性以及權(quán)限等等。而cached直接用來記憶我們打開過的文件和程序。
為了驗證我們的結(jié)論是否正確,可以通過vi打開一個非常大的文件,看看cached的變化,然后再次vi這個文件,感覺一下兩次打開的速度有何異同,是不是第二次打開的速度明顯快于第一次呢?
接著執(zhí)行下面的命令:
find /* -name ?*.conf
看看buffers的值是否變化,然后重復執(zhí)行find命令,看看兩次顯示速度有何不同。
?
?
二、linux什么時候開始使用虛擬內(nèi)存(swap)?
A.[root@wenwen ~]# cat /proc/sys/vm/swappiness
60
上面這個60代表物理內(nèi)存在使用60%的時候才會使用swap
swappiness=0的時候表示最大限度使用物理內(nèi)存,然后才是 swap空間,
swappiness=100的時候表示積極的使用swap分區(qū),并且把內(nèi)存上的數(shù)據(jù)及時的搬運到swap空間里面。
通常情況下:
swap分區(qū)設置建議是內(nèi)存的兩倍 (內(nèi)存小于等于4G時),如果內(nèi)存大于4G,swap只要比內(nèi)存大就行。另外盡量的將swappiness調(diào)低,這樣系統(tǒng)的性能會更好。
B.修改swappiness參數(shù)
臨時性修改:
[root@wenwen ~]# sysctl vm.swappiness=10
vm.swappiness = 10
[root@wenwen ~]# cat /proc/sys/vm/swappiness ? ? ? ? ? ? ? ??
10
?
永久性修改:
[root@wenwen ~]# vim /etc/sysctl.conf
加入?yún)?shù):
vm.swappiness = 35
然后在直接:
[root@wenwen ~]# sysctl -p
查看是否生效:
cat /proc/sys/vm/swappiness
35
?
?
?
三、怎么釋放內(nèi)存?
一般系統(tǒng)是不會自動釋放內(nèi)存的
關鍵的配置文件/proc/sys/vm/drop_caches。這個文件中記錄了緩存釋放的參數(shù),默認值為0,也就是不釋放緩存。他的值可以為0~3之間的任意數(shù)字,代表著不同的含義:
0 – 不釋放
1 – 釋放頁緩存
2 – 釋放dentries和inodes
3 – 釋放所有緩存
實操:
?
很明顯多出來很多空閑的內(nèi)存了吧
?
?
四、怎么釋放swap?
前提:首先要保證內(nèi)存剩余要大于等于swap使用量,否則會宕機!根據(jù)內(nèi)存機制,swap分區(qū)一旦釋放,所有存放在swap分區(qū)的文件都會轉(zhuǎn)存到物理內(nèi)存上。通常通過重新掛載swap分區(qū)完成釋放swap。
a.查看當前swap分區(qū)掛載在哪?
b.關停這個分區(qū)
c.查看狀態(tài):
e.將swap掛載到/dev/sda5上
f.查看掛載是否成功
?
?
五、一些實際的小例子?
我在設置mysql的時候,將
my.cnf文件
innodb_buffer_pool_size = 6G(我操作系統(tǒng)的內(nèi)存就是6G,一般這個值設置為操作系統(tǒng)內(nèi)存的80%)
這個值并不是設置的越大越好。設置的過大,會導致system的swap空間被占用,導致操作系統(tǒng)變慢,從而減低sql查詢的效率。
這里你可以這么理解,當我將這個buffer_pool_size設置得過大,跟操作系統(tǒng)內(nèi)存一樣大的時候,我使用mysql,會在一段時間內(nèi)調(diào)用大量的數(shù)據(jù)進內(nèi)存,由于linux的內(nèi)存機制,再根據(jù)最近最優(yōu)的原則,將一部分數(shù)據(jù)篩選放入swap分區(qū),而swap分區(qū)沒有及時的清理掉數(shù)據(jù),當再次調(diào)用其它數(shù)據(jù)的時候,又會將一部分數(shù)據(jù)篩選放入swap分區(qū),可能會出現(xiàn)一個現(xiàn)象,就是物理內(nèi)存還有剩余,甚至是空的,而swap分區(qū)卻是滿的。
本文摘自 :https://blog.51cto.com/u