無結構位元組序列文件也稱為什麼
① linux文件系統基礎知識
linux文件系統基礎知識匯總
1、linux文件系統分配策略
塊分配( block allocation ) 和 擴展分配 ( extent allocation )
塊分配:磁碟上的文件塊根據需要分配給文件,避免了存儲空間的浪升團費。但當文件擴充時,會造成文件中文件塊的不連續,從而導致過多的磁碟尋道時間。
每一次文件擴展時,塊分配演算法就需要寫入文件塊的結構信息,也就是 meta-dada 。meta-data總是與文件一起寫入存儲設備,改變文件的操作要等到所有meta-data的操作都完成後才能進行,
因此,meta-data的操作會明顯降低整個文件系統的性能。
擴展分配: 文件創建時,一次性分配一連串連續的塊,當文件擴展時,也一次分配很多塊。meta-data在文件創建時寫入,當文件大小沒有超過所有已分配文件塊大小時,就不用寫入meta-data,直到需要再分配文件塊的時候。
擴展分配採用成組分配塊的方式,減少了SCSI設備寫數據的時間,在讀取順序文件時具有良好的性能,但隨機讀取文件時,就和塊分配類似了。
文件塊的組或塊簇 ( block cluster) 的大小是在編譯時確定的。簇的大小對文件系統的性能有很大的影響。
註: meta-data 元信息:和文件有關的信息,比如許可權、所有者以及創建、訪問或更改時間等。
2、文件的記錄形式
linux文家系統使用索引節點(inode)來記錄文件信息。索引節點是一種數據結構,它包含了一個文件的長度、創建及修改時間、許可權、所屬關系、磁碟中的位置等信息。
一個文件系統維護了一個索引節點的數組,每個文件或目錄都與索引節點數組中的唯一的元素對應。每個索引節點在數組中的索引號,稱為索引節點號。
linux文件系統將文件索引節點號和文件名同時保存在目錄中,所以,目錄只是將文件的名稱和它的索引節點號結合在一起的一張表,目錄中每一對文件名稱和索引節點號稱為一個連接。
對於一個文件來說,有一個索引節點號與之對應;而對於一個索引節點號,卻可以對應多個文件名。
連接分為軟連接和硬連接,其中軟吵信橘連接又叫符號連接。
硬連接: 原文件名和連接文件名都指向相同的物理地址。目錄不能有硬連接;硬連接不能跨文件系統(不能跨越不同的分區),文件在磁碟中只有一個拷貝。
由於刪除文件要在同一個索引節點屬於唯一的連接時才能成功,因此硬連接可以防止不必要的誤刪除。
軟連接: 用 ln -s 命令建立文件的符號連接。符號連接是linux特殊文件的.一種,作為一個文件,它的數據是它所連接的文件的路徑名。坦歲沒有防止誤刪除的功能。
3、文件系統類型:
ext2 : 早期linux中常用的文件系統
ext3 : ext2的升級版,帶日誌功能
RAMFS : 內存文件系統,速度很快
NFS : 網路文件系統,由SUN發明,主要用於遠程文件共享
MS-DOS : MS-DOS文件系統
VFAT : Windows 95/98 操作系統採用的文件系統
FAT : Windows XP 操作系統採用的文件系統
NTFS : Windows NT/XP 操作系統採用的文件系統
HPFS : OS/2 操作系統採用的文件系統
PROC : 虛擬的進程文件系統
ISO9660 : 大部分光碟所採用的文件系統
ufsSun : OS 所採用的文件系統
NCPFS : Novell 伺服器所採用的文件系統
SMBFS : Samba 的共享文件系統
XFS : 由SGI開發的先進的日誌文件系統,支持超大容量文件
JFS :IBM的AIX使用的日誌文件系統
ReiserFS : 基於平衡樹結構的文件系統
udf: 可擦寫的數據光碟文件系統
4、虛擬文件系統VFS
linux支持的所有文件系統稱為邏輯文件系統,而linux在傳統的邏輯文件系統的基礎上增加料一個蓄念文件系統( Vitual File System ,VFS) 的介面層。
虛擬文件系統(VFS) 位於文件系統的最上層,管理各種邏輯文件系統,並可以屏蔽各種邏輯文件系統之間的差異,提供統一文件和設備的訪問介面。
5、文件的邏輯結構
文件的邏輯結構可分為兩大類: 位元組流式的無結構文件 和 記錄式的有結構文件。
由位元組流(位元組序列)組成的文件是一種無結構文件或流式文件 ,不考慮文件內部的邏輯結構,只是簡單地看作是一系列位元組的序列,便於在文件的任意位置添加內容。
由記錄組成的文件稱為記錄式文件 ,記錄是這種文件類型的基本信息單位,記錄式文件通用於信息管理。
6、文件類型
普通文件 : 通常是流式文件
目錄文件 : 用於表示和管理系統中的全部文件
連接文件 : 用於不同目錄下文件的共享
設備文件 : 包括塊設備文件和字元設備文件,塊設備文件表示磁碟文件、光碟等,字元設備文件按照字元操作終端、鍵盤等設備。
管道(FIFO)文件 : 提供進程建通信的一種方式
套接字(socket) 文件: 該文件類型與網路通信有關
7、文件結構: 包括索引節點和數據
索引節點 : 又稱 I 節點,在文件系統結構中,包含有關相應文件的信息的一個記錄,這些信息包括文件許可權、文件名、文件大小、存放位置、建立日期等。文件系統中所有文件的索引節點保存在索引節點表中。
數據 : 文件的實際內容。可以是空的,也可以非常大,並且擁有自己的結構。
8、ext2文件系統
ext2文件系統的數據塊大小一般為 1024B、2048B 或 4096B
ext2文件系統採用的索引節點(inode):
索引節點採用了多重索引結構,主要體現在直接指針和3個間接指針。直接指針包含12個直接指針塊,它們直接指向包含文件數據的數據塊,緊接在後面的3個間接指針是為了適應文件的大小變化而設計的。
e.g: 假設數據塊大小為1024B ,利用12個直接指針,可以保存最大為12KB的文件,當文件超過12KB時,則要利用單級間接指針,該指針指向的數據塊保存有一組數據塊指針,這些指針依次指向包含有實際數據的數據塊,
假如每個指針佔用4B,則每個單級指針數據塊可保存 1024/4=256 個數據指針,因此利用直接指針和單級間接指針可保存 1024*12+1024*256=268 KB的文件。當文件超過268KB時,再利用二級間接指針,直到使用三級間接指針。
利用直接指針、單級間接指針、二級間接指針、三級間接指針可保存的最大文件大小為:
1024*12+1024*256+1024*256*256+1024*256*256*256=16843020 KB,約 16GB
若數據塊大小為2048B,指針佔4B,則最大文件大小為: 2048*12+2048*512+2048*512*512+2048*512*512*512=268,960,792 KB 約 268GB
若數據塊大小為4096B,指針佔4B,則最大文件大小為: 4096*12+4096*1024+4096*1024*1024+4096*1024*1024*1024=4,299,165,744 KB ,約 4TB
註: 命令 tune2fs -l /dev/sda5 可查看文件系統
ext2文件系統最大文件名長度: 255個字元
ext2文件系統的缺點:
ext2在寫入文件內容的同時並沒有同時寫入文件meta-data, 其工作順序是先寫入文件的內容,然後等空閑時候才寫入文件的meta-data。若發生意外,則文件系統就會處於不一致狀態。
在重新啟動系統的時候,linux會啟動 fsk ( file system check) 的程序,掃描整個文件系統並試圖修復,但不提供保證。
9、ext3文件系統:
ext3基於ext2的代碼,所以磁碟格式與ext2相同,使用相同的元數據。
ext2文件系統無損轉化為ext3文件系統: tune2fs -j /dev/sda6
日誌塊設備( Journaling block device layer,JBD)完成ext3文件系統日誌功能。JBD不是ext3文件系統所特有的,它的設計目標是為了向一個塊設備添加日誌功能。
當一個文件修改執行時,ext3文件系統代碼將通知JBD,稱為一個事務(transaction)。發生意外時,日誌功能具有的重放功能,能重新執行中斷的事務。
日誌中的3種數據模式:
1)、data=writeback :不處理任何形式的日誌數據,給用戶整體上的最高性能
2)、data=odered :只記錄元數據日誌,但將元數據和數據組成一個單元稱為事務(transaction) 。此模式保持所句句的可靠性與文件系統的一致性,性能遠低於data=writeback模式,但比data=journal模式快
3)、data=journal :提供完整的數據及元數據日誌,所有新數據首先被寫入日誌,然後才被定位。意外發生過後,日誌可以被重放,將數據與元數據帶回一致狀態。這種模式整體性能最慢,但數據需要從磁碟讀取和寫入磁碟時卻是3種模式中最快的。
ext3文件系統最大文件名長度: 255個字元
ext3文件系統的優點:可用性、數據完整性、速度、兼容性
10、ReiserFS文件系統
ReiserFS文件系統是由Hans Reiser和他領導的開發小組共同開發的,整個文件系統完全是從頭設計的,是一個非常優秀的文件系統。也是最早用於Linux的日誌文件系統之一。
ReiserFS的特點
先進的日誌機制
ReiserFS有先進的日誌(Journaling/logging)功能 機制。日誌機制保證了在每個實際數據修改之前,相應的日誌已經寫入硬碟。文件與數據的安全性有了很大提高。
高效的磁碟空間利用
Reiserfs對一些小文件不分配inode。而是將這些文件打包,存放在同一個磁碟分塊中。而其它文件系統則為每個小文件分別放置到一個磁碟分塊中。
獨特的搜尋方式
ReiserFS基於快速平衡樹(balanced tree)搜索,平衡樹在性能上非常卓越,這是一種非常高效的演算法。ReiserFS搜索大量文件時,搜索速度要比ext2快得多。Reiserfs文件 系統使用B*Tree存儲文件,而其它文件系統使用B+Tree樹。B*Tree查詢速度比B+Tree要快很多。Reiserfs在文件定位上速度非常 快。
在實際運用中,ReiserFS 在處理小於 4k 的文件時,比ext2 快 5 倍;帶尾文件壓縮功能(默認)的ReiserFS 比ext2文件系統多存儲6%的數據。
支持海量磁碟
ReiserFS是一個非常優秀的文件系統,一直被用在高端UNIX系統上,可輕松管理上百G的文件系統,ReiserFS文件系統最大支持的文件系統尺寸為16TB。這非常適合企業級應用中。
優異的性能
由於它的高效存儲和快速小文件I/O特點,使用ReiserFs文件系統的PC,在啟動X窗口系統時,所花的時間要比在同一台機器上使用ext2文 件系統少1/3。另外,ReiserFS文件系統支持單個文件尺寸為4G的文件,這為大型資料庫系統在linux上的應用提供了更好的選擇。
;② 文件系統格式各有哪些優點和缺點
1、什麼是NTFS-新(N)技術(T)文件(F)系統(S)?
想要了解NTFS,我們首先應該認識一下FAT。FAT(File Allocation Table)是"文件分配表"的意思。對我們來說,它的意義在於對硬碟分區的管理。FAT16、FAT32、NTFS是目前最常見的三種文件系統。
FAT16:我們以前用的DOS、Windows 95都使用FAT16文件系統,現在常用的Windows 98/2000/XP等系統均支持FAT16文件系統。它最大可以管理大到2GB的分區,但每個分區最多隻能有65525個簇(簇是磁碟空間的配置單位)。隨著硬碟或分區容量的增大,每個簇所佔的空間將越來越大,從而導致硬碟空間的浪費。
FAT32:隨著大容量硬碟的出現,從Windows 98開始,FAT32開始流行。它是FAT16的增強版本,可以支持大到2TB(2048G的分區。FAT32使用的簇比FAT16小禪姿,從而有效地節約了硬碟空間。
NTFS:微軟Windows NT內核的系列操作系統支持的、一個特別為網路和磁碟配額、文件加密等管理安全特性設計的磁碟格式。隨著以NT為內核的Windows 2000/XP的普及,很多個人用戶開始用到了NTFS。NTFS也是以簇為單位來存儲數據文件,但NTFS中簇的大小並不依賴於磁碟或分區的大小。簇尺寸的縮小不但降低了磁碟空間的浪費,還減少了產生磁碟碎片的可能。NTFS支持文件加密管理功能,可為用戶提供更高層次的安全保證。
2、什麼系統可以支持NTFS文件系統?
只有Windows NT/2000/XP才能識別NTFS系統,Windows 9x/Me以及DOS等操作系統都不能支持、識別NTFS格式的磁碟。由於DOS系統不支持NTFS系統,所以最好不要將C:盤製作為NTFS系統,這樣在系統崩潰後便於在DOS系統下修復。
NTFS與操作系統支持情況如下:
FAT16 windows 95/98/me/nt/2000/xp unix,linux,dos
FAT32 windows 95/98/me/2000/xp
NTFS windows nt/2000/xp
3、我們需要NTFS嗎?
Windows 2000/XP在文件系統上是向下兼容的,它可以很好地支持FAT16/FAT32和NTFS,其中NTFS是Windows NT/2000/XP專用格式,它能更充分有效地利用磁碟空間、支持文件級壓縮、具備更好的文件安全性。如果你只安裝Windows 2000/XP,建議選擇NTFS文件系統。如果多重引導系統,則系統盤(C盤)必須為FAT16或FAT32,否則不支持多重引導。當然,其他分區的文件系統可敬銷以為NTFS。
1、fat16
對電腦老"鳥"而言,對這種硬碟分區格式是最熟悉不過了,我們大都是通過這種分區格式認識和踏入電腦門檻的。它採用16位的文件分配表,能支持的最大分區為2gb,是目前應用最為廣泛和獲得操作系統支持最多的一種磁碟分區格式,幾乎所有的操作系統都支持這一種格式,從dos、win 3.x、win 95、win 97到win 98、windows nt、win 2000/XP,甚至火爆一時的linux都支持這種分區格式。
但是fat16分區格式有一個最大的缺點,那就是硬碟的亮襲游實際利用效率低。因為在dos和windows系統中,磁碟文件的分配是以簇為單位的,一個簇只分配給一個文件使用,不管這個文件佔用整個簇容量的多少。而且每簇的大小由硬碟分區的大小來決定,分區越大,簇就越大。例如1gb的硬碟若只分一個區,那麼簇的大小是32kb,也就是說,即使一個文件只有1位元組長,存儲時也要佔32kb的硬碟空間,剩餘的空間便全部閑置在那裡,這樣就導致了磁碟空間的極大浪費。fat16支持的分區越大,磁碟上每個簇的容量也越大,造成的浪費也越大。所以隨著當前主流硬碟的容量越來越大,這種缺點變得越來越突出。為了克服fat16的這個弱點,微軟公司在win 97操作系統中推出了一種全新的磁碟分區格式fat32。
FAT即文件分配表,也即人們常說的FAT16。它是自DOS、Windows 3.x以來廣泛使用的硬碟分區格式,是傳統的16位文件系統。它有極好的兼容性,DOS、Windows 、Windows NT的各種版本,以及其他各類操作系統都支持FAT16。它相對速度快, CPU資源耗用少,所以至今仍是各類機器硬碟常用的分區格式。但是傳統FAT16的不支持長文件名,受到8+3,即8個字元的文件名加3個字元擴展名的限制。單個分區的最大尺寸為2GB,單個硬碟的最大容量一般不能超過8GB,所以如果硬碟容量超過8GB,8GB以上空間則因無法利用而浪費。當分區尺寸為2GB時,單"簇"(磁碟容量最小單位)尺寸為16KB,當文件數量巨大時會白白遺留許多無法利用的空間。在Windows NT中採用FAT格式,不能恢復已被刪除的文件。此外,這種文件系統因其兼容性好,來者不拒,就導致安全性差,易受病毒攻擊。
自Windows 95起微軟推出擴展文件分配表VFAT,它突破了8+3的限制,支持長文件名,最長可達255個字元,包括後綴,並且文件名中可包含多個空格或多個後綴,其它優缺點基本同FAT16。
2、fat32
FAT32是Windows 95 OSR2版開始推出兼容16位的32位文件系統。最大特點為使用較小的簇(每簇僅為4KB)分配文件單元,大大提高硬碟空間利用率,減少了浪費。單個硬碟的最大容量達到2TB(1TB=1024GB),為海量硬碟的使用者提供了方便。它支持長文件名,能很好運行 DOS、Windows 95-2000的各種版本,但系統開銷要大於FAT16。這種文件系統的安全性仍然較差;FAT32可以兼容FAT16,但無法訪問NTFS分區。對於像Word一類的編輯軟體產生的文本文件而言,在FAT32的機器上建立的文件只有以"純文本"格式存檔,才能在FAT16的電腦中打開,在Windows 95 OSR2、Windows 98中提供了FAT16向FAT32之間的單向轉換功能。
這種格式採用32位的文件分配表,使其對磁碟的管理能力大大增強,突破了fat16對每一個分區的容量只有2gb的限制,運用fat32的分區格式後,用戶可以將一個大硬碟定義成一個分區,而不必分為幾個分區使用,大大方便了對硬碟的管理工作。而且,fat32還具有一個最大的優點是:在一個不超過8gb的分區中,fat32分區格式的每個簇容量都固定為4kb,與fat16相比,可以大大地減少硬碟空間的浪費,提高了硬碟利用效率。
目前,支持這一磁碟分區格式的操作系統有win 97、win 98和win 2000/XP。但是,這種分區格式也有它的缺點,首先是採用fat32格式分區的磁碟,由於文件分配表的擴大,運行速度比採用fat16格式分區的硬碟要慢;另外,由於dos系統和某些早期的應用軟體不支持這種分區格式,所以採用這種分區格式後,就無法再使用老的dos操作系統和某些舊的應用軟體了。
3、ntfs
NTFS即是Windows NT的文件系統,它的最大優點是安全性和穩定性好,全32位內核的NTFS為磁碟目錄與文件提供安全設置,指定訪問許可權,難以受到病毒侵襲。NTFS自動記錄與文件的變動操作,具有文件修復能力,不需要運行磁碟碎片整理等磁碟工具。系統不易崩潰,出現錯誤能迅速修復。每簇僅為512個位元組,硬碟利用率最高。它主要缺點正由於其高築壁壘,閉關自守,從而導致兼容性差。Windows NT的NTFS可以訪問FAT文件系統,但是逆向造訪就會吃閉門羹,如在DOS下系統會顯示"Invalid drive specification"(無效驅動器指派)。在Windows NT 4.0中提供了FAT向NTFS的單向轉換功能;在最新的,具有NT內核的Windows 2000中,提供了FAT轉換為NTFS或FAFAT32的功能。這些轉換在進行之前應慎重考慮。
ntfs分區格式是一般電腦用戶感到陌生的,它是網路操作系統windows nt的硬碟分區格式,使用windows nt的用戶必須同這種分區格式打交道。其顯著的優點是安全性和穩定性極其出色,在使用中不易產生文件碎片,對硬碟的空間利用及軟體的運行速度都有好處。它能對用戶的操作進行記錄,通過對用戶許可權進行非常嚴格的限制,使每個用戶只能按照系統賦予的許可權進行操作,充分保護了網路系統與數據的安全。但是,目前支持這種分區格式的操作系統不多,除了windows nt外,win 2000 winxp win2003也支持這種硬碟分區格式。
linux文件系統分類: ext2:早期linux中常用的文件系統ext3:ext2的升級版,帶日誌功能ext4:ext3的升級版,大幅度改動RAMFS:內存文件系統,速度很快NFS:網路文件系統,由SUN發明,主要用於遠程文件共享MS-DOS:MS-DOS文件系統VFAT:Windows95/98 操作系統 採用的文件系統FAT:WindowsXP操作系統採用的文件系統NTFS:WindowsNT/XP操作系統採用的文件系統HPFS:OS/2操作系統採用的文件系統PROC:虛擬的進程文件系統ISO9660:大部分光碟所採用的文件系統ufsSun:OS所採用的文件系統NCPFS:Novell伺服器所採用的文件系統SMBFS:Samba的共享文件系統XFS:由SGI開發的先進的日誌文件系統,支持超大容量文件JFS:IBM的AIX使用的日誌文件系統ReiserFS:基於平衡樹結構的文件系統udf:可擦寫的數據光碟文件系統
4、虛擬文件系統VFS**linux支持的所有文件系統稱為邏輯文件系統,而linux在傳統的邏輯文件系統的基礎上增加料一個蓄念文件系統(VitualFileSystem,VFS)的介面層。虛擬文件系統(VFS)位於文件系統的最上層,管理各種邏輯文件系統,並可以屏蔽各種邏輯文件系統之間的差異,提供統一文件和設備的訪問介面。
5、文件的邏輯結構 文件的邏輯結構可分為兩大類:位元組流式的無結構文件和記錄式的有結構文件。由位元組流(位元組序列)組成的文件是一種無結構文件或流式文件,不考慮文件內部的邏輯結構,只是簡單地看作是一系列位元組的序列,便於在文件的任意位置添加內容。由記錄組成的文件稱為記錄式文件,記錄是這種文件類型的基本信息單位,記錄式文件通用於信息管理。
6、文件類型 普通文件:通常是流式文件目錄文件:用於表示和管理系統中的全部文件連接文件:用於不同目錄下文件的共享設備文件:包括塊設備文件和字元設備文件,塊設備文件表示磁碟文件、光碟等,字元設備文件按照字元操作終端、鍵盤等設備。管道(FIFO)文件:提供進程建通信的一種方式套接字(socket)文件:該文件類型與網路通信有關
7、文件結構: 包括索引節點和數據索引節點:又稱I節點,在文件系統結構中,包含有關相應文件的信息的一個記錄,這些信息包括文件許可權、文件名、文件大小、存放位置、建立日期等。文件系統中所有文件的索引節點保存在索引節點表中。數據:文件的實際內容。可以是空的,也可以非常大,並且擁有自己的結構。
8、ext2文件系統 ext2文件系統的數據塊大小一般為1024B、2048B或4096Bext2文件系統採用的索引節點(inode):索引節點採用了多重索引結構,主要體現在直接指針和3個間接指針。直接指針包含12個直接指針塊,它們直接指向包含文件數據的數據塊,緊接在後面的3個間接指針是為了適應文件的大小變化而設計的。
網路模型:
OSI七層模型
應用層
表示層
會話層
傳輸層
網路層
數據鏈路層
物理層
TCP/IP四層模型
應用層
傳輸層
IP層
網路介面層
③ 文件的邏輯結構和物理結構各有哪些基本形式
Log File物理結構
log block結構分為日誌頭段、日誌記錄、日誌尾部
Block Header,佔用12位元組
Data部分
Block tailer,佔用4位元組
Block Header
這個部分是每個Block的頭部,主要記錄的塊的信息
Block Number,表示這是第幾個block,佔用4位元組,是通過LSN計算得來的,佔用4位元組
Block data len,表示該block中有多少昌改跡位元組已經被使用殲備了,佔用2位元組
First Rec offet,表示該block中作為第一個新的mtr開始的偏移量,佔用2位元組
Checkpoint number,表示該log block最後被寫入時的檢查點的值,佔用4位元組