MPFS 檔案系統的設計與製作

Abstract

在計算能力與 I/O 速度差距更大的平行系統中﹐I/O 子系統成為電 腦系統的效能提昇主要的障礙。為了提高 I/O 子系統的效能﹐許多平行 系統開始朝製作平行檔案系統的方向發展﹐在平行檔案系統中﹐檔案以資 料分割的方式分佈於多個資料伺服器上﹐使用者程式可以利用平行存取來 提高 I/O 頻寬﹐增加 I/O 效能﹐但是現有的平行檔案系統大多是在專屬 的機器平台上製作。為了解決平行環境下發展的程式移植性不佳､開發成 本高的問題﹐四十幾個單位組織聯合制訂了MPI(Message Passing Interface)標準﹐我們製作的 MPFS 平行檔案系統﹐架構在可移植性高的 MPI 環境上﹐根據 MPI-IO 規格製作使用者程式庫﹐提供程式設計者使用 容易且高效能的存取函式。MPFS 除了有高度的移植性之外﹐系統並允許 使用者彈性定義檔案的邏輯分割﹐指定檔案分佈方式與其他系統功能的設 定﹐可以讓使用者依照應用程式的行為調整出最佳的系統設定。目前 MPFS 檔案系統的製作以工作站群組為實驗平台﹐以 100Mbits/sec Fast Ethernet相連結﹐已經可以移植到FreeBSD及SunOS的作業系統上. This paper presents the design of a MPI (Message Passing Interface) - basedparallel file system,MPFS. MPI-IO is an extension of MPI to support flexible logical file partition and physical file organization, as well as a rich set of file access functions. MPFS enables users to specify both logical file partition among userprocesses and physical file data layout across data servers. Present implementation includes full support of file data distribution, asynchronous I/O, shared file pointers,collective I/O operations, and limited support of data layout hints. Moreover, MPFSachieves portability by developing a user library that conforms a generic UNIX interface. However, MPFS does not support FORTRAN interface, error handling andprofiling in MPI-IO specification. MPFS has been implemented on a workstationcluster connected by Fast Ethernet. The performance measurements of MPFS showthat the message passing overhead is minimal but the performance is limited by the bandwidth of Fast Ethernet.