平行I/O系統評估環境

Abstract

平行I/O子系統是高速平行計算平台中一個重要的部份。目前在不同 的計算機架構 下已有多種平行檔案系統的設計，如工作站群組環境下 的PIOUS、Zebra，多處理機環境下的Vesta、Intel CFS。然而，卻一直沒 有一個可以比較不同平行I/O系統之設計考量的效能測試程式。本論文的 主要目的是設計一個平行I/O系統評估環境，以電腦模擬的方式，來評估 平行I/O架構中檔案分割、平行介面、資料快取等設計議題對系統效能的 影響。此模擬器的設計採取參數化及模組化的方式來進行，一方面可提供 使用者方便的調換各種不同的硬體及系統參數，以模擬在各種不同的系統 架構下系統產能。另一方面也由於模組化設計的關係，可以快速的增加或 抽換某一模組以模擬其他不同的實驗平台。我們的平行I/O系統評估環境 可以作為新系統設計平台實作之前的一個評估工具。 我們已經完成 了這一個平行I/O系統模擬器。另外，我們在實驗室中設計了一個實驗性 質的平行檔案系統，用以驗證與測試模擬器的正確性，並應用此一平行I/ O系統模擬器，分析檔案分割及平行存取的設計議題。在我們的模擬中發 現，檔案分割確實增加了I/O的頻寬，然而過多的伺服器參與檔案存取反 而會因為網路壅塞及大量的額外負擔而使系統的效能降低。在平行存取方 面，不同存取模式會有不同的效能變化。在independent的存取模式下， 系統效能由於多個處理程序同時參與存取而提昇，但是當處理程序多到一 定的數目後，由於系統中大量訊息信號及網路競爭的原因使得系統效能無 法再提昇，反而有下降的趨勢。在global的存取模式下，系統效能在兩個 處理程序時的表現最佳。當更多的處理程序參與讀取時，由於處理程序間 大量同步協調的額外負擔使得效能降低。由模擬的結果，我們認為高性能 的平行I/O子系統，必須有能提供高資料頻寬的平行硬體架構與有效率的 平行檔案系統相互配合。 Parallel I/O subsystem is the key component of high-speed parallel computingplatforms. Currently, there are many parallel file systems (PFS) available among numbers of computer architectures, such as PIOUS, Zebra, Vesta, IntelCFS,etc. However, there is no common performance test-bed that compare thedesign issues of parallel I/O system. Our goal is to build an evaluationenvironment for parallel I/O system. We evaluate the performance of parallelfile systems by computer simulation. The design of the simulator is parameterized and modularized. It enables PFS designers to change the systemparameters and modules easily. The parallel I/O system evaluation environmentcan be used to verify the design issues before the a real parallel file systemis implemented. We have completed the implementation of the parallel I/O system simulator.Moreover, we design a MPI-IO based parallel file system to verify and testthe simulator in our laboratory. We use the simulator to analyzed the designissues of file striping and parallel access. Our simulation results show thatthe I/O bandwidth increases when the file is striped and stored among severalservers. However, more servers participate in file access will decrease theoverall performance because the network overload and the processing overhead.Simulation results also show that different access modes have the differentsystem performance. In the Independent access mode, performance increases upto some maximum as more clients participate in the file access. Performancebegins to decrease as the number of clients is further increased due to thenetwork contention. In the global access mode, we gain the best performancewhen there are two clients. Our simulation results show that a highperformance parallel I/O subsystem must have a parallel architecture withhigh data bandwidth and an efficient parallel file system.