MPEG-4中互動支援的研究

Abstract

MPEG-4標準採用以物件為基礎的影音表示模型。此模型具有超鍊結及互動性的能力，並且支援自然及合成的內容。一般咸認這個標準將成為未來多媒體應用的資訊編碼平台。MPEG-4符合了許多應用領域的需求，諸如在網際網路上傳送動態影像、多媒體廣播、以內容為基礎的影音資料庫的存取、遊戲、透過行動網路傳送進階影音通訊、電視購物以及遠端監控。MPEG-4與在這標準之前的其他同類型標準最大的不同的特色，就在於它所提供的這個影音表示模型。一個以物件為基礎的景，建構在具有時間與空間關係的各種物件群上，它允許和諧的整合多種不同類型的資訊，同時並存在一個景中。 本篇論文的目標是研究並且模擬MPEG-4 Systems標準。我們特別專注在MPEG-4標準中的互動性特色。本篇論文的工作可分成三部分。第一項工作是研究MPEG-4 Systems部分的標準文獻，特別是著重於景描述及它的互動性支援。其次是追蹤及編譯MPEG-4提供的編寫工具及播放程式。最後，使用MPEG-4的編寫工具來建構互動式的景來展現MPEG-4提供的互動能力。雖然MPEG-4標準組織提供了一些基本的工具用以對MPEG-4系統進行模擬，但這些工具與播放程式仍舊有許多缺漏及錯誤。此外，這些播放程式的原始碼非常龐大，其中任何一個程式都由超過十萬行的C++語言的程式碼所構成。我們努力的追蹤並修改這些原始碼，終於成功的將他們編譯完成。最終，我們也回饋了一些重要的程式錯誤報告給IM1這個團體。

The MPEG-4 standard adopts an object-based audiovisual representation model with hyperlinking and interaction capabilities and it supports both natural and synthetic content. It is expected that this standard will become the information coding playground for future multimedia applications. MPEG-4 meets the needs of application fields such as video on the Internet, multimedia broadcasting, content-based audiovisual database access, games, advanced audiovisual communications over mobile networks, tele-shopping, and remote monitoring and control. A major difference with previous audiovisual standards is the object-based audiovisual representation model that builds the foundation of MPEG-4. An object-based scene is built using individual objects that have relationships in space and time, allowing harmonious integration of different types of data into one scene. The goal of this thesis is to study and simulate the MPEG-4 Systems specifications. Particularly, we focus on the interactive features of the MPEG-4 standard. Three tasks are involved in this thesis. The first task is to study the MPEG-4 Systems specification, especially on scene description and its interactive support. Secondly, we trace and build the MPEG-4 authoring tools and players. The final task is using the MPEG-4 authoring tools to construct interactive scenes to demonstrate the MPEG-4 interactive capabilities. Although MPEG-4 standard committee provides some basic tools for simulating the MPEG-4 systems, these tools and players are not bugs-free. Moreover, the source codes of players are very huge, each of them consists of more than 100,000 lines of C++ code. We struggle to trace and modify these source codes and finally using them to construct demonstration examples successfully at the end. In the meanwhile, we also report several vital bugs in the standard software to the IM1 group. 中文摘要 i Abstract ii 致謝 iii Table of Contents iv List of Figures vii List of Tables viii 1 Introduction 1 2 MPEG-4 Standard 3 2.1 Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.2 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 DMIF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.4 Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5 Visual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.6 Audio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3 MPEG-4 Systems 12 3.1 Terminologies of MPEG-4 Systems . . . . . . . . . . . . . . . . . . . 13 3.1.1 The Delivery layer . . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.2 DMIF Application Interface . . . . . . . . . . . . . . . . . . . 13 3.1.3 SL-Packetized Stream . . . . . . . . . . . . . . . . . . . . . . 13 3.1.4 The Sync Layer . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.1.5 Access Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.1.6 Decoding Bu?er . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.1.7 Elementary Streams . . . . . . . . . . . . . . . . . . . . . . . 15 3.1.8 Elementary Streams Interface . . . . . . . . . . . . . . . . . . 16 3.1.9 Decoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.1.10 Composition Memory . . . . . . . . . . . . . . . . . . . . . . . 16 3.1.11 Composition and Rendering . . . . . . . . . . . . . . . . . . . 16 3.2 Systems Decoder Model . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 Timing Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.2.2 Bu?er Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.3 Synchronization of Elementary Streams . . . . . . . . . . . . . . . . . 18 3.4 Multiplexing of Elementary Streams . . . . . . . . . . . . . . . . . . . 19 3.4.1 Flex tool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.5 Scene Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.6 Object Description Framework . . . . . . . . . . . . . . . . . . . . . . 23 3.7 Syntactic Description Language . . . . . . . . . . . . . . . . . . . . . 24 3.8 Pro?les and Levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4 BIFS Support for Client-side Interaction 28 4.1 BIFS comparison with VRML97 . . . . . . . . . . . . . . . . . . . . . 29 4.2 Event Model of BIFS . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4.2.1 Sensor nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.2.2 Interpolation nodes . . . . . . . . . . . . . . . . . . . . . . . . 32 4.2.3 Route semantics . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.2.4 Condition node . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.2.5 Script node . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.3 Scripting Language { JavaScript . . . . . . . . . . . . . . . . . . . . . 35 4.4 Parametric system of Scene update . . . . . . . . . . . . . . . . . . . 36 4.4.1 BIFS-Command . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.4.2 BIFS-Anim . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.5 MPEG-J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 5 Analyzing MPEG-4 Core code and authoring tools 40 5.1 Core . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 5.1.1 Core classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 5.1.2 Scene classes . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.1.3 ZTL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.2 BIFSEnc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.2.1 Input File Syntax . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.3 TRIF Multiplexer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 5.3.1 Initial ObjectionDescriptor . . . . . . . . . . . . . . . . . . . . 52 5.3.2 Script ?le used by Mux . . . . . . . . . . . . . . . . . . . . . . 53 5.3.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.4 MP4 ?le producer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.5 MPEG-4 Developer Studio . . . . . . . . . . . . . . . . . . . . . . . . 55 6 Building Interactive Scene Examples 58 6.1 IM1 console Player . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 6.2 IM1-2D player . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 6.2.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 59 6.2.2 Nodes supported by IM1-2D player . . . . . . . . . . . . . . . 61 6.3 IM1-3D player . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 6.3.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 63 6.4 Pact player . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 6.4.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 65 6.4.2 Node Support by Pact Player . . . . . . . . . . . . . . . . . . 69 6.5 Tricks in building IM1 software . . . . . . . . . . . . . . . . . . . . . 70 6.6 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.6.1 Valuator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.6.2 Sphere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 6.6.3 Changing Shape . . . . . . . . . . . . . . . . . . . . . . . . . . 79 7 Conclusions and Future works 81 Bibliography 85