WEKO3
アイテム
MegaScriptにおける大規模ワークフローの実行効率化手法の提案と評価
http://hdl.handle.net/10076/13004
http://hdl.handle.net/10076/13004a7db06cc-9fd3-4532-ac35-6fff91360a35
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
2011M264.pdf (945.1 kB)
|
|
| Item type | 学位論文 / Thesis or Dissertation(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2013-06-11 | |||||||
| タイトル | ||||||||
| タイトル | MegaScriptにおける大規模ワークフローの実行効率化手法の提案と評価 | |||||||
| 言語 | ja | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_46ec | |||||||
| 資源タイプ | thesis | |||||||
| 著者 |
三田, 明宏
× 三田, 明宏
|
|||||||
| 抄録 | ||||||||
| 内容記述タイプ | Abstract | |||||||
| 内容記述 | 我々は，ワークフロー型の並列プログラミング言語MegaScript を開発している．MegaScript はオブジェクト指向言語であり，個々のタスクや通信路であるストリームなどをオブジェクトで表す．このため柔軟な記述が可能である一方，タスク数に応じたオブジェクトが生成されるため，実行可能なワークフローの規模がマスターホストのメモリ量に制約される問題がある．そこで，タスクの配列の縮約表現を用いて等価なワークフローで表すことで，大規模ワークフローの情報を少ないメモリ量で保持できる手法を提案している．しかし，上位層と下位層の並列性を持つ階層型のワークフローでは，タスクの配列の縮約手法では十分な効果が期待できない．この問題を解決するために，階層構造の縮約手法を提案している．しかし，MegaScript 処理系のための設計や実装が行われていない．そこで，縮約手法の詳細な検討を行い設計，実装及び評価を行った．階層構造の縮約手法の実現のために，新たにAPI クラスTaskNet を用意した．TaskNet はワークフローの一部であるサブワークフローを表すものである．サブワークフローの繰り返しはこのクラスの配列で表現できる．また，この配列はタスク配列の縮約と同様の手法で縮約できる．この手法を用いることで，階層型のワークフローでも少ないメモリ使用量で表現できる．マスターホスト上におけるメモリ量の制約は縮約手法を用いることで解決できるが，スレーブホスト上で縮約表現を効果的に利用できない問題がある．従来のMegaScript 処理系は一度にすべてのタスクプロセスを生成しタスク間通信を行っている．そのため，タスク間の通信を行う前に縮約されているオブジェクトをすべて展開しなければならない．大量のオブジェクトが生成されることにより，MegaScript 処理系のメモリ使用量が多くなる．また，同時に大量のタスクプロセスが実行されると，各プロセスに十分なメモリ量を割り当てることが難しくなる．縮約されたタスク群から必要なタスクのみを部分展開してプロセスを生成し，タスク間通信を行う手法を提案し，実装した．性能評価の結果，マスターホストで消費されるメモリ量は従来では100万タスクで100?200MB 程度必要であったが，完全縮約表現が可能であれば2?3KB 程度に削減することができた．また，提案する通信機構は同時に実行されるプロセス数の違いのため，MegaScrtipt の実行時間が増加した．しかし，従来手法では１万個のタスクを生成すると正常に実行できなかったが，提案手法では１万個もしくはそれ以上のタスクを生成しても正常に実行できた．提案手法はタスクプロセス生成のときに必要になるオブジェクトを縮約状態から部分展開して生成するため，少ないメモリ量でオブジェクトが管理できる．提案手法によって，スレーブホストのメモリ使用量を削減しつつ，大規模ワークフローの実行が可能になった。 | |||||||
| 抄録 | ||||||||
| 内容記述タイプ | Abstract | |||||||
| 内容記述 | We are developing a parallel script programming language MegaScript for large-scale workflows. MegaScript is an object-oriented programming language and each task and communication channel called stream is represented as an object. Thus, the executions of large-scale workflows are limited by the memory size of the master host. Therefore, we have proposed a scheme largely reducing the number of objects using array contraction. Although contraction of TaskArray largely reduces objects created for a task array, the contraction of each task array may not be so effective in workflows with hierarchical parallelism. Therefore, we have proposed a scheme to contract such workflows. However, this method is not implemented in MegaScript. This paper presents the design and evaluation of contraction method in MegaScript. We provide a new API class TaskNet for brief description of subwrokflows. Users can also create a group of subworkflows using array of TaskNet. Applying contraction for the array of TaskNet, the hierarchical workflows can be contracted. Using this method, workflows are created efficiently and required a small amount of memory. Using contraction method, memory size problem has been solved on the master host. Although, contraction methods can not be used effectively on the slave hosts. The current implementation of MegaScript runtime creates all task processes at the beginning of a workflow execution. Thus all contracted task arrays must be expanded. Therefore, we propose a new design of MegaScript runtime which enables workflow execution with progressive creation of task processes. This design can minimize the expansion of contracted arrays and efficient workflow execution is possible. As the result of evaluation using contraction method, the required memory size was reduced from 100?200MB to 2?3MB on the master host. Although proposed method increased execution time, large-workflow which can not be executed in existing MegaScript runtime can be worked well. | |||||||
| 内容記述 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 三重大学大学院工学研究科博士前期課程情報工学専攻 | |||||||
| 内容記述 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 3, 36 | |||||||
| 書誌情報 |
発行日 2011-01-01 |
|||||||
| フォーマット | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | application/pdf | |||||||
| 著者版フラグ | ||||||||
| 出版タイプ | VoR | |||||||
| 出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 | |||||||
| 出版者 | ||||||||
| 出版者 | 三重大学 | |||||||
| 修士論文指導教員 | ||||||||
| 寄与者識別子Scheme | WEKO | |||||||
| 寄与者識別子 | 23157 | |||||||
| 姓名 | 大野, 和彦 | |||||||
| 言語 | ja | |||||||
| 資源タイプ（三重大） | ||||||||
| 値 | Master's Thesis / 修士論文 | |||||||
