Cloud-Pararell-ARS-Executer

クラウド動作並列ARS解析システム

概要

NemesisはAWS ECSのコンテナ上で動作する並列解析システムです。コンテナクラスタ上で解析を並列で実行し、長期にわたる実験データであっても解析結果を高速で得ることが可能です。このシステムはAWS上での動作を想定しており、AWS ECS, AWS S3, AWS Lambda, AWS DynamoDBを用いています。いずれもクラウド上で拡張可能な資源であり、システム全体を通して高トラフィックに耐えうる構成となっています。このリポジトリ内の各フォルダの内容は以下の通りです。

• nemesis-executor : ECSコンテナのソースファイルです。C++で記述されており、Dockerコンテナの構成ファイルを含みます。
• nemesis-facade : ECSコンテナを操作するAPI, その実体のLambda関数のソースファイルです。Javascript（Node.js）で記述されており、AWS SAM CLIによるローカル実行環境が構築されています。
• nemesis-front : ウェブブラウザ上で動作するNemesisのWebクライアントです。React.jsを用いて構築しています。S3に対する解析対象ファイルのアップロード、nemesis-facadeを用いた解析の実行や結果の確認、解析結果のファイルのダウンロードが行えます。

背景

研究室で使う独自の信号処理アルゴリズムを膨大な量の実験データに適用させるのにはとても長い時間がかかります。このアルゴリズムは実験データのうち部分毎に分解させて適用させることが可能なので、クラウド上で並列化して実行させることにより高速化できないかと考えました。

利用

本システムは研究室内での利用を想定しており一般の利用を想定していませんが、別のアルゴリズムで似たようなことを行うのに本システムの構成は参考になるかも知れません。

構成

1. nemesis-executer（演算実行器）
2. nemesis-facade（クラスタ管理サーバ）
3. nemesis-front（ウェブクライアント）