ニュース / News
ニュースリリース
ファイル転送プロトコルMMCFTPで転送速度231Gbpsを達成/長距離データ転送の世界記録を更新
大学共同利用機関法人情報・システム研究機構 国立情報学研究所(NII、所長:喜連川 優、東京都千代田区)はNIIが開発したファイル転送プロトコル「MMCFTP」(Massively Multi-Connection File Transfer Protocol)を用いた日本−米国間のデータ転送実験を行い、転送速度約231Gbpsで10テラバイト(TB)(*1)のデータを安定的に転送することに成功しました。NIIは昨年11月の日本-米国間のデータ転送実験で、それまでの長距離転送での「世界最高速度」として報告されていた80Gbpsを上回る転送速度148.7Gbpsを記録しています。今回の実験結果はこれを更新するものです。この実験結果は12月15日に大学ICT推進協議会2017年度年次大会(広島市)で発表します。
【実験結果】
実験は日米間に100Gbps3回線(合計300Gbps)の実験回線を特別に確保し、11月12日~17日に米デンバーで開催された国際会議「SC17」(*2)の会場から日本に向けてデータを転送する形で、「メモリーtoメモリー(M2M)」(*3)と呼ばれる条件で行いました。10TBを転送した時の実質転送速度(グッドプット)(*4)は、7回の試行で224.9Gbps(転送時間5分55秒)~231.3Gbps(転送時間5分45秒)でした(図1)。10TBは一般的な25GBのブルーレイディスクで400枚分、地上波デジタル放送の動画に換算すると約1200時間分に当たります。今回の実験では、この大容量データを米国から日本に6分未満で転送したことになります。
昨年11月の転送実験(*5)は国立研究開発法人 情報通信研究機構(NICT)と共同で行い、米ソルトレイク・シティから日本に向けてデータを転送する形で実施しました。100Gbps2回線(合計200Gbps)の実験回線を使用し、「メモリーtoメモリー」条件で10TBを転送した時の実質転送速度(グッドプット)は148.7Gbps(転送時間8分58秒)でした。
一つのTCPコネクションを用いる転送方式では回線数を増やしても1回線分の帯域しか使えないのに対して、多くのTCPコネクションを用いるMMCFTPは回線数分の帯域を使用できるという特徴を生かし、今回の実験では昨年11月の記録を上回る転送速度を達成しました。今回の記録は大陸間クラスの長距離データ転送として「世界最速」(1サーバー対1サーバーのデータ転送速度)と考えられます。
〈図1〉実験結果(帯域利用状況、「SC17」会場内ネットワーク機器、計測間隔 20秒、JP-NOC提供)
【MMCFTPのコネクション配分制御機能】
先端科学技術分野の国際協力による大量の実験データの転送に向けて開発されたMMCFTPは、ビッグデータを転送する際、同時に多くのTCPコネクションを使用することが特徴です。ネットワークの状況(遅延の大きさやパケットロス率)に応じてTCPコネクション数を動的に調整することで、安定した超高速データ転送を実現します。今回の実験では通信距離の異なる複数回線を同時使用しており、通常なら短距離の回線により多くのトラフィックが流れて輻輳(ふくそう)を起こし、通信品質および実質転送速度の低下を招きます。この課題をMMCFTPのコネクション配分制御機能で解決しました。
今回の実験では、NIIが構築・運用し、米ロサンゼルス経由で日米を100Gbpsで結ぶ学術情報ネットワーク「SINET5」と米シアトル経由の100Gbps 回線に加え、シンガポール経由の100Gbps 1回線を利用しました。シンガポール経由回線の東京−シンガポール間は、NICT、シンガポールの国立スーパーコンピューティングセンターと研究教育ネットワーク(SingAREN)の3者が本年11月に共同運用を開始した新設線を用いました。通信距離の指標となる回線の往復遅延時間は、シアトル経由125ミリ秒、ロサンゼルス経由122ミリ秒に対してシンガポール経由は288ミリ秒で、シンガポール経由回線は他の2回線に比べて2倍以上長いことになります。
MMCFTPでは、複数回線を使ってデータ転送を行う場合に、各回線に割り当てるTCPコネクション数の比率を指定することができます。今回の実験では、シアトル経由、ロサンゼルス経由、シンガポール経由の各回線に、1:1:4の比率でTCPコネクションを割り当てました。実際に使用したTCPコネクション数は、転送速度231.3Gbpsの場合、シアトル経由3713、ロサンゼルス経由3713、シンガポール経由14851、合計22277で比率は1:1:3.9997と指定通りでした。その結果、3回線の平均実質転送速度は、シアトル経由、ロサンゼルス経由、シンガポール経由の順に80.5Gbps、80.8Gbps、70.6Gbpsとなり、それぞれの回線での輻輳を抑制して全体で231.3Gbpsの転送速度を達成しました。
【実験ネットワークの構成】
今回の実験では、NICTが運用する研究開発テストベッドネットワーク「JGN」の実験回線環境をSC17会場内のNICTブースまで伸長し、NICTブースとJGN東京ノードにMMCFTP用の送信機と受信機(汎用サーバー)を設置しました。実験ネットワークは、SINET5、JGNに加え、米国の学術ネットワーク「Internet2」、SingAREN、米インディアナ大学が運用する「TransPAC」、米国の学術ネットワーク相互接続点「PacificWave」、日本の「WIDEプロジェクト」、SC17会場内ネットワーク「SCinet」の協力を得て構成しました(図2)。実験ネットワーク全体のコーディネーションはNICTが、ネットワーク機器の設定・チューニングは、KDDI株式会社を中心とするJP-NOCチームが行いました。
〈図2〉実験ネットワークの構成(*6)
【MMCFTP開発の背景と改良の取り組み】
素粒子物理学、核融合学、天文学などの先端科学技術分野では、国際協力によって構築された巨大な実験装置などで得られた大量の実験データが参加各国に転送されて分析されています。このため、100Gbps級の超高速ネットワークの整備が進められており、日本でもSINET5が国内全都道府県、および、米国との間を100Gbpsで結んでいます。こうしてネットワークが高速化する一方、転送プロトコルの制約から長距離通信時の転送速度が上がらないことが課題になっていました。
NIIはこうした課題解決に向けてMMCFTPを開発し、国内外での実験を通じてMMCFTPを改良して性能向上を図ってきました(表1)。実際にディスクからファイルを読み出して転送先のディスクに書き込む「ディスクto ディスク(D2D)」条件では、本年5月の実験で97Gbpsを記録しています。
時期 | 実験区間 | 往復遅延時間 | 実質転送速度 | |
---|---|---|---|---|
M2M | D2D | |||
2015年3月(*7) | 東京都小金井市−石川県能美市(往復) | 26ms | 84Gbps | - |
2016年8月(*8) | サンポール・レ・デュランス(フランス)−六ヶ所村 | 200ms | - | 7.9Gbps |
2016年11月 | ソルトレイク・シティ−東京 | 113ms/115ms | 150Gbps | - |
2017年5月(*9) | ロンドン−東京 | 240ms/242ms | 131Gbps | 97Gbps |
2017年11月 | デンバー−東京 | 122ms/125ms/288ms | 231Gbps | - |
〈表1〉MMCFTPの転送実験と結果
NIIはMMCFTPを先端科学技術発展のために提供し、今後も実験や実利用を通じて安定化と更なる高速化に取り組んでいきます。
(*2)送信機のメモリー上のデータを受信機のメモリーに書き込む性能を測る実験条件。ディスクからのデータ読み出し、および、ディスクへの書き込みを行わず、ディスク性能の制約を受けないため、通信プロトコルの性能測定に適している。
(*3)ハイパフォーマンスコンピューティング分野の国際会議・展示会。
(*4)再送やプロトコルヘッダー等、通信制御のためのオーバーヘッドを除いた、アプリケーション間で実際にやりとりしたいデータのみに関するスループット(単位時間あたりに伝送されるデータ量)。
(*5)昨年12月6日付のNIIニュースリリース「世界最速の長距離データ転送に成功/ファイル転送プロトコルMMCFTPにより転送速度150Gbpsを記録」参照。
(*6)「SC17」会場内のネットワーク機器は、Juniper Networks Inc./ジュニパーネットワークス株式会社の協力により貸与。
(*7)2015年5月13日付のNIIニュースリリース「世界最速クラスの長距離データ転送に成功/新プロトコルMMCFTPにより転送速度84Gbpsを記録」参照。
(*8)昨年9月27日付の量子科学技術研究開発機構プレスリリース「国際熱核融合実験炉イーターの建設サイトから日本への大量データの高速転送を実証/1万キロ離れた日本からのイーター遠隔実験実現に向けた基盤整備が大きく進展」参照。
(*9)本年6月2日付のNIIニュースリリース「日欧間で速度131Gbpsのデータ転送に成功」参照。
注目コンテンツ / SPECIAL
2024年度 要覧 SINETStream 事例紹介:トレーラー型動物施設 [徳島大学 バイオイノベーション研究所] ウェブサイト「軽井沢土曜懇話会アーカイブス」を公開 情報研シリーズ これからの「ソフトウェアづくり」との向き合い方 学術研究プラットフォーム紹介動画 教育機関DXシンポ 高等教育機関におけるセキュリティポリシー 情報・システム研究機構におけるLGBTQを尊重する基本理念 オープンサイエンスのためのデータ管理基盤ハンドブック 教育機関DXシンポ
アーカイブス コンピュータサイエンスパーク