High Precision Measurement of Network Devices

High Precision Performance Measurement of Network

Device

発表者

:

澁田　拓也 学部

:

総合政策学部

03/18/2025 1

本研究の目的

本研究は既存のネットワーク機器の性能計 測手法では成し得なかった高精度で正確、

且つ柔軟な計測手法を

FPGA

を用いる事に より示すことである

そのため、

–

校正により

FPGA

を用いた計測手法の精度と正確

–

さ実験を行いネットワーク機器の性能や特性を明ら

かにすることにより

FPGA

による計測手法の柔軟

を示した性

03/18/2025 2

ネットワーク機器の性能計測の必要性

•

遅延がサービスの性能とユーザーエクスペ リエンスを低下させる

•

ネットワーク機器の性能を計測して運用 構築に用いるネットワーク機器の性能を 把握する必要がある

03/18/2025 3

•

ネットワーク機器の性能や特性

–

機器やポートの構成により生じる性能差

–

内部構成による機器の特性

•

例えば：

– Ethernet

スイッチングなら、家庭用ネットワーク

機器の方が業務用ネットワーク機器より速い時が

–

あるポートによって同じ機器でも性能が違う

–

ネットワーク機器によってバッファリング機構の 違いで大きな影響が出る

•

これらは：

–

遅延

–

スループット

の計測により明らかに出来る

03/18/2025 4

具体的には

ネットワーク機器の性能の計測手法

•

計測器のポートを計測対象のポートに ケーブ

ルを用いて接続して計測フレームを送受信 し：

–

送受信時のタイムスタンプから遅延

–

秒間受信フレーム数からスループット

03/18/2025 5

03/18/2025 5

計測器

計測手法

03/18/2025 6

FPGA

実装

8ns

分解能

(

理論的に

)

論理構成の変更 が可能

安価

•

オンボードクロッ ク

• HDL

言語により論理 回路の挙動が変更可 能

項目＼実装 ソフトウェア実装 ハードウェア実装

精度・正確さ

1ms

分解能

±

数百

μs

100ns

分解能　

±100ns

　

*

柔軟性 計測の仕方、用いる パケットは変更可能

仕様変更が不可能

値段 安価 高価

要因

•

プリエンプション

•

割り込み

• I/O

待ち

•

専有

• ASIC

による実装

•

内部構成がブラッ クボックス

• http://www.toyo.co.jp/file/pdf/spirent/smartbits/pdf/xdmodule.pdf

本研究での FPGA による計測 *

動作環境：

– PCI

インターフェース搭載

FPGA

ボード

– 125MHz

駆動ハードウェアクロック

計測可能なプロトコル：

– Gitabit Ethernet – IPv4

計測可能な項目は

2

ポート間の一方への：

– 8ns(1 byte)

単位を分解能とした遅延

*

ネットワーク機器では数マイクロ秒から数百マイクロ秒の遅

–

延秒間受信フレーム数

(pps) –

秒間受信ペイロード

(byte)

03/18/2025 7

*

本研究で用いた

FPGA

実装は慶應義塾大学村井研究室に所属する松谷健史による 物

#

　

http://www.itmedia.co.jp/enterprise/articles/0803/24/news008_3.html　

03/18/2025 8

FPGA

による計測器の実装

計測器内部で発生する遅延

:

　 α ns

ケーブル長による遅延

L (m) × m (ns/m) :

•

計測器で発生する遅延：

– PHY

チップの信号処理による遅延

–

計測器内部の論理回路により発生する遅延

•

ケーブルを信号が伝達する事により発生する遅延

•

計測の精度と正確さ

–

計測結果にどれほどのバラつきがあるのか

計測器の校正の必要性

校正結果

•

一つのケーブル長ごとに

2

つの

8ns

の隔たりを持つ計測結果 に集中

•

_{計測器内部で}

459.913

_{ナノ秒の遅延が発生}

(57.5byte

_分の遅 延

)

– ±0.2453(0.05335%)

の漸近的標準誤差

• UTP

_ケーブル

1

_{メートルにつき}

4.72284

_{ナノ秒の遅延が発生}

– ±0.01907(0.4039%)

の漸近的標準誤差

以降の実験では、計測器内部の遅延は

460

ナノ秒、

ケーブル

1

メートルにつき

4.7

ナノと考慮する

03/18/2025 9

計測器内部の遅延：

460

ナノ 秒

ケーブル

1m

につき：

4.7

ナノ秒の 遅延

遅延

(

ナ ノ

秒

)

ケーブル長

(

メートル

)

機器毎の転送性能の違い

03/18/2025

•

家庭用ネットワーク機器のほうが内部 ハードウェア構成が簡潔な分、低遅延で 転送出来る可能性：

–

バッファの冗長性

–

内部

ASIC

での

IP

プロトコルの存在

– CAM

のフレームの宛先アドレスの保有可能数

•

ポート

1

からポート

2

への転送性能をそ れぞれの機器で計測、比較

10

L2 スイッチングの性能

03/18/2025 11

0.802us 1.806us 3.546us 1.967us 4.615us 5.145us

フレームサイズ

(

バイト

)

遅延

(

マ イ ク ロ 秒

)

L2 スイッチングの性能

03/18/2025 12

遅延

(

マ イ ク ロ 秒

)

フレームサイズ

(

バイト

)

＼計測対象

特徴・性能＼

CentreCOM

GS908E LSW4-GT

-8EP LSW3-GT

-5EP AX3630S

-24T C3750E

-24PD C2960G -8TC-L

メーカー

Allied

Telesis BUFFALO BUFFALO

^AlaxalA

CISCO CISCO

販売開始年

2006 2009 2007 2005 2007 2007

用途 家庭用 家庭用 家庭用 業務用 業務用 業務用

遅延増加[ns/byte]

7.99968 7.98185 8.00037 7.9901 9.00516 9.51096

最短転送遅延

[ns]

801.806 1,805.71 1,967.21 3,546.15 4,614.61 5,145.39

最大転送フ レームサイズ

[byte]*

9,887 16,000 16,367# 9,216 9,198 9,000

03/18/2025 13

•

家庭用ネットワーク機器の方が低遅延で転送可 能な場合がある

•

機器によっては、フレームサイズの増加に伴い バッファリングによる遅延がフレームサイズ分 以上増加する

*

最大転送フレームサイズは

1byte

ずつ計測フレームのサイズを増加させる事により確 認

#

カタログスペックでは、最大転送フレームサイズが

16,000

までのみ対応 と記載

http://buffalo.jp/products/catalog/network/lsw3-gt-5ep/index.html?p=spec

計測器

ポート毎の同じ機器の性能の違い

03/18/2025

同じネットワーク機器でもポートが内部で異なって いる

ASIC

が異なり、転送性能が異なる可能性

•

ポート

1

へ計測フレームを送信

•

ポート

2

、

4

、

8

への転送性能をそれぞれ計測

14

LSW4-GT-8EP のポート毎の遅延

03/18/2025 15

遅延

(

マ イ ク ロ 秒

)

フレームサイズ

(

バイト

)

ポート

8

のみ他の

2

ポートと比べて、

0.3

マイクロ秒程転送時に発生する 遅延が大きかった。

通信に用いられるポートによっては 転送速度が異なるがありうる事を 示している。

LSW4-GT-8EP のポート毎の遅延

03/18/2025 16

遅延

(

マ イ ク ロ 秒

)

フレームサイズ

(

バイト

)

LSW4-GT-8EP

のポート毎のフレームドロップレート

03/18/2025 17

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

フレームサイズ

(

バイト

)

ポート８はフレームサ イズを

7001

バイトに変 更してからフレームド ロップレートが

85%

ほ どに急激に上昇。

ポート

1-8

間でワイ

ヤーレートでの転送が

行えるのはフレームサ イズ

7000 までである。

*

フレームサイズ

13515

バイトに変 更されてからフ レームドロップ レートが

95% 程 まで急激に増加。

ポート

2,4

ではフ レームサイズ

13514

バイトまで ワイヤーレート での転送が可能。

ポート８を

10240

バイトフレームで 計測している時に フレームドロップ レートが

50% 程ま

でに減少。

原因は不明。

*

カタログスペックでは

9216byte

までワイヤーレートでの転送に対応と記

http://manual.buffalo.jp/buf-doc/35010554-1.pdf

載：

CentreCOM GS908E のポート毎の遅延

03/18/2025 18

遅延

(

マ イ ク ロ 秒

)

フレームサイズ

(

バイト

)

LSW4-GT-8EP

のデータ と異なり、ポート毎の 有意な性能差は検出さ

れず

ポート毎の同じ機器の性能の違 い

•

ネットワーク機器によっては、通信に用い られるポートの違いにより、遅延とワイ ヤーレートを達成出来るフレームサイズ が異なり、転送性能が異なる事が示され た

03/18/2025 19

バッファリング機構 による転送性能の違い

ネットワーク機器毎にバッファリング機構 の特性によって転送性能に影響が現れる可

•

能性計測対象：

– AlaxalA AX3630S-24T

– CISCO Catalyst3750G-24PS-E

•

計測手法

– IPv4

–

一つのフレームサイズ毎に

1

秒おきに

200

回 遅延とスループットの計測結果を取得

–

フレームサイズ変更時に送信停止期間を設定

03/18/2025 20

バッファリング時の挙動の差異

03/18/2025 21

遅延

(

マ イ ク ロ 秒

)

フレームサイズ

(

バイト

)

大きく変動遅延が

AX3630S-24T 　 64byte

03/18/2025 22

遅延

(

マ イ ク ロ 秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

5.6

マイクロ秒の レートで遅延が低下

計測開始からの経過時間

(

秒

)

25%

程のフレーム ドロップレートが

遅延が急増発生

AX3630S-24T の特性に関する考察

転送処理が一時的に滞ると共に遅延が急増 している事から、バッファにフレームが 溜まり、それ以降の遅延の低下はバッ

ファに溜まったフレームの削減によるもの と思われる

具体的削減方法：

• IEEE802.3ab

に定義されている最短

IFG

値

である

12byte

以下の値でのフレームの転

•

送本実装では明らかに出来ないが、受信す るフレームの取捨選択

03/18/2025 23

Catalyst3750G-24PS 　 64byte

03/18/2025 24

遅延

(

マ イ ク ロ 秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

11.73

マイクロ秒

のレートで遅延が増 加

計測開始からの経過時間

(

秒

)

フレームドロップレート

0.0012%

とは、

0.0013%

で推移

理論的最大転送可能フ レーム数に非対応

Catalyst3750G-24PS の特性の考察

• 0.0013%

程のフレームドロップレートが継

続

•

計測フレーム送信開始と共に毎秒

11.75

マ イクロ秒のレートで遅延が増加し、フ

レームサイズ毎に異なる値で遅延が横ば いになる

ワイヤーレートでの転送処理を行えず、 バッファにフレームが限界までたまり続 けた結果、高い遅延での転送処理を行 なっているものと思われる

03/18/2025 25

バッファリング機構による転送 性能の違いに対する実験結果

•

計測により、ネットワーク機器によりバッ ファリング処理の特性が異なる事が明ら かとなった

•

バッファリング処理の特性がネットワー ク機器の転送性能に大きな影響を及ぼす 事が明らかとなった

03/18/2025 26

実験のまとめ

•

機器やポートの構成によって性能が異なる

– Ethernet

プロトコルによるスイッチングでは、家

庭用ネットワーク機器の方が低遅延な場合がある

–

同じネットワーク機器でもポートにより性能が変

•

内部構成による機器の特性わる

–

ネットワーク機器によっては、バッファリングの 処理の行い方に遅延が大きく影響を受ける

FPGA

を用いることによりネットワーク機器の 様々な性能や特性を明らかにする事が出来た

03/18/2025 27

今後の課題

• IPv6 での計測

• 受信したフレームの順序、ドロップ されたフレームの表示

• MPLS や LISP(Locator/ID Separation

Protocol) 等のプロトコルの転送性能

の計測

• ソフトウェアルータの性能の計測

03/18/2025 28

結論

• FPGA

はネットワーク機器の性能計測にお いて高精度で正確、かつ柔軟な計測手法 たりえる

–

機器やポートの構成によって性能が異なる

–

内部構成による機器の特性

• FPGA

を用いた計測器は、実装によっては ネットワーク技術者のニーズを満たす事 が期待される

03/18/2025 29

03/18/2025 30

03/18/2025 31

FPGA による計測手法の優位性

FPGA

は、製造後に

HDL

言語を用いて回路構 成を指定し変更する事が可能な集積回路

•

アクセシビリティが高い

–

数万円で購入可能

•

高精度で正確な計測が可能

– 125MHz

のハードウェアクロックサイクルに合

わせて計測が可能

•

高い柔軟性

–

ジャンボフレームでも、対応可能

–

最短

IFG

以下での計測も可能

03/18/2025 32

＼計測対象 項目＼

CentreCOM

GS908E LSW4-GT

-8EP LSW3-GT

-5EP AX3630S

-24T C3750E

-24PD C2960G -8TC-L

メーカー

Allied

Telesis BUFFALO BUFFALO

^AlaxalA

CISCO CISCO

販売開始年

2006 2009 2007 2005 2007 2007

用途 家庭用 家庭用 家庭用 業務用 業務用 業務用

遅延増加[ns/byte]

7.99968 7.98185 8.00037 7.9901 9.00516 9.51096

切片[ns]

801.806 1,805.71 1,967.21 3,546.15 4,614.61 5,145.39

最大フレーム サイズ [byte]

9,887 16,000 16,367 9,216 9,198 9,000

遅延増加の漸 近的標準誤差

[ns/byte]

0.00002591 0.0007018 0.0002116 0.001006 0.0008259 0.001563

遅延増加の漸 近的標準誤差

[%]

0.0003239 0.008792 0.002645 0.01258 0.009172 0.01643

切片に対する 漸近的標準誤

差 [ns]

0.1315 4.402 1.93 4.44 3.644 6.838

切片に対する 漸近的標準誤

差 [%]

0.0164 0.2438 0.0981 0.1252 0.07897 0.1329

03/18/2025 33

ポートごとの転送性能の差異

•

遅延

–

ポート

2

　

1787ns+8(ns/byte)*Frame Size(byte) –

ポート

4

　

1730ns+8(ns/byte)*Frame Size(byte) –

ポート

8

　

2058ns+8(ns/byte)*Frame Size(byte)

•

ワイヤーレート転送可能サイズの閾値

–

ポート

2

　

13514byte –

ポート

4

　

13514byte –

ポート

8

　

7000byte

03/18/2025 34

AlaxalA 　 v4 　 64byte 時の計測結 果

ipv4:seq: 169 size: 64 IFG: 12 sent: 1488095 received: 1488095 bytes/s: 95238212 delay: 562 ipv4:seq: 170 size: 64 IFG: 12 sent: 1488095 received: 1481747 bytes/s: 94831808 delay: 4955 ipv4:seq: 171 size: 64 IFG: 12 sent: 1488096 received: 1139812 bytes/s: 72952368 delay: 4401 ipv4:seq: 172 size: 64 IFG: 12 sent: 1488095 received: 1488105 bytes/s: 95238656 delay: 3646 ipv4:seq: 173 size: 64 IFG: 12 sent: 1488095 received: 1488103 bytes/s: 95238660 delay: 2978 ipv4:seq: 174 size: 64 IFG: 12 sent: 1488095 received: 1488104 bytes/s: 95238656 delay: 2223 ipv4:seq: 175 size: 64 IFG: 12 sent: 1488096 received: 1488103 bytes/s: 95238660 delay: 1555 ipv4:seq: 176 size: 64 IFG: 12 sent: 1488095 received: 1488105 bytes/s: 95238656 delay: 798 ipv4:seq: 177 size: 64 IFG: 12 sent: 1488095 received: 1488102 bytes/s: 95238660 delay: 558 ipv4:seq: 178 size: 64 IFG: 12 sent: 1488095 received: 1488095 bytes/s: 95238080 delay: 558

　

1488095×(64+8+12) = 124,999,980 1488105×(64+8+12) = 125,000,820

(1488096−1139812) × (64+12+8) = 29,255,856

03/18/2025 35

AX3630S-24T 　 512byte

03/18/2025 36

遅延

(

マ イ ク ロ 秒

)

計測時

(

秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

5.68

マイクロ秒 のレートで遅延が低

下

AX3630S-24T 　 2048byte

03/18/2025 37

遅延

(

マ イ ク ロ 秒

)

計測時

(

秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

5.68

マイクロ秒 のレートで遅延が低

下

AX3630S-24T 　 8192byte

03/18/2025 38

遅延

(

マ イ ク ロ 秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

5.71

マイクロ秒 のレートで遅延が低

下

計測開始からの経過時間

(

秒

)

Catalyst3750G-24PS 　 128byte

03/18/2025 39

遅延

(

マ イ ク ロ 秒

)

計測時

(

秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

11.79

マイクロ秒

のレートで遅延が増 加

Catalyst3750G-24PS 　 256byte

03/18/2025 40

遅延

(

マ イ ク ロ 秒

)

計測時

(

秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

11.76

マイクロ秒

のレートで遅延が増 加

Catalyst3750G-24PS 　 512byte

03/18/2025 41

遅延

(

マ イ ク ロ 秒

)

計測時

(

秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

11.77

マイクロ秒

のレートで遅延が増 加

Catalyst3750G-24PS 　 1024byte

03/18/2025 42

遅延

(

マ イ ク ロ 秒

)

計測時

(

秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

11.78

マイクロ秒

のレートで遅延が増 加

Catalyst3750G-24PS 　 1518byte

03/18/2025 43

遅延

(

マ イ ク ロ 秒

)

計測時

(

秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

11.77

マイクロ秒

のレートで遅延が増 加

Catalyst3750G-24PS 　 1998byte

03/18/2025 44

遅延

(

マ イ ク ロ 秒

)

計測時

(

秒

)

フ レ ー ム ド ロ ッ プ レ ー ト

(% )

毎秒

11.77

マイクロ秒

のレートで遅延が増 加

IPv4 パケットの転送性能

03/18/2025 45

AX3630S-24T IPv4 2048byte

03/18/2025 46

3750G-24PS-E IPv4 1998 byte

03/18/2025 47

AX3630S-24T IPv4 4096byte

03/18/2025 48