「CPU」カテゴリーアーカイブ

VNNI 命令を使って AI Max+ 395 と他の CPU の INT8 TOPS 値を計測してみる

AI 向け演算能力である TOPS 値は GPU や NPU のスペックとして用いられますが CPU ではあまりデータが載っていません。vfpbench に int8 と bf16 命令の計測機能を追加したので、実際の CPU でもこれらの値を調べてみました。(TOPS 値が大きい方が高速)

CPU	Arch	Core数	命令	INT8 TOPS
Ryzen AI Max+ 395	Zen5	16C 32T	AVX512-VNNI	20.482 TOPS
Ryzen 7 9700X	Zen5	8C 16T	AVX512-VNNI	10.699 TOPS
Core i7-13700	RaptorCove	16C 24T	AVX-VNNI	5.456 TOPS
Ryzen 7 7840HS	Zen4	8C 16T	AVX512-VNNI	4.713 TOPS
Ryzen 7 5700X	Zen3	8C 16T	AVX2	3.547 TOPS
Ryzen 9 3950X	Zen2	16C 32T	AVX2	3.178 TOPS
Ryzen 7 4750G	Zen2	8C 16T	AVX2	1.629 TOPS
Intel N97	Gracemont	4C 4T	AVX-VNNI	0.366 TOPS

Ryzen AI Max+ 395 (EVO-X2) は CPU だけで 20 TOPS となりました。かなり速く、同じ 16コアの 3950X と比べても 6.4 倍です。もちろんこれはメモリ速度やデータ転送を一切考慮しないピーク値となります。実際のアプリケーションでこの速度が出るわけではありませんので予めご了承ください。また計測は短時間で完了するのでブースト時の結果となります。

Zen5 で特に高い値が出ているのは AVX512-VNNI の vpdpb 命令を同時に 2命令実行できるためです。同じく VNNI 対応の Zen4 や Raptor Lake と比べてもクロックあたり 2倍です。

CPU Core	対応命令	bit幅	clockあたり	CORE あたりの演算数
Zen5	AVX512-VNNI	512bit	x 2	256 iop
Zen4	AVX512-VNNI	512bit	x 1	128 iop
RaptorLake (RaptorCove)	AVX-VNNI	256bit	x 2	128 iop
AlderLake-N (Gracemont)	AVX-VNNI	256bit	x 0.5	32 iop

AlderLake-N (Gracemont) はいわゆる AlderLake / RapterLake (Inel Core 12000/13000) の E-Core です。N97 を使っていますが CPU の仕様はほぼ N100 と同じです。通常の AVX 命令は 128bit x2 もしくは 256bit x1 なのですが、VNNI 命令はさらに半分のレートとなっているようです。おそらく int8 VNNI 命令を実行できる Pipe が 128bit 1本しかないためと思われます。

VNNI 非対応の Zen2/Zen3 は代わりに AVX2 の vpmaddsbsw を使用しています。3950X は Core 数が 2倍なのに Zen3 の 5700X より速度が出ていません。どうやら Zen2 では vpmaddsbsw は同時に 1命令しか実行できないようです。Zen3 では 2命令走るので、ちょうど Core 数の差を補っている形になります。なお fp32 の fma は Zen2 でも 2命令実行できるため、fp32 の FLOPS 値では Core 数が多い 3950X が逆転します。

Ryzen AI Max+ 395 の公称値との比較

Ryzen AI Max+ 395 の公称値は CPU, GPU, NPU を全部合わせて 126 TOPS となっています。

AMD Ryzen™ AI Max+ 39

NPU 単体は 50 TOPS ですが、GPU や CPU の値は上記 AMD の仕様ページでも特に記載されていませんでした。ですがスペック表をよく見ると、各グレードの Core 数の差から CPU の TOPS 値がわかります。

https://www.amd.com/ja/products/processors/consumer/ryzen-ai.html

メーカーのページから AI Max+ のスペックを抜き出してまとめると以下の通りです。

CPU	CPU コア数	GPU CU数	GPU Clock	NPU	Overall
AMD Ryzen AI Max+ 395	16	40 CU	2.9 GHz	50 TOPS	126 TOPS
AMD Ryzen AI Max+ 392	12	40 CU	2.9 GHz	50 TOPS	122 TOPS
AMD Ryzen AI Max+ 388	8	40 CU	2.9 GHz	50 TOPS	118 TOPS

AI Max+ 395 と AI Max+ 388 のコア数差が 8 で、OVERALL の TOPS 値の差もちょうど 8 です。AI Max+ 392 を含めても、それぞれ Core 数の差と TOPS 値の差が同一です。公式スペックでは CPU 1 core あたり 1 TOPS の見積もりになっていることがわかります。Ryzen AI Max+ 395 は 16 core あるため、126 TOPS 中 CPU が 16 TOPS です。

これは CPU が 4.0 GHz で動作している計算になります。今回の計測結果では 20.48 TOPS なので、公式のスペックよりもだいぶ高い値となっています。20.48 TOPS から逆算すると 5.0 GHz なので、公式よりも 1 GHz 高いクロックで vfpbench が走っていたことになります。

おそらく短時間のブーストだったことと、CPU 単体での計測が原因と思われます。公称値は NPU, GPU, CPU の全ユニットの合計なので、すべてのユニットが同時にフル稼働する場合は冷却＆電力制限から公式の値の通り 4.0GHz に下がるのではないかと考えられます。

CPU が判明したので GPU の分もわかります。Ryzen AI Max+ の GPU (Radeon 8060S) 単体では以下のように 60 TOPS です。

CPU	CPU最大TOPS	GPU最大TOPS	NPU最大TOPS	合計
AMD Ryzen AI Max+ 395	16 TOPS	60 TOPS	50 TOPS	126 TOPS
AMD Ryzen AI Max+ 392	12 TOPS	60 TOPS	50 TOPS	122 TOPS
AMD Ryzen AI Max+ 388	8 TOPS	60 TOPS	50 TOPS	118 TOPS

計算からも求めてみます。AI Max+ 395 の GPU は RDNA 3.5 の Ryzen 8060S ですが、CU の基本仕様は RDNA 3 と同じです。CU あたり 64 sp x Dual Issue なので、単純に計算すると 40CU、 2.9GHz の Ryzen 8060S は fp32 で 29.7 TFLOPS になります

fp32 64(sp) x 2(dual) x 2(fma) x 40(cu) x 2.9GHz = 29696 GFLOPS

fp16 では少々制限がありますが内積の Dual Issue もしくは WMMA 利用時にこの 2倍です。int8 演算は fp32 FMA のような Dual Issue に対応しておらず、また Matrix 専用命令の WMMA でも以下のページによると演算レートは fp16 と変わらないようです。

How to accelerate AI applications on RDNA 3 using WMMA

データ形式	CLockあたりのピーク演算能力 (RDNA3)
fp32	256 fop / CU
fp16	512 fop / CU
bf16	512 fop / CU
int8	512 iop / CU
int4	1024 iop / CU

よって int8 では 2.9GHz 時に

512(iop) x 40(cu) x 2.9GHz = 59.392 TOPS

となり、公称値から求めた 60 TOPS とほぼ同じ結果になりました。また int4 ではなく int8 の値が用いられていることもわかります。

fp32 と int8 演算

AI 用途向けに、CPU にも専用の演算命令が追加されるようになってきました。そのため従来の fp32, fp64 等の基本演算と比べて、AI 向け演算の方が急激に能力が上がってきていることが分かります。

世代	fp32 (fma)	fp32の性能比	int8	int8の性能比	iop/fop
Zen5	64 fop	x 2.0	256 iop	x 5.3	4.0
Zen4	32 fop	x 1.0	128 iop	x 2.7	4.0
Zen3	32 fop	x 1.0	96 iop	x 2.0	3.0
Zen2	32 fop	x 1.0	48 iop	x 1.0	1.5

この傾向は他の CPU でも同じで、ARM では VNNI のような内積だけでなく i8mm といった Matrix の乗算命令も搭載されています。今後も Matrix 命令や fp8 演算対応など、この傾向はさらに強くなっていくものと思われます。

vfpbench では ARM の i8mm にも対応したので、ARM CPU の TOPS 値についても計測しています。こちらは次回以降にまとめてみたいと思います。

実際の計測データ

実際の計測データは以下のリンクから参照できます。

Pixel 9a Tensor G4 の浮動小数点演算能力と Linux ターミナル

Pixel 9a で vfpbench を走らせてみました。vfpbench は CPU の浮動小数点演算能力の理論的なピーク値に焦点を当てたベンチマークです。

以下の表は Pixel 8/8a との比較のための抜粋です。動作クロックが上がっている分だけシングル性能は高いはずですが、1コア減っているためマルチスレッドでは差がつきません。Pixel 8 比では全体的に低い値になっています。Pixel 8a の Single (Cortex-X3) の値が極端に低いですが、おそらく測定時に発熱で制限(サーマルスロットリング)がかかり、クロックが上がらなかったためと思われます。

	fp32 Single	FP32 MULTI	FP64 SINGLE	FP64 MULTI
Pixel 8	69.7 GFLOPS	281.9 GFLOPS	28.0 GFLOPS	139.6 GFLOPS
Pixel 8a	37.7 GFLOPS	245.1 GFLOPS	18.8 GFLOPS	122.2 GFLOPS
Pixel 9a	67.9 GFLOPS	256.5 GFLOPS	33.8 GFLOPS	127.4 GFLOPS

SINGLE = Single Thread、MULTI = Multi Thread

全部のデータはこちらで参照できます。

個々の命令の特性を見ると、クロックあたりのピークの浮動小数点演算能力はほぼ同等で特性もかなり似通ったものになっていることがわかります。

Tensor G4 自体は G3 と比べると CPU コアの世代が上がっています。以下は CPU コアの比較表です。

	TENSOR G1	TENSOR G2	TENSOR G3	TENSOR G4
Prime	X1 (x2)	X1 (x2)	X3 (x1)	X4 (x1)
Big	A76 (x2)	A78 (x2)	A715 (x4)	A720 (x3)
Little	A55 (x4)	A55 (x4)	A510 (x4)	A520 (x4)

Tensor G3 で唯一 32bit 命令2対応していた A510 が無くなり、Tensor G4 では完全に 64bit 命令のみ対応の CPU コアに置き換わりました。Tensor G4 では ARM の 32bit 命令のプログラムは動きません。ARM の各 CPU コアの 32bit 命令対応についてはこちらの記事を参照してください。

ARM CPU の 64bit/32bit 命令対応

もっとも、OS としては Pixel 7 の Tensor G2 世代から 32bit アプリケーションには非対応となっており、すでに完全に 64bit に置き換わっています。そのため 32bit 対応コアがなくなっても影響はありませんのでご安心ください。

vfpbench の話しに戻ります。Tensor G4 の LITTLE コア A520 は 4個搭載されていますが、シングル時の浮動小数点演算性能に対して、4コアマルチスレッドでも 4倍ではなく 2倍にしかなっていません。以下は LITTLE コアだけの比較になります。

	FP32 SINGLE	FP32 MULTI	FP64 SINGLE	FP64 MULTI
Pixel 7a (A55)	14.0 GFLOPS	54.7 GFLOPS	7.0 GFLOPS	27.8 GFLOPS
Pixel 8 (A510)	27.1 GFLOPS	61.3 GFLOPS	13.5 GFLOPS	29.1 GFLOPS
Pixel 8a (A510)	27.0 GFLOPS	56.6 GFLOPS	13.5 GFLOPS	28.0 GFLOPS
Pixel 9a (A520)	30.9 GFLOPS	62.7 GFLOPS	15.4 GFLOPS	31.7 GFLOPS

SINGLE = Single Thread、MULTI = Multi Thread

例えば Pixel 9a (A520) の FP32 SINGLE は 30.9 GFLOPS ですが、FP32 MULLTI でも約 2倍の 62.7 GFLOPS しかありません。これは A520 が A510 と同じように 2コアで浮動小数点演算ユニットを共有しているためだと考えられます。

A55 時代の Pixel 7a (Tensor G2) では Multi 時のスコアに対して Single の値が 1/4 になっています。つまり A510/A520 は A55 と比べて Single 時の性能が 2倍になっているわけです。

また LITTLE コアだけの比較では Pixel 8/8a の G3 よりも Pixel 9a の G4 の方が速度が上がっています。それぞれクロック差の影響がきちんとスコアに反映されています。同様に同じ G3 を搭載した Pixel 8 と 8a のパフォーマンスも同等です。LITTLE コアは電力効率が良いためにサーマルスロットリングの影響を受けなかったのだと思われます。

A510 におけるコアの共有についてはこちらで解説しています。

Google Tensor G3 の浮動小数点演算性能と SVE

Linux 開発環境 (ターミナル) が 9a で使えないことについて

Pixel 9a を実際に使ってみて少々予想外だった点は、Linux 開発環境 (ターミナル) 機能が使えなかったことです。

「Linux 開発環境」は Pixel の OS に標準で含まれている Linux のコマンドラインの動作環境です。ChromeOS の同名の機能、もしくは Windows の WSL に相当します。Linux 開発環境 (ターミナル) 機能については以下の記事で解説しています。

Android 上で動く Linux 開発環境 (ターミナル)

おそらく使えないのは発売当初だけで、将来の OS 更新によって Pixel 9a でもサポートするのではないかと思われます。

幸いなことに、発売したばかりの Pixel 9a も Android 16 のベータプログラムに含まれていることがわかりました。Pixel 9a でも Android 16 Beta 4 をインストールすると、開発者向けオプショにから Linux 開発環境を有効にすることができました。

どうしても今すぐ Pixel 9a で Linux を使いたいという場合はベータプログラムを利用するのも一つの手かもしれません。もちろんメインのスマートフォンとして使用している場合はお勧めしません。

Ryzen Zen5 一般向け CPU で過去最高の浮動小数点能力

AMD Ryzen Zen5 世代の Desktop CPU で vfpbench を走らせてみました。使用したのは Ryzen 7 9700X で TDP はデフォルト (65W) 設定です。

Zen5 は AVX512 の 512bit FMA 積和命令を同時に 2命令実行可能で、この場合 32bit の浮動小数点演算をサイクルあたり 64 回。これまでの CPU の倍の演算能力になります。

vfpbench : AMD Ryzen 7 9700X 8-Core Processor.txt

以下は 9700X のシングルスレッド単精度からの抜粋です。512bit の AVX512 命令がスカラーや 128bit など他の命令と同じ IPC になっていることがわかります。512bit の FMA (vfmaddps) も同じ IPC で 2命令走っています。

 9700X Zen5                      TIME(s)   MFLOPS      MOPS     FOP   IPC
FMA vfmaddss (32bit x1) n12       0.450    22301.1    11150.5  (  2.0 2.0)   スカラー fma
FMA vfmaddps (32bit x4) n12       0.451    89189.2    11148.6  (  8.0 2.0)   128bit fma
FMA vfmaddps (32bit x8) n12       0.450   178399.7    11150.0  ( 16.0 2.0)   256bit fma
AVX512 vmulps (32bit x16) n12     0.450   178398.1    11149.9  ( 16.0 2.0)   512bit mul
AVX512 vaddps (32bit x16) n12     0.451   178338.0    11146.1  ( 16.0 2.0)   512bit add
AVX512 vfmaddps (32bit x16) n12   0.451   356760.6    11148.8  ( 32.0 2.0)   512bit fma

さらに FMA ではなく乗算命令+加算命令の場合は以下のようになります。

 9700X Zen5                      TIME(s)   MFLOPS      MOPS     FOP   IPC
AVX512 vml+adps (32bit x16) n12   0.225   356510.6    22281.9  ( 16.0 4.0)   512bit mul + add

512bit 加算 x2 と 512bit 乗算 x2 が同時に走っており IPC は 4。ピーク FLOPS 値は FMA x2 と同等で、加算＋乗算命令の組み合わせの場合は AVX512 512bit 命令を同時に 4命令実行できることになります。

Zen4 では 512bit AVX512 命令はクロックあたり 1命令相当だったので、Zen5 の浮動小数点演算能力は Zen4 比で 2倍です。以下は Ryzen 7 7840HS (Zen4) の結果からの抜粋です。こちらは Zen5 の結果とは違い、256bit 命令に対して 512bit 命令の IPC が半減していることがわかります。

 7840HS Zen4                     TIME(s)   MFLOPS      MOPS     FOP   IPC
FMA vfmaddps (32bit x8) n12       0.337   162355.4    10147.2  ( 16.0 2.7)   FMA3   256bit fma
AVX512 vfmaddps (32bit x8) n12    0.342   160130.1    10008.1  ( 16.0 2.6)   AVX512 256bit fma
AVX512 vfmaddps (32bit x16) n12   0.680   160984.2     5030.8  ( 32.0 1.3)   AVX512 512bit fma

↑ 7840HS の IPC が割り切れない値 (1.3 や 2.6) になっているのは、数値がベースクロックの 3.8GHz 換算になっているためです。実測時は Boost 5.1GHz で動作していたため 5.1/3.8 = およそ 1.3 となります。

また現在の一般向け Intel CPU は AVX512 に対応しておらず、AVX2 (256bit) までとなります。少々世代が古いですが以下は RaptorLake Core i7-13700 の結果で、P-Core で 256bit fma が 2、E-Core で 1 命令です。

 i7-13700 RaptorLake P-Core      TIME(s)   MFLOPS      MOPS     FOP   IPC
FMA vfmaddps (32bit x8) n12       0.442   165987.5    10374.2  ( 16.0 2.0)   P-Core 256bit fma
FMA vfmaddps (32bit x8) n12       0.902    65432.2     4089.5  ( 16.0 1.0)   E-Core 256bit fma

よって、Zen5 は一般向けとしてはこれまでで最も浮動小数点演算能力が高い CPU と言えるのではないでしょうか。

	256 add	256 mul	256 fma	256 ml+ad	512 add	512 mul	512 fma	512 ML+AD
Zen5	2	2	2	4	2	2	2	4
Zen4	2	2	2	4	1	1	1	2
RaptorLake P-Core	2	2	2	3
RaptorLake E-Core	1	1	1	1

なお Zen4 (Ryzen 7 7840HS) の結果もこちらに追加しました。

vfpbench : AMD Ryzen 7 7840HS w Radeon 780M Graphics.txt

ARM CPU の 64bit/32bit 命令対応

最近の ARM CPU Core は 32bit 命令への対応が徐々に無くなりつつあり 64bit 命令のみ動作するようになっています。

Apple はすでに iOS11 の段階で 64bit に完全移行しており 32bit のアプリが動作しません。同時にプロセッサも 32bit 命令が廃止されており、Apple A11 (iPhone8/X) 以降は AArch32(ARMv7) 命令非対応となっています。

同じように ARM の CPU Core も完全な 64bit 化が進んでいます。ARM Core の世代と 32bit/64bit への対応状況をまとめてみました。

Arch	Prime CORE	big (P-Core)	LITTLE (E-Core)
ARMv7		Cortex-A15	Cortex-A7
ARMv7		Cortex-A17	Cortex-A7
ARMv8		Cortex-A57	Cortex-A53
		Cortex-A72
		Cortex-A73
ARMv8.2		Cortex-A75	Cortex-A55
		Cortex-A76
		Cortex-A77
	Cortex-X1	Cortex-A78
ARMv9	Cortex-X2	Cortex-A710	Cortex-A510
ARMv9	Cortex-X3	Cortex-A715	Cortex-A510
ARMv9.2	Cortex-X4	Cortex-A720	Cortex-A520

　32bit のみ　

32bit/64bit 両対応

　64bit のみ　

ARMv8 世代の CPU までは 32bit/64bit 両方の命令に対応していますが、ARMv9 世代になってからは段階的に 32bit 命令が廃止されてきていることがわかります。

Apple の watchOS のように、ILP32 で 32bit OS ながら対応命令が 64bit (AArch64) のみとなっているものもあります。(詳しくはこちら「Apple Watch Series 6 と CPU 性能の測定」)

ホイール欲しいハンドル欲しい

Mobile系、Direct3D や Shader などについて書いています。

「CPU」カテゴリーアーカイブ

VNNI 命令を使って AI Max+ 395 と他の CPU の INT8 TOPS 値を計測してみる

Ryzen AI Max+ 395 の公称値との比較

fp32 と int8 演算

実際の計測データ

関連ページ

Pixel 9a Tensor G4 の浮動小数点演算能力と Linux ターミナル

Linux 開発環境 (ターミナル) が 9a で使えないことについて

Ryzen Zen5 一般向け CPU で過去最高の浮動小数点能力

関連エントリ

ARM CPU の 64bit/32bit 命令対応

関連エントリ