FF14・FF15ベンチマークのスコアのばらつきについて

 GPUやCPUのベンチマークは，同じ環境でも実行するごとにスコアは若干異なり同じ値にはならない。このようなスコアのばらつきについて，CPUベンチマークのCinebenchについてはばらつきの範囲を調べたことがあるが，GPUでは行ったことはなかった。

このため，代表的なGPUベンチマークであるFF14 Dawntrail，FF14 Endwalker，FF15ベンチマークをそれぞれ100回行い，スコアのばらつきを検証した。

1. ベンチマーク実行の自動化

　3つのベンチマークを100回実行するので合計300回となるのだが，これを手動で行うのは現実的でない。このため，RPAツールであるpyautoguiを使用し，以下を自動化した。

　１）ベンチマークの開始ボタンを押す（画像認識）

　２）指定時間待つ（6分）

　３）スコア画面のスクリーンショットをとる（画像保存）

　４）1～3を100回繰り返す

　できればスコアをCSVなどで保存したかったが，敷居が高かったので保存した画像を人力でExcelに入力した。

2. ベンチマーク環境

CPU: Ultra5 245K

GPU: ASUS ProArt GeForce RTX4070 OC edition 12GB GDDR6X

MB: ASUS PRIME Z890-CSM WIFI, BIOS 2001, 200S Boost ON

RAM: 32GB 5600MHz

OS: Win11 24H2

3. 結果

まず，それぞれのベンチマークのスコアのばらつきは以下となった。グラフ中のAverageは全体の平均値である。

　次に，それぞれのスコアが全体の平均値からどの程度ずれているかを見るため，各スコアの平均値に対する比を計算した。これを見ると，各スコアの平均値からのずれは±1パーセント以下の領域に大部分が収まることがわかる。逆に言うと1パーセント程度の差は誤差の範囲と考えることもできる。

　ばらつきの影響をできるだけ抑えるためには，数回試行して平均をとれば良い。今回のベンチマークでは，3回試行すれば全体の平均値との差を1パーセント未満に収めることができた。