同社はMLPerf Inferenceの第2バージョンにおいて、データセンター／エッジコンピューティングシステム向けの全6応用分野のテスト全てで勝利している。このテストはコンピュータービジョン向けの当初の二つのテストに加え、AIの成長分野となるレコメンデーションシステムや自然言語理解、音声認識、医療用画像といった分野を網羅しているという。

2020年前半に発表された「NVIDIA A100」は、第3世代のTensorコアとマルチインスタンスGPUテクノロジーが特徴だ。今回MLPerf Inference 0.7において実施されたResnet50テストでは、NVIDIA A100は他のCPUに30倍の差をつけて勝利した。さらに、新しく追加されたデータセンター向け推論のレコメンダーテスト（DLRM）において、最新のCPUを最大237倍上回るパフォーマンスを記録している。

こうした結果から、NVIDIAは1台のNVIDIA DGX A100で約1000台のデュアルソケットCPUサーバーと同じパフォーマンスを達成できるという。

また、NVIDIAのT4 GPUは同じテストでCPUを最大28倍上回っている。こうした結果はNVIDIA T4 TensorコアGPUがエンタープライズ向けエッジサーバーやクラウドインスタンスにとって堅調な推論プラットフォームであることを示しているとNVIDIAは述べている。