Производительность RemoteFX, часть 1

• Кратко о RemoteFX

• Конфигурация тестовой среды

  • Сервер

  • Клиент

• Выбор показателей для измерений

• Методика тестирования

  • Тест #1: ввод текста

  • Тест #2: ввод текста + 3D BenchMark

  • Тест #3: ввод текста + просмотр локальных видеофайлов

  • Тест #4: ввод текста + просмотр youtube-ролика

• Обработка данных и построение графиков

• Анализ результатов и наиболее интересные графики

  • Задержки при обработке ввода от пользователя

  • Частота кадров

  • Общие сетевые метрики

  • Загрузка центрального процессора

  • Загрузка видеокарты

• Выводы

• Что дальше

• Список источников

• Приложения

  • Переопределение групп сбора данных: _1_task_define.cmd

  • Принудительная остановка записи данных: _1_task_breake.cmd

  • Конвертация двоичных данных в CSV: blg2csv.cmd

  • Нормализация заголовков CSV: blg2csv.ps1

  • Jupiter Notebook: импорт данных

  • Jupiter Notebook: отрисовка одной метрики на диаграмму

  • Jupiter Notebook: отрисовка всех метрик на одной диаграмме

  • Диаграмма со всеми графиками

• \Графика RemoteFX(*)\Качество кадра

• \Графика RemoteFX(*)\Исходящих кадров в секунду

• \Графика RemoteFX(*)\Входящих кадров в секунду

• \Графика RemoteFX(*)\Среднее время кодирования

• \Графика RemoteFX(*)\Коэффициент сжатия графических данных

• \Графика RemoteFX(*)\Пропущено кадров в секунду — у сервера недостаточно ресурсов

• \Графика RemoteFX(*)\Пропущено кадров в секунду — недостаточно сетевых ресурсов

• \Графика RemoteFX(*)\Пропущено кадров в секунду — у клиента недостаточно ресурсов

• \Задержка ввода данных пользователем на сеанс(Max)\Максимальная задержка ввода

• \Сведения о процессоре(_Total)\% загруженности процессора

• \NVIDIA GPU(*)\% Video Decoder Usage

• \NVIDIA GPU(*)\% Video Encoder Usage

• \NVIDIA GPU(*)\% GPU Memory Usage

• \NVIDIA GPU(*)\% GPU Usage

• \NVIDIA GPU(*)\% FB Usage

• \Сеть RemoteFX(*)\Потери

• \Сеть RemoteFX(*)\Общая скорость отправки

• \Сеть RemoteFX(*)\Общая скорость приема

• \Сеть RemoteFX(*)\Скорость отправки TCP-данных

• \Сеть RemoteFX(*)\Скорость отправки UDP-данных

• \Сеть RemoteFX(*)\Общая скорость приема

• \Сеть RemoteFX(*)\Скорость получения TCP-данных

• \Сеть RemoteFX(*)\Скорость получения UDP-данных

• \Сеть RemoteFX(*)\Пропускная способность текущего TCP-подключения

• \Сеть RemoteFX(*)\Пропускная способность текущего UDP-подключения

• \Память\% использования выделенной памяти

• \Память\Доступно байт

• Настройка ускорения графического процессора (GPU) для виртуального рабочего стола Windows

• Диагностика проблем производительности графики удалённого рабочего стола

• Рекомендация по тестированию взята из хоть и старого, но очень подробного описания RemoteFX

• Про лимиты FPS

• Сброс кэша счётчиков

• Как сделать работу с Microsoft Remote Desktop лучше. Ветка комментариев про UDP, TCP, потери и т.д. В самой статье есть ссылки на спецификации мультитранспортного расширения для протокола RDP

@echo off
setlocal EnableDelayedExpansion

@REM для сбора используются счётчики, перечисленные в _1_counters.cfg
@REM счётчики называются только на английском, на русском это просто описание
@REM 
@REM запуск сбора данных:
@REM    при каждом входе на удалённый рабочий стол исправить _1_counters.cfg:
@REM    1)  посмотреть номер своей терминальной сессии консольной командой
@REM        query session
@REM    
@REM    2)  вписать этот номер в _1_counters.cfg, например, RDP-Tcp 9
@REM    
@REM    3)  перерегистрировать сброщик запуском данного файла
@REM 
@REM    4)  замер производительности производится запуском _2_task_run_X.cmd и длится 2 минуты
@REM 


@REM удаление старого сборщика данных
logman delete -n RemoteFX_1
logman delete -n RemoteFX_2
logman delete -n RemoteFX_3
logman delete -n RemoteFX_4
logman delete -n RemoteFX_5


for /F "usebackq delims= " %%a IN (`query session ^| find "Administrator"`) DO (
    set "x=%%a"
    set "x=!x:~9,10!"
    echo !x!

    type NUL>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% Video Decoder Usage>>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% Video Encoder Usage>>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% GPU Memory Usage>>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% GPU Usage>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\Processor Information^(_Total^)^\%% Processor Time>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Loss Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Current TCP Bandwidth>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Current UDP Bandwidth>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Total Sent Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\TCP Sent Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\UDP Sent Rate>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Total Received Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\TCP Received Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\UDP Received Rate>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Output Frames/Second>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Input Frames/Second>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Frames Skipped/Second - Insufficient Server Resources>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Frames Skipped/Second - Insufficient Network Resources>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Frames Skipped/Second - Insufficient Client Resources>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Frame Quality>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Average Encoding Time>>_1_counters.cfg
    echo ^\User Input Delay per Session^(Max^)^\Max Input Delay>>_1_counters.cfg

    echo.>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Graphics Compression ratio>>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% FB Usage>>_1_counters.cfg

    @REM счётчик памяти не работает, сброс кэша счётчиков также не помог
    @REM    https://docs.microsoft.com/ru-ru/troubleshoot/windows-server/performance/manually-rebuild-performance-counters
    echo ^\Memory^\%% Committed Bytes In Use>>_1_counters.cfg
    echo ^\Memory^\Available Bytes>>_1_counters.cfg
)

@REM и регистрация нового сборщика
logman create counter -n RemoteFX_1 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #1 void GPO X" -cf "%~dp0_1_counters.cfg"
logman create counter -n RemoteFX_2 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #2 3D GPO X" -cf "%~dp0_1_counters.cfg"
logman create counter -n RemoteFX_3 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #3 wmp GPO X" -cf "%~dp0_1_counters.cfg"
logman create counter -n RemoteFX_4 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #4 youtube GPO X" -cf "%~dp0_1_counters.cfg"
logman create counter -n RemoteFX_5 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #5 webGL GPO X" -cf "%~dp0_1_counters.cfg"


@REM pause
@REM exit

@REM запускаем сбор данных
logman stop RemoteFX_1
logman stop RemoteFX_2
logman stop RemoteFX_3
logman stop RemoteFX_4
logman stop RemoteFX_5

@echo off

@REM смена кодировки нужна для powershell-скрипта "%~dpn0.ps1"
chcp 65001

@REM работаем в текущей папке скрипта
cd "%~dp0logs"


@REM включаем расширения для переопределения переменных в цикле
setlocal EnableDelayedExpansion

@REM цикл по двоичным файлам мониторинга
FOR /F "usebackq delims=." %%a IN (`dir *.blg /b`) DO (
    set "blg=%%a.blg"
    set "csv=%%a.csv"

    @REM convert binary to csv
    relog "!blg!" -f csv -o "!csv!" -y
)

@REM имена cmd и powershell скриптов должны совпадать
start "%~dpn0.ps1" /WAIT /B pwsh.exe -Command "& {%~dpn0.ps1 -en:$False}"

@REM справка reglog - утилиты работы с журналами производительности
@REM https://docs.microsoft.com/ru-ru/windows-server/administration/windows-commands/relog

Заголовки столбцов содержат различные уникальные данные (id терминальной сессии или оборудования), которые будут несовпадать из-за применения групповых политик и выхода-входа на терминальный сервер. Приводим к единому виду с помощью PowerShell-скрипта:

[CmdletBinding()]
param (
    [switch] $en       = $False  # substitute ru alias of counters by real en name
)

$WorkDir = $MyInvocation.MyCommand.Definition | Split-Path -Parent

$LogsDir = Join-Path -Path $WorkDir -ChildPath 'logs'

$EncodeFrom = [System.Text.Encoding]::GetEncoding(1251)
$EncodeTo = New-Object System.Text.UTF8Encoding $False

$names = @(
    New-Object psobject -Property @{ 'ru' = 'Задержка ввода данных пользователем на сеанс(Max)\Максимальная задержка ввода' ; 'en' = 'User Input Delay per Session\Max Input Delay'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Входящих кадров в секунду' ; 'en' = 'RemoteFX Graphics\Input Frames/Second'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Исходящих кадров в секунду' ; 'en' = 'RemoteFX Graphics\Output Frames/Second'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Среднее время кодирования' ; 'en' = 'RemoteFX Graphics\Average Encoding Time'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Качество кадра' ; 'en' = 'RemoteFX Graphics\Frame Quality'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Коэффициент сжатия графических данных' ; 'en' = 'RemoteFX Graphics\Graphics Compression ratio'}

    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Общая скорость отправки' ; 'en' = 'RemoteFX Network\Total Sent Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Общая скорость приема' ; 'en' = 'RemoteFX Network\Total Received Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Потери' ; 'en' = 'RemoteFX Network\Loss Rate'}

    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Пропущено кадров в секунду — недостаточно сетевых ресурсов' ; 'en' = 'RemoteFX Graphics\Frames Skipped/Second - Insufficient Network Resources'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Пропущено кадров в секунду — у сервера недостаточно ресурсов' ; 'en' = 'RemoteFX Graphics\Frames Skipped/Second - Insufficient Server Resources'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Пропущено кадров в секунду — у клиента недостаточно ресурсов' ; 'en' = 'RemoteFX Graphics\Frames Skipped/Second - Insufficient Client Resources'}

    New-Object psobject -Property @{ 'ru' = 'Сведения о процессоре(_Total)\% загруженности процессора' ; 'en' = 'Processor Information(_Total)\% Processor Time'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% GPU Usage' ; 'en' = 'NVIDIA GPU\% GPU Usage'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% GPU Memory Usage' ; 'en' = 'NVIDIA GPU\% GPU Memory Usage'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% Video Decoder Usage' ; 'en' = 'NVIDIA GPU\% Video Decoder Usage'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% Video Encoder Usage' ; 'en' = 'NVIDIA GPU\% Video Encoder Usage'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% FB Usage' ; 'en' = 'NVIDIA GPU\% FB Usage'}

    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Пропускная способность текущего UDP-подключения' ; 'en' = 'RemoteFX Network\Current UDP Bandwidth'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Пропускная способность текущего TCP-подключения' ; 'en' = 'RemoteFX Network\Current TCP Bandwidth'}

    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость отправки UDP-данных' ; 'en' = 'RemoteFX Network\UDP Sent Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость получения UDP-данных' ; 'en' = 'RemoteFX Network\UDP Received Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость отправки TCP-данных' ; 'en' = 'RemoteFX Network\TCP Sent Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость получения TCP-данных' ; 'en' = 'RemoteFX Network\TCP Received Rate'}
)

$Heads = @()
foreach ($f in Get-ChildItem -Path $LogsDir -File -Filter '*.csv')
{
    $FileContent = $f | Get-Content -Encoding $EncodeFrom

    $HeadOrig = $FileContent[0]


    # приводим заголовки к единому виду, убираем ненужное
    # "\\TESTGPU\NVIDIA GPU(#0 GRID M60-1Q (id=1, NVAPI ID=513))\% GPU Memory Usage"
    if ($HeadOrig -match '.*(?<hostname>\\\\[a-zA-Z0-9]*\\).*')
    {
        $HeadOrig = $HeadOrig.Replace($Matches['hostname'], '')
    }

    if ($HeadOrig -match '.*NVIDIA GPU(?<gpu>\(#[A-Z0-9 ]*-[A-Z0-9]* \(id=[0-9,]* NVAPI ID=[0-9]*\)\))')
    {
        $HeadOrig = $HeadOrig.Replace($Matches['gpu'], '')
    }

    # "\\TESTGPU\Графика RemoteFX(RDP-Tcp 55)\Входящих кадров в секунду"
    if ($HeadOrig -match '.*(?<session>\(RDP-Tcp[ 0-9]*\)).*')
    {
        $HeadOrig = $HeadOrig.Replace($Matches['session'], '')
    }

    # "(PDH-CSV 4.0) (Russia TZ 2 Standard Time)(-180)"
    if ($HeadOrig -match '.*(?<time>\(.*\) \(.*Time\)\([0-9 +-]*\))')
    {
        $HeadOrig = $HeadOrig.Replace($Matches['time'], 'Time')
    }

    if ($en)
    {
        $HeadOrig = ($HeadOrig -split '","') -replace '"', ''

        foreach ($h in $HeadOrig)
        {
            if ($h -notin $names.ru) { continue }

            $n = $names | Where-Object {$_.ru -eq $h}

            $HeadOrig[($HeadOrig.IndexOf($h))] = $n.en  # $h = $n.en не работает
        }

        $HeadOrig = '"{0}"' -f ($HeadOrig -join '","')
    }




    $FileContent[0] = $HeadOrig  # перезапись заголовка

    $FileContent | Out-File -Encoding $EncodeTo -FilePath $f.FullName

    $Heads += $f.Name + $HeadOrig  # сохранение заголовка
}

# вывод заголовков столбцов в отдельный файл для доп. контроля порядка, названий и т.д.
$Heads | Out-File -Encoding $EncodeTo -FilePath (Join-Path -Path $LogsDir -ChildPath 'heads.txt')

import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.ticker import EngFormatter  # для вывода форматированных единиц измерения
plt.rcParams['figure.max_open_warning'] = 30  # порог предупреждения при одновременном построении нескольких рисунков
%matplotlib inline

# импорт данных csv-файлов
t21 = pd.read_csv('./logs/test #2 3D GPO 1.csv', na_values=' ')
t20 = pd.read_csv('./logs/test #2 3D GPO 0.csv', na_values=' ')  # , encoding='cp1251')

t31 = pd.read_csv('./logs/test #3 wmp GPO 1.csv', na_values=' ')
t30 = pd.read_csv('./logs/test #3 wmp GPO 0.csv', na_values=' ')
t31_prev = pd.read_csv('./logs/test #3 wmp GPO 1 anomaly.csv', na_values=' ')

t41 = pd.read_csv('./logs/test #4 youtube GPO 1.csv', na_values=' ')
t40 = pd.read_csv('./logs/test #4 youtube GPO 0.csv', na_values=' ')

# слияние результатов каждого теста: сначала рекомендованные GPO, потом default GPO
t2 = pd.concat([t21, t20],           join='inner', axis=1)
t3 = pd.concat([t31, t30, t31_prev], join='inner', axis=1)
t4 = pd.concat([t41, t40],           join='inner', axis=1)

# разные наборы для итерации и рисования в цикле
dataframes = [t2, t3, t4]
ax_titles = ['test #2: 3D benchmark', 'test #3: play 1080p video', 'test #4: play 1080p youtube video']
legend = ['GPU acceleration', 'default', 'GPU, anomaly']
img_sx, img_sy = 15, 5  # размеры одного ряда графиков
fgs = [  # макет графиков  # yunit ед. изм., ylabel метка Y-оси, ydata колонка из датафрейма
    {'yunit': 'ms',     'ylabel': 'Input Delay',            'ydata': 'Задержка ввода данных пользователем на сеанс(Max)\Максимальная задержка ввода'},
    {'yunit': 'fps',    'ylabel': 'RemoteFX input FPS',     'ydata': 'Графика RemoteFX\Входящих кадров в секунду'},
    {'yunit': 'fps',    'ylabel': 'RemoteFX output FPS',    'ydata': 'Графика RemoteFX\Исходящих кадров в секунду'},

    {'yunit': 'bps',    'ylabel': 'Tx Speed',               'ydata': 'Сеть RemoteFX\Общая скорость отправки'},
    {'yunit': 'bps',    'ylabel': 'Rx Speed',               'ydata': 'Сеть RemoteFX\Общая скорость приема'},
    {'yunit': '%',      'ylabel': 'Tx / Rx Loss',           'ydata': 'Сеть RemoteFX\Потери'},

    {'yunit': '%',      'ylabel': 'CPU Usage',              'ydata': 'Сведения о процессоре(_Total)\% загруженности процессора'},

    {'yunit': '%',      'ylabel': 'GPU Usage',              'ydata': 'NVIDIA GPU\% GPU Usage'},
    {'yunit': '%',      'ylabel': 'GPU Memory Usage',       'ydata': 'NVIDIA GPU\% GPU Memory Usage'},
    {'yunit': '%',      'ylabel': 'GPU Decoder Usage',      'ydata': 'NVIDIA GPU\% Video Decoder Usage'},
    {'yunit': '%',      'ylabel': 'GPU Encoder Usage',      'ydata': 'NVIDIA GPU\% Video Encoder Usage'},

    {'yunit': 'ms',     'ylabel': 'Encoding Time',          'ydata': 'Графика RemoteFX\Среднее время кодирования'},
    {'yunit': '%',      'ylabel': 'Frame Quality',          'ydata': 'Графика RemoteFX\Качество кадра'},
    {'yunit': '%',      'ylabel': 'Compression: enc byte / in byte', 'ydata': 'Графика RemoteFX\Коэффициент сжатия графических данных'},

    {'yunit': 'fps',    'ylabel': 'FPS Loss by network',    'ydata': 'Графика RemoteFX\Пропущено кадров в секунду — недостаточно сетевых ресурсов'},
    {'yunit': 'fps',    'ylabel': 'FPS Loss by server',     'ydata': 'Графика RemoteFX\Пропущено кадров в секунду — у сервера недостаточно ресурсов'},
    {'yunit': 'fps',    'ylabel': 'FPS Loss by client',     'ydata': 'Графика RemoteFX\Пропущено кадров в секунду — у клиента недостаточно ресурсов'},

    {'yunit': '%',      'ylabel': 'GPU Framebufer Usage',   'ydata': 'NVIDIA GPU\% FB Usage'},

    {'yunit': 'bps',    'ylabel': 'Tx Speed UDP',           'ydata': 'Сеть RemoteFX\Скорость отправки UDP-данных'},
    {'yunit': 'bps',    'ylabel': 'Rx Speed UDP',           'ydata': 'Сеть RemoteFX\Скорость получения UDP-данных'},
    {'yscale': 1000,    'yunit': 'bps', 'ylabel': 'Bandwidth UDP', 'ydata': 'Сеть RemoteFX\Пропускная способность текущего UDP-подключения'},

    {'yunit': 'bps',    'ylabel': 'Tx Speed TCP',           'ydata': 'Сеть RemoteFX\Скорость отправки TCP-данных'},
    {'yunit': 'bps',    'ylabel': 'Rx Speed TCP',           'ydata': 'Сеть RemoteFX\Скорость получения TCP-данных'},
    {'yscale': 1000,    'yunit': 'bps', 'ylabel': 'Bandwidth TCP', 'ydata': 'Сеть RemoteFX\Пропускная способность текущего TCP-подключения'},
]

for i in range(len(fgs)):  # сколько метрик, столько рисунков (рядов диаграмм)
    fig, axs = plt.subplots(1, 3, figsize=(img_sx, img_sy), sharex='col', sharey='row', gridspec_kw=dict(hspace=0, wspace=0, ))  # width_ratios=[1, 1, 1]

    fig_name = fgs[i]['ydata'].split('\\')[1]
    fig.suptitle(f'Рис. {i + 1:>2}. {fig_name}', fontsize=14)  #, color='grey')  # имя рисунка
    fig.patch.set_facecolor('white')  # фон рисунка белый вместо прозрачного

    axs[0].set(ylabel=fgs[i]['ylabel'])  # подпись Y-оси только на первых (левых) графиках из трёх
    axs[2].yaxis.set_tick_params(labelleft=False, labelright=True, which='major')  # дублируем значения справа

    for ax, d, title in zip(axs, dataframes, ax_titles):  # на каждый тест своя диаграмма
        ax.plot(d.index.values, d[fgs[i]['ydata']] * (fgs[i].get('yscale', 1)))  # строим график
        ax.set_title(title)  #, color='grey')  # заголовок диаграммы        

        ax.xaxis.set_tick_params(which='major', labelcolor='grey')  # подписи к X-шкале
        ax.xaxis.set_major_formatter(EngFormatter(unit='s'))  # по X секунды

        ax.yaxis.set_tick_params(which='major', labelcolor='grey')  # подписи Y-шкале
        ax.yaxis.set_major_formatter(EngFormatter(unit=fgs[i]['yunit']))  # по Y у каждого графика своя ед. изм.

        # расчёт средних и вывод в легенду диаграммы "на лету"
        avg = [EngFormatter(places=0).format_eng(avg * (fgs[i].get('yscale', 1))) for avg in d[fgs[i]['ydata']].mean()]
        lgn = [f'avg {m}{fgs[i]["yunit"]}, {l}' for l, m in zip(legend, avg)]
        ax.legend(lgn, fontsize=8)  # отображение легенды графика

        ax.grid(axis='y')  # горизонтальная сетка
        ax.set_xlim(0,119)  # метка "120" засоряла график

        if ax == axs[1]:  # выделяем аномалии на средней диаграмме
            ax.axvline(x=15, linestyle=":", color='C0')
            ax.axvline(x=58, linestyle=":", color='C0')
            ax.axvline(x=101, linestyle=":", color='C0')

        fig.tight_layout()  # (pad=0.4, w_pad=1.5, h_pad=30.0)

Общая ось X на все графики: метрики тестов располагаются строго друг под другом - удобно сопоставлять разные метрики между собой.

# один рисунок  # plt.style.available  # plt.style.use('seaborn-whitegrid')
fig, axs = plt.subplots(len(fgs), 3, figsize=(img_sx, img_sy * len(fgs)), sharex='col', sharey='row', gridspec_kw=dict(hspace=0.2, wspace=0))
fig.patch.set_facecolor('white')  # фон рисунка белый вместо прозрачного

# заголовки только вверху
[ax.set_title(title) for ax, title in zip(axs[0], ax_titles)]  # ax.set_title(title, color='grey')

for i in range(len(fgs)):
    axs[i,0].set(ylabel=fgs[i]['ylabel'])
    fig_name = fgs[i]['ydata'].split('\\')[1]
    axs[i,1].set(xlabel=f'Рис. {i + 1:>02}. {fig_name}')
    # axs[i,1].xaxis.label.set_color('grey')

    axs[i,2].yaxis.set_tick_params(labelleft=False, labelright=True, which='major')

    for ax, d, title in zip(axs[i], dataframes, ax_titles):
        ax.plot(d.index.values, d[fgs[i]['ydata']] * (fgs[i].get('yscale', 1)))

        ax.xaxis.set_tick_params(which='major', labelcolor='grey')  # подписи к X-шкале
        ax.xaxis.set_major_formatter(EngFormatter(unit='s'))  # по X секунды

        ax.yaxis.set_tick_params(which='major', labelcolor='grey')  # подписи Y-шкале
        ax.yaxis.set_major_formatter(EngFormatter(unit=fgs[i]['yunit']))  # по Y у каждого графика своя ед. изм.

        # расчёт средних и изменение легенды диаграммы "на лету"
        avg = [EngFormatter(places=0).format_eng(avg * (fgs[i].get('yscale', 1))) for avg in d[fgs[i]['ydata']].mean()]
        lgn = [f'avg {m}{fgs[i]["yunit"]}, {l}' for l, m in zip(legend, avg)]
        ax.legend(lgn, fontsize=8)  # отображение легенды графика

        ax.grid(axis='y')  # горизонтальная сетка
        ax.set_xlim(0,119)  # метка "120" засоряла график

        if ax == axs[i,1]:  # выделяем аномалии на средней диаграмме
            ax.axvline(x=15, linestyle="--", color='C0')
            ax.axvline(x=58, linestyle="--", color='C0')
            ax.axvline(x=101, linestyle="--", color='C0')