Производительность RemoteFX, часть 2

• Введение

• Конфигурация тестовой среды

• Методика тестирования

• Обработка данных

• Анализ результатов и наиболее интересные графики

  • Задержки обработки пользовательского ввода и нагрузка на процессор

  • Частота кадров

  • Использование оперативной памяти

  • Нагрузка на видеокарту

  • Общие сетевые метрики

• Заключение

• Приложения

  • Set-DataCollectors.ps1

  • Set-DataCollectors.cmd

  • Start-SyncedTest.ps1

  • Start-SyncedTest.cmd

  • helper.psm1

  • blg2csv.ps1

  • blg2csv.cmd

  • figures_alt.ipynb

  • figures.ipynb

  • Диагностические счётчики

  • UDP трафик

  • TCP трафик

• Общие метрики:

  • '\Memory\% Committed Bytes In Use'

  • '\Memory\Available Bytes'

  • '\Processor Information(_Total)\% Processor Time'

  • '\NVIDIA GPU(*)\% GPU Usage'

  • '\NVIDIA GPU(*)\% GPU Memory Usage'

  • '\NVIDIA GPU(*)\% FB Usage'

  • '\NVIDIA GPU(*)\% Video Decoder Usage'

  • '\NVIDIA GPU(*)\% Video Encoder Usage'

• Метрики сеансов:

  • '\User Input Delay per Session(#id)\Max Input Delay' # задержка в указанном сеансе

  • '\RemoteFX Network(RDP-Tcp#N)\Loss Rate'

  • '\RemoteFX Network(RDP-Tcp#N)\Current TCP Bandwidth'

  • '\RemoteFX Network(RDP-Tcp#N)\Current UDP Bandwidth'

  • '\RemoteFX Network(RDP-Tcp#N)\Total Sent Rate'

  • '\RemoteFX Network(RDP-Tcp#N)\TCP Sent Rate'

  • '\RemoteFX Network(RDP-Tcp#N)\UDP Sent Rate'

  • '\RemoteFX Network(RDP-Tcp#N)\Total Received Rate'

  • '\RemoteFX Network(RDP-Tcp#N)\TCP Received Rate'

  • '\RemoteFX Network(RDP-Tcp#N)\UDP Received Rate'

  • '\RemoteFX Graphics(RDP-Tcp#N)\Input Frames/Second'

  • '\RemoteFX Graphics(RDP-Tcp#N)\Output Frames/Second'

  • '\RemoteFX Graphics(RDP-Tcp#N)\Frame Quality'

  • '\RemoteFX Graphics(RDP-Tcp#N)\Average Encoding Time'

  • '\RemoteFX Graphics(RDP-Tcp#N)\Graphics Compression ratio'

  • '\RemoteFX Graphics(RDP-Tcp#N)\Frames Skipped/Second - Insufficient Server Resources'

  • '\RemoteFX Graphics(RDP-Tcp#N)\Frames Skipped/Second - Insufficient Network Resources'

  • '\RemoteFX Graphics(RDP-Tcp#N)\Frames Skipped/Second - Insufficient Client Resources'

<#
.SYNOPSIS
    Help to define PerfMon Data Collectors
    Need manual launch if number of terminal sessions is changed

.DESCRIPTION
    идея в следующем:
        Сбором метрик занимается админ, при каждом новом входе 
        по RDP подключился админ (1 пользователь)
        запустил этот скрипт вручную и для каждого из 5 тестов появился свой сборщик данных
            админ запускает 1й..5й тесты (выборочно или все)
            одновременно с тестом запускает соответствующий сборщик, который сохранит замеры в отдельный файл
            таким образом на каждый тест будет свой файл с замерами

        далее по RDP дополнительно подключается пользователь
        админ перезапускает скрипт для обновления сборщиков, т.к. нужно делать замеры RemoteFX уже для 2х пользователей
            админ запускает 1й..5й тесты
            появляются ещё логи (замеры), но теперь уже для 2х сессий

        далее по RDP дополнительно подключается ещё пользователь
            ... 

    в итоге будут замеры для каждого количества пользователей:
        для админа (1 пользователь)
        для 1 пользователя И админа
        ...
        для 5 пользователей И админа

.NOTES
    Author: Dmitry Mikhaylov aka alt-air
#>

$RootDir = '{0}' -f ($MyInvocation.MyCommand.Definition | Split-Path -Parent)
$LogsDir = '{0}' -f (Join-Path -Path $RootDir -ChildPath 'logs')
$LogFile = '{0}' -f (Join-Path -Path $LogsDir -ChildPath '{0}')
$cfgGeneral = '{0}' -f (Join-Path -Path $RootDir -ChildPath 'CountersGeneral.cfg')
$cfgSession = '{0}' -f (Join-Path -Path $RootDir -ChildPath 'CountersSession.cfg')

try  # импорт вспомогательного модуля
{
    Import-Module -Force (Join-Path -Path $RootDir -ChildPath 'helper.psm1' -Resolve)
}
catch
{
    'failed import helper.psm1' | Write-Output
    break
}

$TermSessions = @(Get-quser)  # terminal sessions

#region остановка всех старых сборщиков данных
foreach ($Counter in Get-Logman)
{
    if ($Counter.Status -match 'Running') { $null = logman stop $Counter.'Data Collector Set' 2>&1 }
    # elseif ($Counter.Status -match 'Stopped') { $null = logman start $Counter.'Data Collector Set' 2>&1 }  # для дебага команды logman
}
#endregion


#region удаление всех старых сборщиков данных
foreach ($Counter in Get-Logman)
{
    if ($Counter.Status -match 'Stopped')
    {
        $null = logman delete $Counter.'Data Collector Set' 2>&1
    }
}
#endregion


#region обновление конфига счётчиков
$CountersGeneral = @(  # общие метрики, сразу для всех сеансов
    # счётчики памяти работают, если они запущены в этом маленьком сборщике данных. При объединении в один сборщик они перестают фиксировать показания
    '\Memory\% Committed Bytes In Use'
    '\Memory\Available Bytes'

    '\Processor Information(_Total)\% Processor Time'
    '\NVIDIA GPU(*)\% GPU Usage'
    '\NVIDIA GPU(*)\% GPU Memory Usage'
    '\NVIDIA GPU(*)\% FB Usage'
    '\NVIDIA GPU(*)\% Video Decoder Usage'
    '\NVIDIA GPU(*)\% Video Encoder Usage'
)

$CountersSession = @(  # метрики сеансов
    '\User Input Delay per Session({1})\Max Input Delay'  # задержка в указанном сеансе

    # '\RemoteFX Network(RDP-Tcp {0})\*'
    '\RemoteFX Network(RDP-Tcp {0})\Loss Rate'
    '\RemoteFX Network(RDP-Tcp {0})\Current TCP Bandwidth'
    '\RemoteFX Network(RDP-Tcp {0})\Current UDP Bandwidth'

    '\RemoteFX Network(RDP-Tcp {0})\Total Sent Rate'
    '\RemoteFX Network(RDP-Tcp {0})\TCP Sent Rate'
    '\RemoteFX Network(RDP-Tcp {0})\UDP Sent Rate'

    '\RemoteFX Network(RDP-Tcp {0})\Total Received Rate'
    '\RemoteFX Network(RDP-Tcp {0})\TCP Received Rate'
    '\RemoteFX Network(RDP-Tcp {0})\UDP Received Rate'

    # '\RemoteFX Graphics(RDP-Tcp {0})\*'
    '\RemoteFX Graphics(RDP-Tcp {0})\Input Frames/Second'
    '\RemoteFX Graphics(RDP-Tcp {0})\Output Frames/Second'
    '\RemoteFX Graphics(RDP-Tcp {0})\Frame Quality'
    '\RemoteFX Graphics(RDP-Tcp {0})\Average Encoding Time'
    '\RemoteFX Graphics(RDP-Tcp {0})\Graphics Compression ratio'
    '\RemoteFX Graphics(RDP-Tcp {0})\Frames Skipped/Second - Insufficient Server Resources'
    '\RemoteFX Graphics(RDP-Tcp {0})\Frames Skipped/Second - Insufficient Network Resources'
    '\RemoteFX Graphics(RDP-Tcp {0})\Frames Skipped/Second - Insufficient Client Resources'
)

# общие счётчики в конфиг
$null | Out-File -FilePath $cfgGeneral
foreach ($c in $CountersGeneral)
{
    $c | Out-File -FilePath $cfgGeneral -Append
}

# счётчики сеансов в конфиг
$null | Out-File -FilePath $cfgSession
foreach ($c in $CountersSession)
{
    foreach ($s in $TermSessions)
    {
        $c -f $s.SESSIONNAME.Split('#')[1], $s.ID | Out-File -FilePath $cfgSession -Append
    }
}
#endregion


#region добавление новых сборщиков, по одному на тест, в зависимости от количества терминальных сессий

# Counters.cfg
foreach ($t in $TestDefinitions.GetEnumerator())  # -ct <perf|system|cycle>
{
    $CNGen = "{0} users {1} general" -f ($t.Key, $TermSessions.Length)  # general data collector name
    $null = logman create counter -n $CNGen -f bin -max 10 -si 00:00:01 -rf ('00:0{0}:00' -f $duration) --v -ow -cf $cfgGeneral -o ($LogFile -f $CNGen)

    $CNSes = "{0} users {1} session" -f ($t.Key, $TermSessions.Length)  # session data collector name
    $null = logman create counter -n $CNSes -f bin -max 10 -si 00:00:01 -rf ('00:0{0}:00' -f $duration) --v -ow -cf $cfgSession -o ($LogFile -f $CNSes)
}
#endregion

@echo off

@REM смена кодировки нужна для powershell-скрипта "%~dpn0.ps1"
chcp 65001

@REM работаем в текущей папке скрипта
pushd "%~dp0"

@REM включаем расширения для переопределения переменных в цикле
setlocal EnableDelayedExpansion

@REM имена cmd и powershell скриптов должны совпадать
@REM powershell.exe -NoLogo -NoProfile -File "%~dpn0.ps1"
start "%~dpn0.ps1" /WAIT /B powershell.exe -Command "& {%~dpn0.ps1}"

@REM pause

<#
.SYNOPSIS
    Let select the RemoteFX benchmark and launch it

.DESCRIPTION
    Let select the RemoteFX benchmark and launch it
    показать список тестов на выбор, после выбора теста
        проверять, не запущен ли какой-либо тест
        завершить все неактуальные процессы с тестами
        каждые 3 минуты ровно в 00 секунд запустить выбранный тест

.NOTES
    Author: Dmitry Mikhaylov aka alt-air
#>

[CmdletBinding()]
param (
    $DelayValidation    = 0,    # magic number: delay before killing processes after validation running
    $DelayLogman        = 7,    # magic number: delay before running notepad after running main test
    $interval           = 0,    # waiting sync interval in minutes, batch file run it with '-interval 1'
    [switch] $gui       = $false
)


$RootDir = '{0}' -f ($MyInvocation.MyCommand.Definition | Split-Path -Parent)
$LogsDir = '{0}' -f (Join-Path -Path $RootDir -ChildPath 'logs')
$LogFile = '{0}' -f (Join-Path -Path $LogsDir -ChildPath 'match.csv')

try  # импорт вспомогательного модуля
{
    Import-Module -Force (Join-Path -Path $RootDir -ChildPath 'helper.psm1' -Resolve)
}
catch
{
    'failed import helper.psm1' | Write-Output

    break
}


#region select test and validation it through short running

try  # select and check the test
{
    if ($gui) { $t = $TestDefinitions | Out-GridView -Title 'Please, select RemoteFX test mode' -OutputMode Single }
    else
    {
        $TestDefinitions.Keys | Write-Output

        $key = @($TestDefinitions.Keys)[ ([int](Read-Host -Prompt 'select the test') <# - 1 #>) ]

        $t = $TestDefinitions.GetEnumerator() | Where-Object { $_.key -eq $key }  # иначе не работает нотация $t.Value.exe, только $t.Values
    }

    # $null = Start-Process -FilePath $t.Value.exe -ArgumentList $t.Value.param -WindowStyle Hidden  # -WhatIf появился только в PowerShell 7

    'debug message 1: {0} path to {1}' -f ((Test-Path -PathType Leaf -Path $t.Value.exe), $t.Value.exe) | Write-Warning
}
catch  # something go wrong...
{
    'no test selected or cannot run selected test {0}' -f $t.Key | Write-Output

    break
}
finally  # kill all possible old test processes
{
    $null = Start-Sleep -Seconds $DelayValidation  # magic number

    if ($env:USERNAME -match $manager)  # todo, bug here: need clear quser output to find current user is admin ('>')
    {
        # stop all data collectors
        foreach ($Counter in Get-Logman ) { if ($Counter.Status -match 'Running') { $null = logman stop $Counter.'Data Collector Set' 2>&1 } }

        $null = Clear-ProcessSpace
    }
}

#endregion


Sync-Tests -test $t.Key -period $interval


#region running selected test

$np = $TestDefinitions.GetEnumerator() | Where-Object {$_.Key -eq 'test #1 notepad'}

if ($null -eq $np)
{
    'debug message 2: cannot run notepad, $np is null{0}break...' -f "`n" | Write-Warning

    break
}

$ProcNpad = Start-Process -FilePath $np.Value.exe -ArgumentList $np.Value.param -PassThru
$ProcNpad.PriorityClass = 'Normal'  # Normal Idle High RealTime BelowNormal AboveNormal

$ProcTest = Start-Process -FilePath $t.Value.exe -ArgumentList $t.Value.param -PassThru
$ProcTest.PriorityClass = 'Normal'

$null = Start-Sleep -Seconds $DelayLogman  # delay for switching to notepad BEFORE start data collecting

#endregion


#region manage test process IF ADMIN (collect data, stop processes, logging, etc)

if ($env:USERNAME -match $manager)  # todo, bug here: need clear quser output to find current user is admin ('>')
{

    # stop all previous data collectors
    foreach ($Counter in Get-Logman )
    {
        if ($Counter.Status -match 'Running') { $null = logman stop $Counter.'Data Collector Set' 2>&1 }
    }

    # run selected test data collector
    foreach ($Counter in Get-Logman | Where-Object { $_.'Data Collector Set' -match $t.Key})
    {
        if ($Counter.Status -match 'Stopped') { $null = logman start $Counter.'Data Collector Set' 2>&1 }
    }


    # logging matching between username, rpd session number and session id
    $log = @()

    $TermSessions = @(Get-quser)

    foreach ($s in $TermSessions)
    {
        $log += New-Object psobject -Property @{
            'date'          = Get-Date -UFormat "%Y.%m.%d %H:%M:%S"
            'UTC offset'    = Get-Date -UFormat "%Z"
            'file'          = "{0} users {1} general.blg" -f ($t.Key, $TermSessions.Length)  # $t.Key
            'rdp user'      = $s.USERNAME
            'rdp session'   = $s.SESSIONNAME
            'rdp id'        = $s.ID
        }

        $log += New-Object psobject -Property @{
            'date'          = Get-Date -UFormat "%Y.%m.%d %H:%M:%S"
            'UTC offset'    = Get-Date -UFormat "%Z"
            'file'          = "{0} users {1} session.blg" -f ($t.Key, $TermSessions.Length)  # $t.Key
            'rdp user'      = $s.USERNAME
            'rdp session'   = $s.SESSIONNAME
            'rdp id'        = $s.ID
        }
    }

    $log | Select-Object -Property `
    'file',`
    'date',`
    'rdp user',`
    'rdp session',`
    'rdp id',`
    'UTC offset'`
    | Export-Csv -NoTypeInformation -Append -Force -Path $LogFile


    # kill process after test completed

    $WatchDog = [system.diagnostics.stopwatch]::startNew()  # tick-tack, WatchDog timer

    $durationS = $duration * 60 + 2

    while ($WatchDog.Elapsed.TotalSeconds -lt $durationS)
    {
        Write-Progress -Activity ("{0}" -f $t.Key) -SecondsRemaining ($durationS - $WatchDog.Elapsed.TotalSeconds) -CurrentOperation "waiting test completition"

        $null = Start-Sleep -Milliseconds 4987
    }

    # $ProcTest.Kill()
    # $ProcNpad.Kill()

    $null = Clear-ProcessSpace
}

#endregion

@echo off

@REM смена кодировки нужна для powershell-скрипта "%~dpn0.ps1"
chcp 65001

@REM работаем в текущей папке скрипта
pushd "%~dp0"

@REM включаем расширения для переопределения переменных в цикле
setlocal EnableDelayedExpansion

@REM имена cmd и powershell скриптов должны совпадать
@REM powershell.exe -File "%~dpn0.ps1"
start "%~dpn0.ps1" /WAIT /B powershell.exe -Command "& {%~dpn0.ps1 -interval 1 -gui:$false}"

@REM pause

$duration   = 2         # test duration
$manager    = 'admin'   # username, who can manage test process  # production
# $manager    = 'user'    # username, who can manage test process  # debug

$TestDefinitions = [ordered] @{  # схема тестов
    # DEBUG ONLY
    "test #0 DEBUG"  = New-Object psobject -Property @{
        "exe" = "${env:ProgramFiles(x86)}\Windows Media Player\wmplayer.exe"
        "param" = @(<# "/Playlist", #> "$env:PUBLIC\Music\Playlists\mp4-qt-mp4.wpl", "/fullscreen")
    }

    "test #1 notepad"   = New-Object psobject -Property @{
        "exe" = "$env:SystemRoot\system32\notepad.exe"
        "param" = @("/w")
    }

    "test #2 FurMark"   = New-Object psobject -Property @{
        "exe" = "${env:ProgramFiles(x86)}\Geeks3D\Benchmarks\FurMark\FurMark.exe"
        "param" = @("/nogui", "/nomenubar", "/fullscreen", "/max_time=150000")
    }

    "test #3 WMPlayer"  = New-Object psobject -Property @{
        "exe" = "${env:ProgramFiles(x86)}\Windows Media Player\wmplayer.exe"
        "param" = @(<# "/Playlist", #> "$env:PUBLIC\Music\Playlists\mp4-qt-mp4.wpl", "/fullscreen")
    }

    "test #4 youtube"   = New-Object psobject -Property @{
        "exe" = "$env:ProgramW6432\Mozilla Firefox\firefox.exe"
        "param" = @("-new-window", "--kiosk", "https://www.youtube.com/embed/LXb3EKWsInQ?autoplay=1&end=140&fs=1&rel=0&loop=1")
    }

    "test #5 WebGL"     = New-Object psobject -Property @{
        "exe" = "$env:ProgramW6432\Mozilla Firefox\firefox.exe"
        "param" = @("-new-window", "--kiosk", "https://webglsamples.org/sprites/index.html")
    }
}


$users = @{
    'administrator' = 0
    '1'             = 1
    '2'             = 2
    '3'             = 3
    '4'             = 4
    '5'             = 5
}


function Get-quser  # запрашивает данные по активным терминальным сессиям и возвращает их в виде объекта
{   # https://devblogs.microsoft.com/scripting/automating-quser-through-powershell/
    # USERNAME SESSIONNAME ID STATE  IDLE TIME LOGON TIME
    # -------- ----------- -- -----  --------- ----------
    # 1        rdp-tcp#90  3  Active 1:46      13.01.2021 11:31
    # 2        rdp-tcp#49  4  Active 1:46      13.01.2021 12:19

    param ()

    $qusers = quser 2>&1 | `
        ForEach-Object -Process { $_ -replace '\s{2,}',',' } | `
        ForEach-Object -Process { $_ -replace '>','' } | `
        ConvertFrom-Csv | `
        Where-Object { $_.state -match 'active'}  # -and $_.username -notmatch 'administrator' }

    return $qusers
}

function Get-Logman  # запрашивает состояние сборщиков метрик и возвращает их в виде объекта
{
    # Data Collector Set Type    Status
    # ------------------ ----    ------
    # <name 1>           Counter Stopped
    # <name 2>           Counter Stopped

    param ()

    $pmOld = logman 2>&1 | Where-Object { $_ -notmatch 'successfully' -and  $_ -notmatch '[-]{2,}'} | ForEach-Object -Process { $_ -replace '\s{2,}',',' } | ConvertFrom-Csv

    return $pmOld
}


function Sync-Tests  # синхронизирует запуск тестов в разных RDP-сеансах
{
    param (
        [string]    $test   = 'no test',
        [int]       $period = 1  # test run every X minute
    )

    $FixTime = Get-Date

    try
    {
        $SecondsTotal = (60 * ($period - 1) - $FixTime.Second) * ($FixTime.Minute % $period -ne 0) + (60 * $period  - $FixTime.Second) * ($FixTime.Minute % $period -eq 0)
    }
    catch
    {
        $SecondsTotal = 0
    }

    while ( ((Get-Date).Second -ne 0 -or (Get-Date).Minute % $period -ne 0) -and $SecondsTotal -gt 0 )  # запуск теста в 00 секунд кратно интервалу
    {
        $null = Start-Sleep -Milliseconds (1000 - (Get-Date).Millisecond)

        $FixTime = Get-Date

        try
        {
            $SecondsLeft = (60 * ($period - 1) - $FixTime.Second) * ($FixTime.Minute % $period -ne 0) + (60 * $period  - $FixTime.Second) * ($FixTime.Minute % $period -eq 0)
        }
        catch
        {
            $SecondsLeft = 0
        }

        try
        {
            Write-Progress -Activity ("{0}" -f $test) -SecondsRemaining $SecondsLeft -CurrentOperation "waiting sync before running test" #-PercentComplete ($SecondsLeft / $SecondsTotal * 100)
        }
        catch { <# '{0} {1}' -f $SecondsTotal, $SecondsLeft #> }
    }
}


function Clear-ProcessSpace  # удаляет процессы, запущенные для теста
{
    param ()

    $ProcToKill = ($TestDefinitions.Values.exe | Split-Path -Leaf | ForEach-Object { $_.Split('.')[0] })

    foreach ($p in $ProcToKill) { Get-Process -name ('*{0}*' -f $p) | Stop-Process -Force }
}


Export-ModuleMember -Function * -Variable *

[CmdletBinding()]
param (
    [switch] $su       = $False  # substitute username instead session id/number
)

$WasError = $False
$ErrMessages = @()

$RootDir = '{0}' -f ($MyInvocation.MyCommand.Definition | Split-Path -Parent)
$LogsDir = '{0}' -f (Join-Path -Path $RootDir -ChildPath 'logs' -Resolve)
$LogFile = '{0}' -f (Join-Path -Path $LogsDir -ChildPath 'match.csv' -Resolve)

try  # импорт вспомогательного модуля
{
    Import-Module -Force (Join-Path -Path $RootDir -ChildPath 'helper.psm1' -Resolve)
}
catch
{
    'failed import helper.psm1' | Write-Output

    break
}


$EncodeFrom = [System.Text.Encoding]::GetEncoding(1251)
$EncodeTo = New-Object System.Text.UTF8Encoding $False

$Heads = @()  # для вывода заголовков в отдельный контрольный файл

# приводим заголовки csv файлов к единому виду, убираем ненужное
foreach ( $f in (Get-ChildItem -Path $LogsDir -File -Filter '*.csv' | Where-Object {$_.Name -notin @('match.csv', 'heads.csv')}) )
{
    $null = $f.BaseName -match 'users.(?<n>[0-9]{1,}).*'

    $n = [int]$Matches['n']

    $csv = Import-Csv -Path $LogFile `
        | Where-Object {$_.file -match $f.BaseName} #`
        | Select-Object -Last $n

    $FileContent = $f | Get-Content -Encoding $EncodeFrom

    $HeadOrig = $FileContent[0]


    # "\\TESTGPU\NVIDIA GPU(#0 GRID M60-1Q (id=1, NVAPI ID=513))\% GPU Memory Usage"
    if ($HeadOrig -match '.*(?<hostname>\\\\[a-zA-Z0-9]*\\).*') { $HeadOrig = $HeadOrig.Replace($Matches['hostname'], '') }

    if ($HeadOrig -match '.*NVIDIA GPU(?<gpu>\(#[A-Z0-9 ]*-[A-Z0-9]* \(id=[0-9,]* NVAPI ID=[0-9]*\)\))') { $HeadOrig = $HeadOrig.Replace($Matches['gpu'], '') }


    # замена session на номер пользователя из $users
    while ($HeadOrig -match '(?<session>\(RDP-Tcp.[0-9]{1,}\))')
    {
        if ($su)  # если нужно, то все данные во всех тестах будут одинаково промаркированы по номеру пользователя из хэштаблицы $users
        {
            # RDP-Tcp 19 в $Matches['session'] сравнить с rdp-tcp#19 в csv и заменить на $users['administrator']
            $s = ((($Matches['session'] -replace ' ', '#') -replace '\(', '') -replace '\)', '').ToLower()

            $c = $csv | Where-Object {$_.'rdp session' -eq $s}

            # перехват ошибки, когда сессия во время теста вылетела, а тесты были продолжены БЕЗ переустановки счётчиков
            try { $HeadOrig = $HeadOrig.Replace($Matches['session'], (' {0}' -f $users[$c.'rdp user'])) }
            catch
            {
                # бывает так, что сессия во время теста вылетела, юзер перезашёл и получил новый номер сессии
                # и если не остановить тест и не переопределить счётчики,
                # то в blg-файле окажутся пустые данные по счётчикам старой, вылетевшей сессии,
                # а в csv-файле будет указана уже новая активная сессия
                # и попытка отформатировать заголовоки упадёт с ошибкой.
                # чтобы узнать сбойный файл(-ы) и перезамерить тесты, ошибка перехватывается

                $WasError = $true

                $ErrMsg = "'{0}.blg'`n" -f $f.BaseName

                $ErrMsg += "`tin blg empty data for session`n`t`t{0}`n`tbut in CSV no such session`n" -f $Matches['session']

                $csv.'rdp session' | % {$ErrMsg += "`t`t{0}`n" -f $_}

                $ErrMsg += "`t{0}`n" -f $_

                $ErrMessages += $ErrMsg

                break  # break while
            }
        }
        else
        {
            $HeadOrig = $HeadOrig.Replace($Matches['session'], '')
        }
    }


    # замена id на номер пользователя из $users
    while ($HeadOrig -match '(?<id>\([0-9]{1,}\))')
    {
        if ($su)  # если нужно, то все данные во всех тестах будут одинаково промаркированы по номеру пользователя из хэштаблицы $users
        {
            # (2) в $Matches['id'] сравнить с rdp id в csv и заменить на $users['administrator']
            $s = (($Matches['id'] -replace '\(', '') -replace '\)', '')

            $c = $csv | Where-Object {$_.'rdp id' -eq $s}

            # перехват ошибки, когда сессия во время теста вылетела, а тесты были продолжены БЕЗ переустановки счётчиков
            try { $HeadOrig = $HeadOrig.Replace($Matches['id'], (' {0}' -f $users[$c.'rdp user'])) }
            catch
            {
                # бывает так, что сессия во время теста вылетела, юзер перезашёл и получил новый номер сессии
                # и если не остановить тест и не переопределить счётчики,
                # то в blg-файле окажутся пустые данные по счётчикам старой, вылетевшей сессии,
                # а в csv-файле будет указана уже новая активная сессия
                # и попытка отформатировать заголовоки упадёт с ошибкой.
                # чтобы узнать сбойный файл(-ы) и перезамерить тесты, ошибка перехватывается

                $WasError = $true

                $ErrMsg = "'{0}.blg'`n" -f $f.BaseName

                $ErrMsg += "`tin blg empty data for session`n`t`t{0}`n`tbut in CSV no such session`n" -f $Matches['session']

                $csv.'rdp session' | % {$ErrMsg += "`t`t{0}`n" -f $_}

                $ErrMsg += "`t{0}`n" -f $_

                $ErrMessages += $ErrMsg

                break  # break while
            }
        }
        else
        {
            $HeadOrig = $HeadOrig.Replace($Matches['id'], '')
        }
    }


    # "(PDH-CSV 4.0) (Russia TZ 2 Standard Time)(-180)"
    if ($HeadOrig -match '.*(?<time>\(.*\) \(.*Time\)\([0-9 +-]*\))') { $HeadOrig = $HeadOrig.Replace($Matches['time'], 'Time') }

    $FileContent[0] = $HeadOrig  # перезапись заголовка

    $FileContent | Out-File -Encoding $EncodeTo -FilePath $f.FullName

    $Heads += '"{0}",{1}' -f $f.Name, $HeadOrig  # сохранение заголовка
}


# вывод заголовков столбцов в отдельный файл для доп. контроля порядка, названий и т.д.
$Heads | Out-File -Encoding $EncodeTo -FilePath (Join-Path -Path $LogsDir -ChildPath 'heads.csv')


if ($WasError)  # перехват ошибки, когда сессия во время теста вылетела, а тесты были продолжены БЕЗ переустановки счётчиков
{
    $ErrMessages | Write-Error

    [Environment]::Exit(-123)
}

@echo off

@REM смена кодировки нужна для powershell-скрипта "%~dpn0.ps1"
chcp 65001

@REM работаем в текущей папке скрипта
cd "%~dp0logs"


@REM включаем расширения для переопределения переменных в цикле
setlocal EnableDelayedExpansion

@REM цикл по двоичным файлам мониторинга
FOR /F "usebackq delims=." %%a IN (`dir *.blg /b`) DO (
    set "blg=%%a.blg"
    set "csv=%%a.csv"

    @REM convert binary to csv
    relog "!blg!" -f csv -o "!csv!" -y
)

@REM имена cmd и powershell скриптов должны совпадать
@REM pwsh.exe -NoLogo -NoProfile -File "%~dpn0.ps1"
start "%~dpn0.ps1" /WAIT /B pwsh.exe -Command "& {%~dpn0.ps1 -su:$true}"

if %ERRORLEVEL% == 0 (
    exit
) else (
    pause
    exit
)


@REM справка reglog - утилиты работы с журналами производительности
@REM https://docs.microsoft.com/ru-ru/windows-server/administration/windows-commands/relog

Обработка замеров

ось Y одинаково масштабирована внутри одной метрики

Для понимания масштабирования vGPU на несколько терминальных сеансов были проведены следующие замеры:

• три теста (см. 1ю часть): 3D тест, проигрывание локального плейлиста, проигрывание youtube-ролика

• три случая: каждый тест воспроизводился в одном, двух и трёх терминальных сеансах одновременно

Таким образом по одной метрике будет построено 9 графиков:

• в колонках показаны результаты тестов

• в рядах - количество одновременных RDP-сеансов

          test2   test3   test4
        -------------------------
1 user  |       |       |       |
        -------------------------
2 users |       |       |       |
        -------------------------
3 users |       |       |       |
        -------------------------

# Подготовка данных
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.ticker import EngFormatter  # для вывода форматированных единиц измерения

pd.options.display.max_rows = 999
plt.rcParams['figure.max_open_warning'] = 99  # порог предупреждения при одновременном построении нескольких рисунков
%matplotlib inline

# импорт замеров трёх тестов в комбинации с 1, 2 и 3 одновременными сеансами RDP
# второй тест - 3d benchmark
t21 = pd.concat([pd.read_csv('./logs/test #2 FurMark users 1 general.csv', na_values=' '), pd.read_csv('./logs/test #2 FurMark users 1 session.csv', na_values=' ')], join='inner', axis=1)
t22 = pd.concat([pd.read_csv('./logs/test #2 FurMark users 2 general.csv', na_values=' '), pd.read_csv('./logs/test #2 FurMark users 2 session.csv', na_values=' ')], join='inner', axis=1)
t23 = pd.concat([pd.read_csv('./logs/test #2 FurMark users 3 general.csv', na_values=' '), pd.read_csv('./logs/test #2 FurMark users 3 session.csv', na_values=' ')], join='inner', axis=1)
# t23.info()

# третий тест - проигрывание локальных видеофайлов
t31 = pd.concat([pd.read_csv('./logs/test #3 WMPlayer users 1 general.csv', na_values=' '), pd.read_csv('./logs/test #3 WMPlayer users 1 session.csv', na_values=' ')], join='inner', axis=1)
t32 = pd.concat([pd.read_csv('./logs/test #3 WMPlayer users 2 general.csv', na_values=' '), pd.read_csv('./logs/test #3 WMPlayer users 2 session.csv', na_values=' ')], join='inner', axis=1)
t33 = pd.concat([pd.read_csv('./logs/test #3 WMPlayer users 3 general.csv', na_values=' '), pd.read_csv('./logs/test #3 WMPlayer users 3 session.csv', na_values=' ')], join='inner', axis=1)
# t33.info()

# четвёртый тест - просмотр youtube в 1080p60
t41 = pd.concat([pd.read_csv('./logs/test #4 youtube users 1 general.csv', na_values=' '), pd.read_csv('./logs/test #4 youtube users 1 session.csv', na_values=' ')], join='inner', axis=1)
t42 = pd.concat([pd.read_csv('./logs/test #4 youtube users 2 general.csv', na_values=' '), pd.read_csv('./logs/test #4 youtube users 2 session.csv', na_values=' ')], join='inner', axis=1)
t43 = pd.concat([pd.read_csv('./logs/test #4 youtube users 3 general.csv', na_values=' '), pd.read_csv('./logs/test #4 youtube users 3 session.csv', na_values=' ')], join='inner', axis=1)
# t41.info()

dataframes = [
    [t21, t31, t41],
    [t22, t32, t42],
    [t23, t33, t43],
]

fgs = [  # макет и свойства графиков: комментирование метрики отключает построение её диаграммы
    # n         номер рисунка для сортировки и вывода по-порядку
    # ysamescale    нужно ли использовать один масштаб по Y для всех графиков метрики
    # yscale    масштаб единиц измерения
    # yunit     единица измерения
    # ydata     колонка из датафрейма
    # desc      название рисунка

    # r'...\UDP...' это fix of (unicode error) 'unicodeescape' codec can't decode bytes in position 20-22: truncated \UXXXXXXXX escape    

    # общие счётчики
    {'n': 3,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'Processor Information(_Total)\% Processor Time', 'desc': 'Загрузка центрального процессора'},

    {'n': 7,    'ysamescale': True,     'yscale': 1,        'yunit': 'B',   'ydata': 'Memory\Available Bytes', 'desc': 'Доступная оперативная память'},
    {'n': 7,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'Memory\% Committed Bytes In Use', 'desc': 'Загрузка оперативной памяти'},

    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% GPU Usage', 'desc': 'Загрузка видеопроцессора'},
    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% GPU Memory Usage', 'desc': 'Загрузка видеопамяти'},
    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% FB Usage', 'desc': 'Загрузка фреймбуфера GPU'},
    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% Video Encoder Usage', 'desc': 'Загрузка энкодера GPU'},
    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% Video Decoder Usage', 'desc': 'Загрузка декодера GPU'},

    # счётчики сеансов
    {'n': 1,    'ysamescale': False,    'yscale': 0.001,    'yunit': 's',   'ydata': 'User Input Delay per Session {0}\Max Input Delay', 'desc': 'Максимальная задержка ввода на сеанс'},

    {'n': 5,    'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Input Frames/Second', 'desc': 'Графика RemoteFX, Входящих кадров в секунду', 'yMin': 0, 'yMax': 50},
    {'n': 5,    'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Output Frames/Second', 'desc': 'Графика RemoteFX, Исходящих кадров в секунду', 'yMin': 0, 'yMax': 50},

    {'n': 33,   'ysamescale': False,    'yscale': 0.001,    'yunit': 's',   'ydata': 'RemoteFX Graphics {0}\Average Encoding Time', 'desc': 'Графика RemoteFX, Среднее время кодирования кадра'},
    {'n': 33,   'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'RemoteFX Graphics {0}\Frame Quality', 'desc': 'Графика RemoteFX, Качество кадра'},
    {'n': 33,   'ysamescale': False,    'yscale': 1,        'yunit': '%',   'ydata': 'RemoteFX Graphics {0}\Graphics Compression ratio', 'desc': 'Графика RemoteFX, Коэффициент сжатия графических данных'},

    {'n': 22,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\Total Sent Rate', 'desc': 'Сеть RemoteFX, Общая скорость передачи'},
    {'n': 22,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\Total Received Rate', 'desc': 'Сеть RemoteFX, Общая скорость приёма'},
    {'n': 22,   'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'RemoteFX Network {0}\Loss Rate', 'desc': 'Сеть RemoteFX, Потери'},

    {'n': 44,   'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Frames Skipped/Second - Insufficient Network Resources', 'desc': 'Графика RemoteFX, Пропуск кадров из-за нехватки сетевых ресурсов'},
    {'n': 44,   'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Frames Skipped/Second - Insufficient Server Resources', 'desc': 'Графика RemoteFX, Пропуск кадров из-за нехватки ресурсов сервера'},
    {'n': 44,   'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Frames Skipped/Second - Insufficient Client Resources', 'desc': 'Графика RemoteFX, Пропуск кадров из-за нехватки ресурсов клиента'},

    {'n': 55,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': r'RemoteFX Network {0}\UDP Sent Rate', 'desc': 'Сеть RemoteFX, Скорость передачи, UDP'},
    {'n': 55,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': r'RemoteFX Network {0}\UDP Received Rate', 'desc': 'Сеть RemoteFX, Скорость приёма, UDP'},
    {'n': 55,   'ysamescale': True,     'yscale': 1000,     'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\Current UDP Bandwidth', 'desc': 'Сеть RemoteFX, Пропускная способность UDP-подключения'},

    {'n': 55,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\TCP Sent Rate', 'desc': 'Сеть RemoteFX, Скорость передачи, TCP'},
    {'n': 55,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\TCP Received Rate', 'desc': 'Сеть RemoteFX, Скорость приёма, TCP'},
    {'n': 55,   'ysamescale': True,     'yscale': 1000,     'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\Current TCP Bandwidth', 'desc': 'Сеть RemoteFX, Пропускная способность TCP-подключения'},
]

fgs.sort(key=lambda counter: counter['n'])

null = [print(f"{el['n']:>2} {el['ysamescale']:<1} {el['yunit']:^5} {el['desc']:<64}") for el in fgs]

# Поиск и сохранение пределов по оси Y в fgs
y_lim_scale = 0.13  # коэффициент пределов по Y: рамки графика должны быть чуть шире, чтобы график не сливался с ними

# сведение всех замеров в одну таблицу для поиска max/min
alldf = pd.concat([t21, t22, t23, t31, t32, t33, t41, t42, t43], axis=1, join='inner')
print('debug: должно быть 3*3=9 значений', alldf['Memory\Available Bytes'].max(), sep='\n')

allusr = set([n for n in range(11) if 'User Input Delay per Session {0}\Max Input Delay'.format(n) in alldf.columns])  # все пользователи, которые встретились в замерах
print(f'\nпользователи: {allusr}\n')

for c in fgs:
    # метрики сеанса
    if '0' in c['ydata']:
        c.setdefault('yMax', 0)
        c.setdefault('yMin', 0)

        for u in allusr:
            if c['yMax'] < max(alldf[c['ydata'].format(u)].max()):
                c['yMax'] = max(alldf[c['ydata'].format(u)].max())

            if c['yMin'] > min(alldf[c['ydata'].format(u)].min()):
                c['yMin'] = min(alldf[c['ydata'].format(u)].min())
    # общая метрика
    else:
        c.setdefault('yMax', max(alldf[c['ydata']].max()))
        c.setdefault('yMin', min(alldf[c['ydata']].min()))

    if c['yMin'] == c['yMax']:  # когда оба предела одинаковые, будет ошибка при установке ax.set_ylim(...)
        c['yMin'] = -1
        c['yMax'] = +1

    # немного расширяем границы, чтобы линии графика были внутри границ, а не совпадали с верхом/низом
    c['yMin'] = (c['yMin'] - c['yMin'] * y_lim_scale - 1) * c.setdefault('yscale', 1)
    c['yMax'] = (c['yMax'] + c['yMax'] * y_lim_scale + 1) * c.setdefault('yscale', 1)

Null = [print(f"{c['yMin']:>20} {c['yMax']:>20}\t{c['ydata']}") for c in fgs]  # debug: fgs теперь содержит верхний и нижний пределы для каждой метрики

# Построение графиков
ax_titles = ['test #2: 3D benchmark', 'test #3: play 1080p video', 'test #4: play 1080p youtube video']

for m in fgs:  # сколько метрик, столько рисунков (диаграмм 3x3)

    fig, axs = plt.subplots(3, 3, figsize=(15, 8), sharex='col', sharey='row')  # диаграмма 3х3=9 графиков

    # имя рисунка
    fig.suptitle(f"Рис. {fgs.index(m) + 1:>2}.   {m['desc']}", fontsize=14)

    # фон рисунка белый вместо прозрачного
    fig.patch.set_facecolor('white')

    # подпись верхнего ряда названием теста
    [ax.set_title(title) for ax, title in zip(axs[0, :], ax_titles)]

    # подпись левой колонки количеством пользователей
    [ax.set(ylabel=f"{n} {'user' if n == 1 else 'users'}") for ax, n in zip(axs[:, 0], range(1,4))]

    # дубль шкалы в правую колонку
    [ax.yaxis.set_tick_params(labelleft=False, labelright=True, which='major') for ax in axs[:,2]]

    # ряды графиков в диаграмме
    for axrow, dfrow in zip(axs, dataframes):

        # график в ряду
        for ax, df, title in zip(axrow, dfrow, ax_titles):

            # список пользователей, которые участвовали в текущем замере
            usl = [n for n in range(11) if 'User Input Delay per Session {0}\Max Input Delay'.format(n) in df.columns]

            # графики сессий
            if '{0}' in m['ydata']:

                # легенда текущего графика зависит от количества пользователей в замере
                lgn = [f"user {u}, average {EngFormatter(places=0).format_eng(df[m['ydata'].format(u)].mean() * m.get('yscale', 1) )}{m['yunit']}" for u in usl]

                for u in usl:
                    ax.plot(df.index.values, df[m['ydata'].format(u)] * m.get('yscale', 1))

            # общие графики
            else:
                ax.plot(df.index.values, df[m['ydata']] * m.get('yscale', 1))
                avg = EngFormatter(places=0).format_eng(df[m['ydata']].mean() * m.get('yscale', 1) )
                lgn = [f"{len(usl)} {'user' if len(usl) == 1 else 'users'}, average {avg}{m['yunit']}"]

            ax.legend(lgn, fontsize=8)

            ax.set_xlim(0, 119)  # метка '120' засоряла график
            if m['ysamescale']:
                ax.set_ylim(m['yMin'], m['yMax'])  # единый масштаб оси Y для всех 9 графиков

            ax.xaxis.set_tick_params(which='major', labelcolor='grey')  # подписи к X-шкале
            ax.yaxis.set_tick_params(which='major', labelcolor='grey')  # подписи Y-шкале

            ax.grid(axis='y')  # горизонтальная сетка
            ax.grid(axis='x')  # вертикальная сетка

            ax.xaxis.set_major_formatter(EngFormatter(unit='s'))  # по X секунды
            ax.yaxis.set_major_formatter(EngFormatter(unit=m['yunit']))  # по Y у каждого графика своя ед. изм.

            fig.tight_layout()

Обработка замеров, альтернативный вариант

ось Y одинаково масштабирована внутри одной метрики

Для понимания масштабирования vGPU на несколько терминальных сеансов были проведены следующие замеры:

• три теста (см. 1ю часть): 3D тест, проигрывание локального плейлиста, проигрывание youtube-ролика

• три случая: каждый тест воспроизводился в одном, двух и трёх терминальных сеансах одновременно

Таким образом по одной метрике будет построено 9 графиков:

• в колонках находятся результаты для разного количества одновременных RDP-сеансов

• в рядах - тесты

         1 user  2 users 3 users
        -------------------------
test2   |       |       |       |
        -------------------------
test3   |       |       |       |
        -------------------------
test4   |       |       |       |
        -------------------------

# Подготовка данных
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.ticker import EngFormatter  # для вывода форматированных единиц измерения

pd.options.display.max_rows = 999
plt.rcParams['figure.max_open_warning'] = 99  # порог предупреждения при одновременном построении нескольких рисунков
%matplotlib inline

# импорт замеров трёх тестов в комбинации с 1, 2 и 3 одновременными сеансами RDP
# второй тест - 3d benchmark
t21 = pd.concat([pd.read_csv('./logs/test #2 FurMark users 1 general.csv', na_values=' '), pd.read_csv('./logs/test #2 FurMark users 1 session.csv', na_values=' ')], join='inner', axis=1)
t22 = pd.concat([pd.read_csv('./logs/test #2 FurMark users 2 general.csv', na_values=' '), pd.read_csv('./logs/test #2 FurMark users 2 session.csv', na_values=' ')], join='inner', axis=1)
t23 = pd.concat([pd.read_csv('./logs/test #2 FurMark users 3 general.csv', na_values=' '), pd.read_csv('./logs/test #2 FurMark users 3 session.csv', na_values=' ')], join='inner', axis=1)
# t23.info()

# третий тест - проигрывание локальных видеофайлов
t31 = pd.concat([pd.read_csv('./logs/test #3 WMPlayer users 1 general.csv', na_values=' '), pd.read_csv('./logs/test #3 WMPlayer users 1 session.csv', na_values=' ')], join='inner', axis=1)
t32 = pd.concat([pd.read_csv('./logs/test #3 WMPlayer users 2 general.csv', na_values=' '), pd.read_csv('./logs/test #3 WMPlayer users 2 session.csv', na_values=' ')], join='inner', axis=1)
t33 = pd.concat([pd.read_csv('./logs/test #3 WMPlayer users 3 general.csv', na_values=' '), pd.read_csv('./logs/test #3 WMPlayer users 3 session.csv', na_values=' ')], join='inner', axis=1)
# t33.info()

# четвёртый тест - просмотр youtube в 1080p60
t41 = pd.concat([pd.read_csv('./logs/test #4 youtube users 1 general.csv', na_values=' '), pd.read_csv('./logs/test #4 youtube users 1 session.csv', na_values=' ')], join='inner', axis=1)
t42 = pd.concat([pd.read_csv('./logs/test #4 youtube users 2 general.csv', na_values=' '), pd.read_csv('./logs/test #4 youtube users 2 session.csv', na_values=' ')], join='inner', axis=1)
t43 = pd.concat([pd.read_csv('./logs/test #4 youtube users 3 general.csv', na_values=' '), pd.read_csv('./logs/test #4 youtube users 3 session.csv', na_values=' ')], join='inner', axis=1)
# t41.info()

dataframes = [
    [t21, t22, t23],
    [t31, t32, t33],
    [t41, t42, t43],
]

fgs = [  # макет и свойства графиков: комментирование метрики отключает построение её диаграммы
    # n         номер рисунка для сортировки и вывода по-порядку
    # ysamescale    нужно ли использовать один масштаб по Y для всех графиков метрики
    # yscale    масштаб единиц измерения
    # yunit     единица измерения
    # ydata     колонка из датафрейма
    # desc      название рисунка

    # r'...\UDP...' это fix of (unicode error) 'unicodeescape' codec can't decode bytes in position 20-22: truncated \UXXXXXXXX escape    

    # общие счётчики
    {'n': 3,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'Processor Information(_Total)\% Processor Time', 'desc': 'Загрузка центрального процессора'},

    {'n': 7,    'ysamescale': True,     'yscale': 1,        'yunit': 'B',   'ydata': 'Memory\Available Bytes', 'desc': 'Доступная оперативная память'},
    {'n': 7,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'Memory\% Committed Bytes In Use', 'desc': 'Загрузка оперативной памяти'},

    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% GPU Usage', 'desc': 'Загрузка видеопроцессора'},
    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% GPU Memory Usage', 'desc': 'Загрузка видеопамяти'},
    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% FB Usage', 'desc': 'Загрузка фреймбуфера GPU'},
    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% Video Encoder Usage', 'desc': 'Загрузка энкодера GPU'},
    {'n': 9,    'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'NVIDIA GPU\% Video Decoder Usage', 'desc': 'Загрузка декодера GPU'},

    # счётчики сеансов
    {'n': 1,    'ysamescale': False,    'yscale': 0.001,    'yunit': 's',   'ydata': 'User Input Delay per Session {0}\Max Input Delay', 'desc': 'Максимальная задержка ввода на сеанс'},

    {'n': 5,    'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Input Frames/Second', 'desc': 'Графика RemoteFX, Входящих кадров в секунду', 'yMin': 0, 'yMax': 50},
    {'n': 5,    'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Output Frames/Second', 'desc': 'Графика RemoteFX, Исходящих кадров в секунду', 'yMin': 0, 'yMax': 50},

    {'n': 33,   'ysamescale': False,    'yscale': 0.001,    'yunit': 's',   'ydata': 'RemoteFX Graphics {0}\Average Encoding Time', 'desc': 'Графика RemoteFX, Среднее время кодирования кадра'},
    {'n': 33,   'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'RemoteFX Graphics {0}\Frame Quality', 'desc': 'Графика RemoteFX, Качество кадра'},
    {'n': 33,   'ysamescale': False,    'yscale': 1,        'yunit': '%',   'ydata': 'RemoteFX Graphics {0}\Graphics Compression ratio', 'desc': 'Графика RemoteFX, Коэффициент сжатия графических данных'},

    {'n': 22,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\Total Sent Rate', 'desc': 'Сеть RemoteFX, Общая скорость передачи'},
    {'n': 22,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\Total Received Rate', 'desc': 'Сеть RemoteFX, Общая скорость приёма'},
    {'n': 22,   'ysamescale': True,     'yscale': 1,        'yunit': '%',   'ydata': 'RemoteFX Network {0}\Loss Rate', 'desc': 'Сеть RemoteFX, Потери'},

    {'n': 44,   'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Frames Skipped/Second - Insufficient Network Resources', 'desc': 'Графика RemoteFX, Пропуск кадров из-за нехватки сетевых ресурсов'},
    {'n': 44,   'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Frames Skipped/Second - Insufficient Server Resources', 'desc': 'Графика RemoteFX, Пропуск кадров из-за нехватки ресурсов сервера'},
    {'n': 44,   'ysamescale': True,     'yscale': 1,        'yunit': 'FPS', 'ydata': 'RemoteFX Graphics {0}\Frames Skipped/Second - Insufficient Client Resources', 'desc': 'Графика RemoteFX, Пропуск кадров из-за нехватки ресурсов клиента'},

    {'n': 55,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': r'RemoteFX Network {0}\UDP Sent Rate', 'desc': 'Сеть RemoteFX, Скорость передачи, UDP'},
    {'n': 55,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': r'RemoteFX Network {0}\UDP Received Rate', 'desc': 'Сеть RemoteFX, Скорость приёма, UDP'},
    {'n': 55,   'ysamescale': True,     'yscale': 1000,     'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\Current UDP Bandwidth', 'desc': 'Сеть RemoteFX, Пропускная способность UDP-подключения'},

    {'n': 55,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\TCP Sent Rate', 'desc': 'Сеть RemoteFX, Скорость передачи, TCP'},
    {'n': 55,   'ysamescale': True,     'yscale': 1,        'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\TCP Received Rate', 'desc': 'Сеть RemoteFX, Скорость приёма, TCP'},
    {'n': 55,   'ysamescale': True,     'yscale': 1000,     'yunit': 'bps', 'ydata': 'RemoteFX Network {0}\Current TCP Bandwidth', 'desc': 'Сеть RemoteFX, Пропускная способность TCP-подключения'},
]

fgs.sort(key=lambda counter: counter['n'])

null = [print(f"{el['n']:>2} {el['ysamescale']:<1} {el['yunit']:^5} {el['desc']:<64}") for el in fgs]

# Поиск и сохранение пределов по оси Y в fgs
y_lim_scale = 0.13  # коэффициент пределов по Y: рамки графика должны быть чуть шире, чтобы график не сливался с ними

# сведение всех замеров в одну таблицу для поиска max/min
alldf = pd.concat([t21, t22, t23, t31, t32, t33, t41, t42, t43], axis=1, join='inner')
print('debug: должно быть 3*3=9 значений', alldf['Memory\Available Bytes'].max(), sep='\n')

allusr = set([n for n in range(11) if 'User Input Delay per Session {0}\Max Input Delay'.format(n) in alldf.columns])  # все пользователи, которые встретились в замерах
print(f'\nпользователи: {allusr}\n')

for c in fgs:
    # метрики сеанса
    if '0' in c['ydata']:
        c.setdefault('yMax', 0)
        c.setdefault('yMin', 0)

        for u in allusr:
            if c['yMax'] < max(alldf[c['ydata'].format(u)].max()):
                c['yMax'] = max(alldf[c['ydata'].format(u)].max())

            if c['yMin'] > min(alldf[c['ydata'].format(u)].min()):
                c['yMin'] = min(alldf[c['ydata'].format(u)].min())
    # общая метрика
    else:
        c.setdefault('yMax', max(alldf[c['ydata']].max()))
        c.setdefault('yMin', min(alldf[c['ydata']].min()))

    if c['yMin'] == c['yMax']:  # когда оба предела одинаковые, будет ошибка при установке ax.set_ylim(...)
        c['yMin'] = -1
        c['yMax'] = +1

    # немного расширяем границы, чтобы линии графика были внутри границ, а не совпадали с верхом/низом
    c['yMin'] = (c['yMin'] - c['yMin'] * y_lim_scale - 1) * c.setdefault('yscale', 1)
    c['yMax'] = (c['yMax'] + c['yMax'] * y_lim_scale + 1) * c.setdefault('yscale', 1)

Null = [print(f"{c['yMin']:>20} {c['yMax']:>20}\t{c['ydata']}") for c in fgs]  # debug: fgs теперь содержит верхний и нижний пределы для каждой метрики

# Построение графиков
title_tests = ['test #2 \n3D benchmark', 'test #3 \nplay 1080p video', 'test #4 \nplay 1080p youtube video']

for m in fgs:  # сколько метрик, столько рисунков (диаграмм 3x3)

    fig, axs = plt.subplots(3, 3, figsize=(15, 8), sharex='col', sharey='row')  # диаграмма 3х3=9 графиков

    # имя рисунка
    fig.suptitle(f"Рис. {fgs.index(m) + 1:>2}.   {m['desc']}", fontsize=14)

    # фон рисунка белый вместо прозрачного
    fig.patch.set_facecolor('white')

    # подпись верхнего ряда количеством пользователей
    [ax.set_title(f"{n} {'user' if n == 1 else 'users'}") for ax, n in zip(axs[0, :], range(1, 4))]

    # подпись левой колонки названием теста
    [ax.set(ylabel=title) for ax, title in zip(axs[:, 0], title_tests)]

    # дубль шкалы в правую колонку
    [ax.yaxis.set_tick_params(labelleft=False, labelright=True, which='major') for ax in axs[:, 2]]

    # ряды графиков в диаграмме
    for axrow, dfrow in zip(axs, dataframes):

        # график в ряду
        for ax, df in zip(axrow, dfrow):

            # список пользователей, которые участвовали в текущем замере
            usl = [n for n in range(11) if 'User Input Delay per Session {0}\Max Input Delay'.format(n) in df.columns]

            # графики сессий
            if '{0}' in m['ydata']:

                # легенда текущего графика зависит от количества пользователей в замере
                lgn = [f"user {u}, average {EngFormatter(places=0).format_eng(df[m['ydata'].format(u)].mean() * m.get('yscale', 1))}{m['yunit']}" for u in usl]

                for u in usl:
                    ax.plot(df.index.values, df[m['ydata'].format(u)] * m.get('yscale', 1))

            # общие графики
            else:
                ax.plot(df.index.values, df[m['ydata']] * m.get('yscale', 1))
                avg = EngFormatter(places=0).format_eng(df[m['ydata']].mean() * m.get('yscale', 1))
                lgn = [f"{len(usl)} {'user' if len(usl) == 1 else 'users'}, average {avg}{m['yunit']}"]

            ax.legend(lgn, fontsize=8)

            ax.set_xlim(0, 119)  # метка '120' засоряла график
            if m['ysamescale']:
                ax.set_ylim(m['yMin'], m['yMax'])  # единый масштаб оси Y для всех 9 графиков

            ax.xaxis.set_tick_params(which='major', labelcolor='grey')  # подписи к X-шкале
            ax.yaxis.set_tick_params(which='major', labelcolor='grey')  # подписи Y-шкале

            ax.grid(axis='y')  # горизонтальная сетка
            ax.grid(axis='x')  # вертикальная сетка

            ax.xaxis.set_major_formatter(EngFormatter(unit='s'))  # по X секунды
            ax.yaxis.set_major_formatter(EngFormatter(unit=m['yunit']))  # по Y у каждого графика своя ед. изм.

            fig.tight_layout()