cim vic jader CPU, tim pomalejsi

[Zdenek Havrlik]

Hezky den,

omlouvam se pokud budu mimo misu, nebo to tuz proslo, jednak nejsem 
uplne BSD odbornik, delam spis do linuxu, a zde to odbiram pro inspiraci 
a prehled o podobnych problemech.

Nedavno jsme v praci na VMWare resili takovou vec ktera se jmenuje 
"co-stop".   Chovani vsak  je podobne cim vice CPU tim mensi vykon.

Shrnuto:

1.  Vm nesmi mit vice CPU nez jeden fyzicky procesor kuli NUMA.

2.  Pokud na hostiteli bezi nekolik VM masin, napriklad 5 kousku, kde 
VMka maji po treba 4 vCPU a fycicke CPU ma 16 core, mohou se na na 
procesoru stridat casteji a nektere vytizene ho ani nemusi opoustet.

Pokud vsak k temto VM pridam dalsi byt treba nevytizene VM s 16vCPU, mam 
problem,  hostitel musi zastavit vsechny ostatni VM a na procesoru 
pustit prave  pouze to jedno 16corove VM.  Pricemz ta rezie a 
synchronizace zastaveni vsech VM neni zadarmo.

To muze delat problemy.

Mejte hezky den.

Zdenek


Dne 6.4.2021 v 15:03 Miroslav Lachman napsal(a):
> On 04/04/2021 19:07, Dan Lukes wrote:
>
>> Smula. S temi tvymi 2261 zaznamy mi to meri prakticky nulu bez ohledu 
>> na pocet procesoru. Tak jsem si chtel soubor zvetsit a zjistil jsem, 
>> ze vic nez 32768 radku mit nemuze.
>
> To by me teda vazne zajimalo, co je u me jinak nez u tebe, ze ty 
> tenhle problem vubec nepozorujes ja a ho pozoruju na 3 ruznych 
> strojich s ruznyma verzema FreeBSD a ruznyma virtualizacnima 
> technologiema.
>
> Zatim souhrn toho, kam jsem se dostal. A a R je oznaceni pro dva ruzne 
> stroje, ale identickych HW parametru (oba dva maji stejny procesor, 
> stejny motherboard, jinou verzi FreeBSD)
>
> ## A, FreeBSD 11.4 GENERIC + VBox 5.2.44
> CPU: Intel(R) Xeon(R) CPU E3-1240 V2 @ 3.40GHz (3400.10-MHz K8-class CPU)
> FreeBSD/SMP: Multiprocessor System Detected: 8 CPUs
> FreeBSD/SMP: 1 package(s) x 4 core(s) x 2 hardware threads
>
> 2 vCPU: Usr: 0.000s  Krnl: 0.310s  Totl: 0:00.31s
> 4 vCPU: Usr: 0.000s  Krnl: 0.914s  Totl: 0:00.91s
> 6 vCPU: Usr: 0.000s  Krnl: 3.021s  Totl: 0:03.02s
> 7 vCPU: Usr: 0.000s  Krnl: 4.552s  Totl: 0:04.55s
> 8 vCPU: Usr: 0.000s  Krnl: 8.496s  Totl: 0:08.49s
>
> ## A, FreeBSD 11.4 GEN_S4BSD + VBox 5.2.44  tady jsem si zapsal jen tu 
> nejvyssi 8 vCPU konfiguraci)
> 8 vCPU: Usr: 0.007s  Krnl: 7.787s  Totl: 0:07.79s
> 8 vCPU: Usr: 0.000s  Krnl: 7.902s  Totl: 0:07.90s
> 8 vCPU: Usr: 0.007s  Krnl: 8.032s  Totl: 0:08.04s
>
> ## A, FreeBSD 11.4 GENERIC + Bhyve
> 1 vCPU: Usr: 0.000s  Krnl: 0.006s  Totl: 0:00.00s
> 2 vCPU: Usr: 0.000s  Krnl: 0.528s  Totl: 0:00.52s
> 4 vCPU: Usr: 0.007s  Krnl: 1.425s  Totl: 0:01.43s
> 6 vCPU: Usr: 0.000s  Krnl: 2.782s  Totl: 0:02.78s
> 8 vCPU: Usr: 0.000s  Krnl: 3.577s  Totl: 0:03.57s
>
> ## A, FreeBSD 11.4 GEN_S4BSD + Bhyve
> 1 vCPU: Usr: 0.000s  Krnl: 0.003s  Totl: 0:00.00s
> 2 vCPU: Usr: 0.000s  Krnl: 0.538s  Totl: 0:00.53s
> 4 vCPU: Usr: 0.000s  Krnl: 1.533s  Totl: 0:01.53s
> 6 vCPU: Usr: 0.007s  Krnl: 2.618s  Totl: 0:02.62s
> 8 vCPU: Usr: 0.000s  Krnl: 3.863s  Totl: 0:03.86s
>
>
>
> ## R, FreeBSD 12.2 GENERIC + Bhyve
> CPU: Intel(R) Xeon(R) CPU E3-1240 V2 @ 3.40GHz (3400.09-MHz K8-class CPU)
> FreeBSD/SMP: Multiprocessor System Detected: 8 CPUs
> FreeBSD/SMP: 1 package(s) x 4 core(s) x 2 hardware threads
>
> 1 vCPU: Usr: 0.000s  Krnl: 0.006s  Totl: 0:00.00s
> 2 vCPU: Usr: 0.000s  Krnl: 0.525s  Totl: 0:00.52s
> 4 vCPU: Usr: 0.000s  Krnl: 1.407s  Totl: 0:01.40s
> 6 vCPU: Usr: 0.007s  Krnl: 2.345s  Totl: 0:02.35s
> 8 vCPU: Usr: 0.007s  Krnl: 3.589s  Totl: 0:03.59s
>
> Z vyse uvedeneho je videt, ze GENERIC s ULE a GENERIC s 4BSD 
> schedulerem neni moc velky rozdil.
> Ani FreeBSD 11.4 vs 12.2 neni nijak zasadne jine.
>
> Co je podstatny rozdil je VirtualBOx 5.2.44 vs Bhyve = s Bhyve se 
> dostavam na mene nez polovicni casy pro 8 vCPU konfiguraci. Coz je 
> sice "hezky", ale porad je to strasne pomaly oproti 1 nebo 2 vCPU
>
>> Pripominam, ze host je
>>> CPU: AMD EPYC 7282 16-Core Processor                 (2794.81-MHz 
>
> Je mozny, ze by AMD EPYC mel nejakou "super featuru" pro virtualizaci, 
> ktera neni pritomna u Intel Xeon E3-1240 v2 a to ze by delalo tak 
> zasadni rozdil?
>
>> Jen na okraj, pri tehle prilezitosit jsme zjistil, ze kdyz zvednu 
>> virtualni masine pocet procesoru, tak se skutecne pridaji jako 
>> "unplug" a musim je jeden po druhem aktivovat. A snizit pocet 
>> procesoru nejde dokud je nejdriv vsechny "navic" neodpojim (unplug). 
>> Tak se to urcite driv nechovalo, tak pozor.
>
> A je tohle chovani nekde popsane v dokumentaci / pkg-message? Me by 
> asi ani nenapadlo neco takoveho hledat, takze jsem rozhodne rad, ze 
> jsi se o tom zminil.
> Dneska se snad dostanu k testovani VBox 6.1, tak uvidim, jestli se to 
> bude u me chovat stejne jako u tebe s tema unplug CPU.
>
> Diky!
>
> Mirek