delete milionů souborů na ZFS

[Dan Lukes]

On 01/24/13 16:55, Milan Cizek:
> mám ZFS úložiště (defaultní nastavení) a potřebuji dost často odmazávat
> stará data - miliony malých souborů. Momentálně mažu pomocí rm -rf, běh
> mazacího skriptu trvá ale několik hodin a dost to stroj vytíží. Je nějaká
> možnost mazat efektivněji a rychleji?

Kdysi jsme podobnou ulohu resil na UFS. Tam to ovsme bylo tak, ze data 
byla v jednom podstromu a kdyz je bylo treba mazat, bylo treba smazat 
vsechny. Rychlejsi tak bylo namountovat do prislusneho mista podstromu 
samostatny svazek a ten v okamziku, kdy nastala potreba smazani proste 
naformatovat.

Nevim, zda tvoje struktura dat umoznuje neco podobneho. Pokud ano je to 
velmi efektivni.

Jinak ale neexistuje jiny systemovy zpusob jak smazat strukturu nez to 
co dela rm -rf. Pokdu nema ZFS nejaky specificky zpusob jak to udelat 
rychleji (ja ZFS az tak do detailu neznam, ale nezda se mi, ze ma), tak 
to rychleji nejspis nepujde. Mozna by urcity vliv mohlo mit nastaveni 
atime na off, ale zazraky bych si od toho nesliboval. Jestli by pomohla 
nebo nepomohla ZFS cache si v tomto pripade netroufam vubec odhadnout.


Pokud neprijdes na nic zazracneho a vadi ti to vytizeni behem behu 'rm 
-rf' tak "trivialnim" resenim je vytvorit si upraveny klon rm -rf ktery 
bude mazat trochu pomaleji, tedy primerene dele, ale masinu zas tolik 
nevytizi. V tomhle pripade ti totiz asi nepomuze system priorit - ten 
reguluje celkem dobre vytizeni CPU, nikoliv ale vytizeni IO subsystemu.


Dan