sprava pameti / volna pamet

[Dan Lukes]

Divacky Roman napsal/wrote, On 08/10/06 10:21:
>> to proto, ze kdyz mam dva stroje, jeden s 512MB a druhy 1GB ram a pustim 
>> na nich stejny zatezovy test, ktery zapisuje na disk a zpetne cte a 
>> porovnava md5 velke soubory porad dokola, po chvili behu dojde veskera 
>> volna pamet, ale samozrejme se nezacne swapovat

> v pripade "md5 big_file" si myslim ze (neznam algoritmus md5) veskera pamet se
> spotrebuje pouze na cachovani toho souboru. 

	MD5 ma konstantni pametovou narocnost (nezavislou na celkove velikosti 
dat, ze kterych se hash pocita). To mimochodem plati snad pro vsechny 
hashovaci algoritmy.

> coz stejne ale nedava moc smysl pokud
> je md5 proudovy hash (tj. cte soubor sekvence a kazdy bajt jen jednou)

	Ale dava - kdy bys chtel bloky souboru umistoval do cache ?

	Well - lepsi algoritmus by mohlo byt je do cache umistovat teprve 
tehdy, kdyz je nekdo v kratke dobe chce podruje - to by bylo vystaveno 
na teorii, ze jeden pristup k souboru muze byt "nahoda", ale kdyz s e k 
nemu pristupuje dvakrat, tak je asi casteji pouzivany a mel by byt v cache.

	Ale - zaprve - o tom predpokladu by bylo mozne diskutovat a za druhe, 
bylo by to daleko narocnejsi (byla by potreba si pamatovat, ktere bloky 
disky byly v dobe nedavne pozadovany, lec nebyly ulozeny do cache) a je 
otazka, jestli by overhead teto logiky nebyl vetsi nez vykon 
efektivnejsim cacheovanim ziskany ...

	Takze - cteny soubor se proste uklada do cache, kdyby ho chtel nekdo 
znovu. To, ze duvod jeho cteni je vypocet MD5 hashe - a tedy soubor v 
dohledne dobe zrejem nikdo chtit nebude - to system nevi (a navic je to 
stejne diskutabilni hypoteza).

	Nevim, jestli by to systemu slo nejak rict - treba pomoci O_DIRECT. 
Obavam se, ze ne, to je jina uroven cacheovani.

						Dan


-- 
Dan Lukes                                   SISAL MFF UK
AKA: dan at obluda.cz, dan at freebsd.cz,dan at kolej.mff.cuni.cz