Re: [OT] fetch a stránka

[Jindrich Fucik]

waw, díky za nasměřování.
Nečekal jsem, že dopadnu na blacklist s robotem, kterej dělá jeden dotaz 
za den. Tak jsem robotovi dodal jiné IP a uvidíme, kdy zabanujou 
dalšího. A přidal jsem jim zábavné hlavičky, jako třeba referer a tak.

Dne 04.12.2025 v 10:31 Marián Černý napsal(a):
> Ahoj,
> 
> mne fetch na FreeBSD funguje, takže to je asi blokovanie na základe niečoho iného, napríklad IP adresy.
> 
> Ináč je to možné si z web browseru cez developer tools vygenerovať curl request so všetkými hlavičkami. (Niečo ako Copy as cURL)
> 
> Napríklad u mňa na Safari na MacOS:
> 
> curl 'https://www.chmi.cz/files/portal/docs/meteo/om/predpovedi/kraje/p_ph_strucna.html' \
> -X 'GET' \
> -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' \
> -H 'Sec-Fetch-Site: none' \
> -H 'Cookie: _ga=GA1.1.1335391397.1764837299; _ga_79ZN9E9Y6E=GS2.1.s1764837299$o1$g0$t1764837299$j60$l0$h0' \
> -H 'Sec-Fetch-Mode: navigate' \
> -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.6 Safari/605.1.15' \
> -H 'Accept-Language: en-US,en;q=0.9' \
> -H 'Accept-Encoding: gzip, deflate, br' \
> -H 'Sec-Fetch-Dest: document' \
> -H 'Priority: u=0, i'
> 
> Takto to pošle totožný request, ako posielal browser.
> 
> V tejto forme to curl ešte nevypíše, lebo výstup je komprimovaný:
> 
> Warning: Binary output can mess up your terminal. Use "--output -" to tell curl to output it to your terminal anyway, or consider "--output  Warning: <FILE>" to save to a file.
> 
> Tak buď umazať hlavičku Accept-Encoding alebo pridať parameter --compressed.
> 
> Majo
> 
> 
>> On 4. 12. 2025, at 9:29, Jindrich Fucik <fulda at seznam.cz> wrote:
>>
>> Ahoj,
>>
>> narazil jsem na problém, kterému asi úplně nerozumím. Systému FreeBSD se asi týká jen okrajově.
>> Máme stránku: https://www.chmi.cz/files/portal/docs/meteo/om/predpovedi/kraje/p_ph_strucna.html
>>
>> když si jí otevřu v prohlížeči, dostanu celkem přijatelný obsah.
>> Dlouhá léta jsem si ten obsah stahoval pomocí fetch a posílal na mobilní zařízení:
>> /usr/bin/fetch -qo - "https://www.chmi.cz/files/portal/docs/meteo/om/predpovedi/kraje/p_ph_strucna.html"
>>
>> Tento týden mi však fetch (stejně tak například lynx) začal havarovat, nejprve s chybou "pernament redirect" a dnes 404 - not found. Předpokládám, že zavedli nějakou zábavnou hru na filtrování podle nějakých hlaviček, ale nevím podle kterých, nebo co se jim na fetch nelíbí. Pochopitelně parametr --user-agent jsem zkusil použít.
>>
>> Zajímá mne to spíš ze zvědavosti.
>>
>> Díky
> 
>