Re: [OT] fetch a stránka

[Marián Černý]

Ahoj,

mne fetch na FreeBSD funguje, takže to je asi blokovanie na základe niečoho iného, napríklad IP adresy.

Ináč je to možné si z web browseru cez developer tools vygenerovať curl request so všetkými hlavičkami. (Niečo ako Copy as cURL)

Napríklad u mňa na Safari na MacOS:

curl 'https://www.chmi.cz/files/portal/docs/meteo/om/predpovedi/kraje/p_ph_strucna.html' \
-X 'GET' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' \
-H 'Sec-Fetch-Site: none' \
-H 'Cookie: _ga=GA1.1.1335391397.1764837299; _ga_79ZN9E9Y6E=GS2.1.s1764837299$o1$g0$t1764837299$j60$l0$h0' \
-H 'Sec-Fetch-Mode: navigate' \
-H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.6 Safari/605.1.15' \
-H 'Accept-Language: en-US,en;q=0.9' \
-H 'Accept-Encoding: gzip, deflate, br' \
-H 'Sec-Fetch-Dest: document' \
-H 'Priority: u=0, i'

Takto to pošle totožný request, ako posielal browser.

V tejto forme to curl ešte nevypíše, lebo výstup je komprimovaný:

Warning: Binary output can mess up your terminal. Use "--output -" to tell curl to output it to your terminal anyway, or consider "--output  Warning: <FILE>" to save to a file.

Tak buď umazať hlavičku Accept-Encoding alebo pridať parameter --compressed.

Majo


> On 4. 12. 2025, at 9:29, Jindrich Fucik <fulda at seznam.cz> wrote:
> 
> Ahoj,
> 
> narazil jsem na problém, kterému asi úplně nerozumím. Systému FreeBSD se asi týká jen okrajově.
> Máme stránku: https://www.chmi.cz/files/portal/docs/meteo/om/predpovedi/kraje/p_ph_strucna.html
> 
> když si jí otevřu v prohlížeči, dostanu celkem přijatelný obsah.
> Dlouhá léta jsem si ten obsah stahoval pomocí fetch a posílal na mobilní zařízení:
> /usr/bin/fetch -qo - "https://www.chmi.cz/files/portal/docs/meteo/om/predpovedi/kraje/p_ph_strucna.html" 
> 
> Tento týden mi však fetch (stejně tak například lynx) začal havarovat, nejprve s chybou "pernament redirect" a dnes 404 - not found. Předpokládám, že zavedli nějakou zábavnou hru na filtrování podle nějakých hlaviček, ale nevím podle kterých, nebo co se jim na fetch nelíbí. Pochopitelně parametr --user-agent jsem zkusil použít.
> 
> Zajímá mne to spíš ze zvědavosti.
> 
> Díky