Ok-Bad-1632 | 1 points | Mar 12 2022 21:58:13

sub里有没有懂浏览器的越共来指导一下

有些网站强制登录才可以看,但又能被搜索引擎搜索到,那它得是对爬虫开放的吧。那么普通的浏览器有没有办法通过扩展,脚本啥的来伪装成搜索引擎的爬虫来直接看那些要强制登录的网站?

[-] billychung | 1 points | Mar 12 2022 23:13:46

把user-agent: 改為Googlebot