Ok-Bad-1632 | 1 points | Mar 12 2022 21:58:13
有些网站强制登录才可以看,但又能被搜索引擎搜索到,那它得是对爬虫开放的吧。那么普通的浏览器有没有办法通过扩展,脚本啥的来伪装成搜索引擎的爬虫来直接看那些要强制登录的网站?
[-] billychung | 1 points | Mar 12 2022 23:13:46
把user-agent: 改為Googlebot
[-] billychung | 1 points | Mar 12 2022 23:13:46
把user-agent: 改為Googlebot