用户1340774522 转发了 @tombkeeper
的微博:有些网站禁止未登陆用户访问，但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。
所以，只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12，点下面那三个点，在菜单中选 Network conditions，然后将 User Agent 设置为 Googlebot 即可。
的微博:有些网站禁止未登陆用户访问，但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。所以，只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12，点下面那三个点，在菜单中选 Network conditions，然后将 User Agent 设置为 Googlebot 即可。
![[哆啦A梦吃惊]](https://h5.sinaimg.cn/m/emoticon/icon/doraemon/dr_01chijing-31d5542cca.png){kind=icon}