用户1340774522 转发了 @tombkeeper
的微博:有些网站禁止未登陆用户访问,但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。
所以,只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12,点下面那三个点,在菜单中选 Network conditions,然后将 User Agent 设置为 Googlebot 即可。
转发理由: //
@敖天羽://
@EyreFree:
![[哆啦A梦吃惊]](//h5.sinaimg.cn/m/emoticon/icon/doraemon/dr_chijing-31d5542cca.png)
//
@tombkeeper:F12 这招只对当前标签页有效,适合临时查个资料看一下。对某些需要长时间沉浸式体验的网站,可以直接在命令行上修改全局 User Agent:chrome.exe --user-agent="Mozilla/5.0 (compatible; Googlebot/2.1)"
2019-03-08 11:18:31 举报 收藏 操作
南沢泉理://
@蓝色粒子://
@hm08dive ://
@迷咕子 :这思路绝了//
@EyreFree :
![[哆啦A梦吃惊]](//h5.sinaimg.cn/m/emoticon/icon/doraemon/dr_chijing-31d5542cca.png)
//
@tombkeeper :F12 这招只对当前标签页有效,适合临时查个资料看一下。对某些需要长时间沉浸式体验的网站,可以直接在命令行上修改全局 User Agent:chrome.exe --user-agent="Mozilla/5.0 (compatible; Googlebot/2.1)"
赞[0] 2019-03-08 20:40:39 来自iPhone
叶月辉夜
:可以,马了//
@志津香推V2 ://
@hm08dive ://
@迷咕子 :这思路绝了//
@tombkeeper :F12 这招只对当前标签页有效,适合临时查个资料看一下。对某些需要长时间沉浸式体验的网站,可以直接在命令行上修改全局 User Agent:chrome.exe --user-agent="Mozilla/5.0 (compatible; Googlebot/2.1)"
赞[0] 2019-03-08 14:00:18 来自微博国际版