核心提示:robots.txt和nofollow都可以禁止搜索引擎抓取页面,如果你同时使用了robots.txt文件和robots meta标签,如果robots.txt和meta标
robots.txt和nofollow都可以禁止搜索引擎抓取页面,如果你同时使用了robots.txt文件和robots meta标签,如果robots.txt和meta标签有冲突,googlebot将使用限制更严的。具体来说:
如果你在robots.txt里禁止了某一页,Googlebot永远也不会去索引那一页,也不会读取那一页的任何标识。南京大金空调维修
如果你在robot.txt中允许,但是在页面中使用 meta 标签对其进行限制,那么Googlebots会访问那一页,读取里面的标签,但不会对其进行索引。
以上就是关于【我来分享:同时使用robots.txt和nofollow meta标签有冲突吗?】的相关消息了,希望对大家有所帮助!
免责声明:以上所展示的信息由网友自行发布,内容的真实性、准确性和合法性由发布者负责。 裹足不进便民网对此不承担任何保证责任, 裹足不进便民网仅提供信息存储空间服务。任何单位或个人如对以上内容有权利主张(包括但不限于侵犯著作权、商业信誉等),请与我们联系并出示相关证据,我们将按国家相关法规即时移除。