2018-06-12  1,336 views 评论

深圳SEO学习笔记:了解301,404,robots,网站地图基础知识及制作

深圳SEO云哥学习笔记分享:了解301,404,robots,网站地图基础知识及制作

一:RObots和SEO技巧?

答:Robots.txt是爬行协议,机器人协议等,也是网络爬虫排除协议(robots Exclusion Protocol)通过网站SEO优化通过Robots协议

告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取;

Robots拿来做屏蔽不必要的文件目录抓取及允许抓取部分;

用来优化蜘蛛爬行的作用;

提高爬行效率的作用;

减少宽度消耗的作用;、

防止双收录的作用;

可提交网站地图

如何设置Robots?

答:新建Robots.txt

编辑内容;

上传到根目录;

Robots的语法?

答:User-agent:用来表示搜索引擎的名称;

User-agent: (空格)Baiduspider:首字母大写;

备注:在冒号后边,要加个空格,否则不生效;

User-agent: * (代表所有搜索引擎)

Disallow 作用:禁止收录:

Disallow: /(作用:禁止收录所有)

Disallow: /user/login.html (禁止收录这个文件)

禁止搜索引擎收录所用的动态URL:Disallow: *?*

Disallow: /user/*.html (禁止收录这个栏目下面所有html文件)

Disallow: /user/ps* (作用:禁止收录USER目录下的所有PS开头文件)

Disallow: /*adm ?????????disallow: /adm*

Allow: 作用是允许收录:

Allow: / ??Allow: .jpg$

Allow: /html*


给我留言

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: