深圳SEO云哥学习笔记分享：了解301,404,robots,网站地图基础知识及制作

一：RObots和SEO技巧？

答：Robots.txt是爬行协议，机器人协议等，也是网络爬虫排除协议（robots Exclusion Protocol）通过网站SEO优化通过Robots协议

告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取；

Robots拿来做屏蔽不必要的文件目录抓取及允许抓取部分；

用来优化蜘蛛爬行的作用；

提高爬行效率的作用；

减少宽度消耗的作用；、

防止双收录的作用；

可提交网站地图

如何设置Robots?

答：新建Robots.txt

编辑内容；

上传到根目录；

Robots的语法？

答：User-agent:用来表示搜索引擎的名称；

User-agent: (空格)Baiduspider：首字母大写；

备注：在冒号后边，要加个空格，否则不生效；

User-agent: * (代表所有搜索引擎)

Disallow 作用：禁止收录：

Disallow: /（作用：禁止收录所有）

Disallow: /user/login.html (禁止收录这个文件)

禁止搜索引擎收录所用的动态URL：Disallow: *?*

Disallow: /user/*.html (禁止收录这个栏目下面所有html文件)

Disallow: /user/ps* (作用：禁止收录USER目录下的所有PS开头文件)

Disallow: /*adm ?????????disallow: /adm*

Allow: 作用是允许收录：

Allow: / ??Allow: .jpg$

Allow: /html*

---