网站中设置robots文件和sitemap无疑对网站的优化起到了重要作用,更有利于网站快速有效被爬取和收录,那么如何有效的设置robots和sitemap呢？下面就说一下我的一些小建议。
        首先是sitemap的使用：
        总结起来就是两必须、一索引、一声明：网站必须有建立sitemap文件、根目录下必须要有sitemap.xml文件；建立sitemap的索引文件；在robots.txt声明你的sitemap文件。
        但是值得注意的是,各个搜索引擎对于sitemap的理解和接受是不一样的，这里面的技术问题我们也无法去讨论，但是实践证明，如果你的站点结构合理，收录也正常，完全没有必要去做什么sitemap，所以个人认为，sitemap比较适合小规模的站点，并且是站点结构不太合理的小规模站点，如果你的网站结构合理，搜索引擎均能自己完成收录。
        其次是robots的使用：
        1. 根据需要设立robots.txt文件。robots.txt文件是专门给你搜索引擎看的，告诉他这个网站那些地方你可以爬行，那些地方你不可以爬行。或者哪些蜘蛛可以爬行，哪些蜘蛛不能爬行。对任何一个东西进行优化，首先要了解它是干什么用的。如果你的网站有特殊设置，可以利用robots.txt来设置。
        2. 把你网站的非实质内容页面及目录在robot.txt中设定。
        总之,在做网站优化的时候，我们不仅要进行网站内容，外链，内链的优化，还需要从sitemap.xml和robots.txt这些细节之处着手,做到更加全面的优化。