URL地址优化
        为网站上的文件创建具有良好描述性的分类名和文件名，不仅可以更好地组织网站结构，还有助于搜索引擎更有效地抓取文件。虽然搜索引擎能够抓取复杂的URL，但提供相对简单的URL，对于用户和搜索引擎来说都是有帮助的。

        优化URL结构的主要方法有，网站自始至终都使用一个URL地址，不要来回变更地址，如果用带www的域名地址，则将不带www的域名使用301重定向技术重定向到主要地址，避免使用大小写字母的URL，网站的URL尽量使用静态URL，避免使用动态URL，URL越短越好，URL的内容使用拼音或者英文最好，方便记忆。对于动态网站来说，使用伪静态技术可以让网站的外部看起来和静态网站一样，利于搜索引擎的索引。

网站导航
        网站的导航功能对于帮助用户迅速找到他们想要的内容来说是很重要的，它对帮助搜索引擎理解该网站有哪些重要内容同样非常重要。网站地图是将网站上用于展示网站结构的网页以层级式列表的方式展示。网站导航的主要目的是为了方便用户，但同时它也有利于搜索引擎对整个网站页面更全面地抓取。

        主要的网站导航方法有，创造一个自然的层叠结构的网站地图页面，这个导航页面可以让用户很容易地从主干页面找到他们需要的特定内容，有必要的话可以在保证内部链接结构合理的基础上添加导航页。

        使用面包屑（breadcrumb）导航模式，面包屑导航是指在网页顶端或者底部放置的一排内部链接，它使用户可以方便地回到上一层结构中的网页或者主页。大多数面包屑导航通常会从最具概括性的页面开始（通常是主页），越往右指向的页面内容越具体，例如“首页-》栏目-》具体文章标题”。

目录结构
        目录结构最好用一级到二级，不要超过三级。目录的组织方式尽量采用：首页-》栏目页-》内容页。目录名采用拼音或者英文。避免使用多层嵌套的子目录。

robots.txt
        robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况。

        当我们不希望网站中的某些页面被搜索引擎抓取，也许这些网页在搜索结果中出现对于用户来说并没多大用处，就可以把这些页面放在robots.txt里，这可以保证网站的某些内容不出现在搜索结果中。

Sitemaps
        Sitemaps可方便网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页，有点象BLOG的RSS功能，是一个方便自己的服务，如果大家（互联网上所有的信息源）都采用了这种方式提交自己的更新的话，搜索引擎就再也不用派出那么多爬虫辛辛苦苦的到处乱窜了，任何一个站点，只要有更新，便会自动“通知”搜索引擎，方便搜索引擎进行索引。

        Sitemaps文件通常是XML格式的，格式比较简单，Sitemaps协议以 开始标记开始，以 结束标记结束。 每个网址包含一个作为父标记的 条目。 每一个 父标记包括一个 子标记条目。是网页文件的网址。此网址应以http开始并少于2048个字符。 表示该文件上次修改的日期。此日期允许删除时间部分，例如YYYY-MM-DD。

Nofollow的使用
        nofollow标签是由Google领头新创的一个标签，目的是尽量减少垃圾链接对搜索引擎的影响，减少博客的垃圾留言，目前百度、Google、Yahoo、微软都支持这一标签。当超级链接中出现nofollow标签后，搜索引擎会不考虑这些链接的权重，也不用使用这些链接用于排名。

        nofollow标签通常有两种使用方法：一种方法是将"nofollow"写在网页上的meta标签上，用来告诉搜索引擎不要抓取网页上的所有外部和包括内部链接。例如： 。另一种方法是将"nofollow"放在超链接中，告诉搜索引擎不要抓取特定的链接