导航结构
网站导航是对引导用户访问网站的的栏目、菜单、在线帮助、布局结构等形式的统称。其主要功能在于引导用户方便地访问网站内容，是评价网站专业度、可用度的重要指标。同时对搜索引擎也产生诸多提示作用。概括地讲，网站在导航方面应注意以下几点：
1、 主导航醒目清晰
主导航一般体现为一级目录，通过它们用户和蜘蛛程序都可以层层深入访问到网站所有重要内容。因此主栏目必须在网站首页第一屏的醒目位置体现，并最好采用文本链接而不是图片。
2、 “面包屑型(Breadcrumbs)”路径
所谓“面包屑”是比喻用户通过主导航到目标网页的访问过程中的路径提示，使用户了解所处网站中的位置而不至于迷失“方向”，并方便回到上级页面和起点。路径中的每个栏目最好添加链接
搜索引擎优化基本定义
搜索引擎优化是针对搜索引擎对网页的检索特点,让网站建设各项基本要素适合搜
索引擎的检索原则,从而获得搜索引擎收录尽可能多的网页,并在搜索引擎自然检索结果中
排名靠前,最终达到网站推广的目的.
搜索引擎优化的主要工作是通过了解各类搜索引擎如何抓取互联网页面、如何进行索引
以及如何确定 其对某一特定关键词的搜索结果排名等技术，来对网页内容进行相关的优化，
使其符合用户浏览习惯，在不损害用户体验的情况下提高搜索引擎排名，从而提高网站 访
问量，最终提升网站的销售能力或宣传能力的技术。所谓“针对搜寻引擎优化处理”，是为
了要让网站更容易被搜寻引擎接受。搜寻引擎会将网站彼此间的内容做 一些相关性的资料
比对，然后再由浏览器将这些内容以最快速且接近最完整的方式，呈现给搜寻者。由于不少
研究发现，搜索引擎的用户往往只会留意搜索结果最开 首的几项条目，所以不少商业网站
都希望透过各种形式来干扰搜索引击的排序。当中尤以各种依靠广告维生的网站为甚。目前
SEO 技术被很多目光短浅的人，用一 些SEO 作弊的不正当的手段，牺牲用户体验，一味迎
合搜索引擎的缺陷，来提高排名，这种SEO 方法是不可取的。
搜索引擎优化的定义
WIKI 定义：
（Search Engine Optimization，简称SEO）
搜索引擎优化即Search Engine Optimization，用英文描述是to use some technics to
make your website in the top places in Search Engine when somebody is using Search
Engine to find something，翻译成中文就是“搜索引擎优化”，一般可简称为搜索优化。
与之相关的搜索知识还有Search Engine Marketing（搜索引擎营销），Search Engine
Positioning（搜索引擎定位）、Search Engine Ranking（搜索引擎排名）等。
SEO 的主要工作是通过了解各类搜索引擎如何抓取互联网页面、如何进行索引以及如
何确定其对某一特定关键词的搜索结果排名等技术，来对网页进行相关的优化，使其提高搜
索引擎排名，从而提高网站访问量，最终提升网站的销售能力或宣传能力的技术。
Sitemaps 索引 XML 标记定义
需要有 <loc> 标记并用其来识别 Sitemaps 的位置。
<lastmod> 标记是可选标记，用于指示相应 Sitemap 文件的修改时间。它并不对应于
该 Sitemap 中列出的任一网页的更改时间。lastmod 标记的值应采用 W3C Datetime 格
式。
通过提供最近修改的时间戳启用搜索引擎抓取工具，抓取工具将只检索索引中的
Sitemaps 的一个子集，也就是说，抓取工具只检索某特定日期之后修改的 Sitemaps。
通过这一递增的 Sitemaps 提取机制，可以快速发现超大型网站上的新网址。
<sitemap> 标记封装单个 Sitemaps 的相关信息。
<sitemapindex> 标记会压缩有关文件中的所有 Sitemaps 的信息。
Sitemap 生成器
如果您可以访问网络服务器并且服务器装有 Python，则可以利用我们的脚本来创建采
用 Sitemap 协议的 Sitemap。
Google Sitemap 生成器（后面的章节介绍）是一个 Python 脚本，可以使用 Sitemap 协议为您的网站创建 Sitemap。此脚本可以通过网址列表、网络服务器目录或通过访问日志
创建 Sitemap。要使用此脚本：
1. 您需要连接到您的网络服务器，并在上面运行脚本。
2. 您的网络服务器需安装 Python 2.2 或更高版本。
3. 您需要知道启动 Python 的命令。（该命令通常为 python，但可能会因安装不同
而异。） 例如，如果网络服务器安装了两种版本的 Python，命令 python 可调用
较早的版本，而命令 python2 则可调用较晚的版本。
4. 您需要知道指向贵网站的目录路径。如果您的网络服务器托管一个网站，则路径
可能是 var/www/html 等。如果您拥有一个托管多个网站的虚拟服务器，路径可
能是 home/virtual/site1/fst/var/www/html 等。
5. 您需要能够将文件上传到自己的网络服务器（例如，使用 FTP）。
6. 如果您要根据访问日志生成一个网址列表，则需要了解用于这些日志的编码，以及
指向它们的完整路径。
Sitemap 生成器可以用于生成常规 XML Sitemap。不过，一些特殊种类的 Sitemap（如
代码搜索和视频 Sitemap） 有非常独特的要求。因此，您最好不要使用 Sitemap 生成器
来创建这些 Sitemap。
创建SiteMap
如果您有多个网站，可以创建一个或多个 Sitemap 将所有经过验证网站的网址包含在
其中，然后将这些 Sitemap 保存在一个位置，以此来简化 Sitemap 的创建和提交过程。您
可以通过以下多种方式创建 Sitemap：
1.3.4.1 根据 Sitemap 协议创建 Sitemap：
1. 创建一个文本文件并将其带 .xml 扩展名保存。
2. 将以下内容添加到文件顶部：
<?xml version=”1.0″ encoding=”UTF-8″?>
<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″>
3. 将以下内容添加到文件底部： </urlset>
4. 为各网址创建一个条目。 <loc> 为必需，其余标记为可选。
<url>
<loc>http://www.example.com/</loc>
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
5. 将 Sitemap 上传到您的网站。然后使用网站管理员工具将其提交给 Google。
Sitemaps 文件的位置
Sitemaps 文件的位置决定该 Sitemaps 中所能包含的一组网址。位于
http://example.com/catalog/sitemap.gz 的 Sitemaps 文件可包含以
http://example.com/catalog/ 开始的任何网址，但不能包含以
http://example.com/images/ 开始的网址。
如果您有更改 http://example.org/path/sitemap.gz 的许可，您应该也可以提供以
http://example.org/path/ 作为前缀的网址的信息。
http://example.com/catalog/sitemap.gz 中，被认为有效的示例网址包括：
http://example.com/catalog/show?item=23
http://example.com/catalog/show?item=233&user=3453
http://example.com/catalog/sitemap.gz 中被认为无效的网址包括：
http://example.com/image/show?item=23
http://example.com/image/show?item=233&user=3453
https://example.com/catalog/page1.html
被认定为无效的网址将不再考虑。强烈建议将 Sitemaps 放置在 Web 服务器的根目录
处。例如，如果 Web 服务器位于 example.com，则 Sitemaps 索引文件应位于
http://example.com/sitemap.gz。在某些情况下，您需要针对不同的路径创建对应的
Sitemaps，例如，如果在您的组织中，安全许可对应不同目录划分上传权限。
什么是SiteMap
Sitemaps 协议使你能够告知搜索引擎网站中可供抓取的网址。最简便的方式就是，使
用 Sitemaps 协议的 Sitemaps 就是列有某个网站所有网址的 XML 文件。此协议可高度扩
展，因此可适用于各种大小的网站。它还能够使网站管理员提供有关每个网址的其他信息（上
次更新的时间、更改的频率、与网站中其他网址相比它的重要性等），以便搜索引擎可以更
智能地抓取该网站。
Sitemaps 在用户无法通过可浏览界面访问网站的所有区域时作用尤其明显。（通常，
指用户无法通过追踪链接访问网站的特定页面或区域。）例如，那些只能通过搜索表单才能
访问其中某些页面的网站都会从创建 Sitemaps 并将其提交到搜索引擎中获益。此文件说明
Sitemaps 文件的格式，并解释您张贴 Sitemaps 文件的位置以便搜索引擎能够检索到。
请注意 Sitemaps 协议补充而不是取代搜索引擎已用来发现网址的基于抓取的机制。通
过向搜索引擎提交一个 Sitemaps（或多个 Sitemaps），可帮助搜索引擎更好地抓取您的网
站。
就算已经被Google 和Yahoo 收录，也还是有必要用SiteMap 的，这是为什么呢？有以
下两大原因：
a) 用 SiteMap 有利于搜索引擎更加友好的对网站进行收录，不要让网站的收录有些漏
洞或者收录不全。有了SiteMap 可以很好的在这方面发挥作用。
b) 有了 SiteMap 并提交给搜索引擎之后，方便你在以后进行下一步的工作，比如对网站的外部链接和内链错误进行更好的调整，这些都要用到SiteMap 的提交功能。
因此，SiteMap 的整个作用是不容忽视的。如果你的网站属于下列情况，那么，使用
SiteMap 会特别实用：
A. 网站含动态内容。
B. 网站有不容易被发现的页面，如有大量富 AJAX 或 Flash 内容的页面。
C. 网站为新网站且指向网站的链接不多。
D. 网站有大量内容页存档，这些内容页相互没有很好地链接，或根本就没有链接。
E. 网站上网页的更改频率。
F. 各网页上次修改的日期。
G. 您网站上各网页的相对重要性。
如果你的网站出现上面介绍的情况，那么，你就需要创建 SiteMap 了。
如何辨别搜索引擎机器人身份
搜索引擎派出他们的搜索机器人去访问、索引网站内容，网站管理员也默认、欢迎它们
来访。但是由于搜索引擎派机器人来访会在一定程度上影响网站性能，因此并非所有的机器
人都是无害的，有一些非法机器人伪装成主流搜索引擎漫游器对网站大量遍历，并且不遵循
robots.txt规范，会严重拖垮网站性能而又无其它益处。因此，网站管理员需要验证每个机器
人身份是否合法。
在你的服务器日志文件中，可见每次访问的路径和相应的IP地址，如果是机器人来访，
则user-agent会显示Googlebot或MSNBot等搜索引擎漫游器名称，每个搜索引擎都有自己的
user-agent，但仅有这个还不足以证明这个机器人的合法性，因为很多垃圾制造者可能将他
们的机器人也命名为Googlebot，以伪装蒙混进入网站，大肆采掘内容。
目前，主流搜索引擎都建议网站管理员通过这种方式来辨别真实的机器人身份：通过
DNS反向查询找出搜索引擎机器人IP地址对应的主机名称；用主机名查找IP地址以确认该主
机名与IP地址匹配。
首先，使用DNS反向查询（Reverse DNS Lookup），找出机器人IP地址对应的主机名称。
主流搜索引擎的主机名称通常情况下应是这样的：
Google ： 主机名称应包含于googlebot.com 域名中， 如：
crawl-66-249-66-1.googlebot.com；
MSN ： 主机名称应包含于search.live.com 域名中， 如：livebot-207-46-98-149.search.live.com；
Yahoo：主机名称应包含于inktomisearch.com域名中，如：ab1164.inktomisearch.com。
最后，做一次DNS查询，用主机名查找IP地址（Forward DNS Lookup），以确认该主机
名与IP地址匹配。由此证明该机器人是合法的。
现在，如果发现一个机器人将自己伪装成合法搜索引擎漫游器，你就可以通过服务器上
的设置来阻止这个非法机器人。
探寻蜘蛛和机器人(2)
网络蜘蛛通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，
读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，
这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
当抓取到这些网页后，由分析索引系统程序对收集回来的网页进行分析，提取相关网页
信息（包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时
间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每
一个网页针对页面文字中及超链中每一个关键词的相关度（或重要性），然后用这些相关信
息建立网页索引数据库。
建立网页索引数据库后，当用户输入关键词搜索，由搜索系统程序从网页索引数据库中
找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所
以只需按照现成的相关度数值排序，相关度越高，排名越靠前。
最后，由检索器将搜索结果的链接地址和页面内容摘要等内容组织起来，返回给用户。
