一、什么是Sitemap?
Sitemap 可方便管理员通知搜索引擎他们网站上有哪些可供抓取的网页。最简单的 Sitepmap 形式,就是 XML 文件,在其中列出网站中的网址以及关于每个网址的其他元数据(上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度为何等),以便搜索引擎可以更加智能地抓取网站。
1、Sitemap协议讲解
Google SiteMap Protocol 是Google自己推出的一种站点地图协议,此协议文件基于早期的robots.txt文件协议,并有所升级。在Google官方指南中指出加入了Google SiteMap文件的网站将更有利于Google网页爬行机器人的爬行索引,这样将提高索引网站内容的效率和准确度。文件协议应用了简单的XML格式,一共用到6个标签,其中关键标签包括链接地址、更新时间、更新频率和索引优先权。
2、Google SiteMap文件生成后格式如下:
<urlset xmlns=http://www.google.com/schemas/sitemap/0.9>
<url>
<loc>http://www.SemCmd.com</loc>
<lastmod>2005-06-03T04:20-08:00</lastmod>
<changefreq>always<angefreq>
<priority>1.0</priority>
</url>
</urlset>
3、SiteMap XML标签的解析:
changefreq:页面内容更新频率,
lastmod:页面最后修改时间
loc:页面永久链接地址
priority:相对于其他页面的优先权
url:相对于前4个标签的父标签
urlset:相对于前5个标签的父标签
注意:XML文件必须为UTF-8编码格式,不管你是手动生成还是通过代码生成,建议最好检查一下xml文件是否是utf-8编码,最简单的方法就是用记事本打开xml然后另存为时选择编码(或转换器)为UTF-8。
二、如何制作SiteMap XML工具?
Google SiteMap Protocol 是Google自己推出的一种站点地图协议,此协议文件基于早期的robots.txt文件协议,并有所升级。在Google官方指南中指出加入了Google SiteMap文件的网站将更有利于Google网页爬行机器人的爬行索引,这样将提高索引网站内容的效率和准确度。
1)SiteMap XML 地图生成工具介绍:
安装SiteMap工具之前,先需要安装Microsoft .NET Framework 组件获得。如果在安装 Visual Studio .NET Windows 组件更新或 Visual Studio .NET 之后安装了 IIS,则必须修复 .NET 框架才能成功地创建 Web 应用程序和 XML Web services 。
2)网站在线SiteMap XML 地图:
http://www.sitemap-xml.org/ (小爬虫在线Sitemap生成器)
http://free-sitemap-generator.whyandhow.org/ (网站地图Sitemap0.9在线生成器)