.1 介绍
网络抓取工具通常会通过网站内部和其他网站上的链接查找网页。sitemapSitemap 会提供此数据以便允许支持 Sitemap 的抓取工具抓取 Sitemap 提供的所有网址,并了解使用相关元数据的网址。使用 Sitemap 协议并不能保证网页会包含在搜索引擎中,但可向网络抓取工具提供一些提示以便它们更有效地抓取网站。
1.2 作用
Sitemap 0.90 是依据创意公用授权-相同方式共享 (Attribution-ShareAlike Creative Commons License) 的条款提供的,并被广泛采用,受 Google、Yahoo! 和 Microsoft 在内的众多厂商的支持。
2 协议讲解
Google SiteMap Protocol是Google自己推出的一种站点地图协议,此协议文件基于早期的robots.txt文件协议,并有所升级。在Google官方指南中指出加入了Google SiteMap文件的网站将更有利于Google网页爬行机器人的爬行索引,这样将提高索引网站内容的效率和准确度。文件协议应用了简单的XML格式,一共用到6个标签,其中关键标签包括链接地址、更新时间、更新频率和索引优先权。
3 相关信息
3.1 生成格式
<urlset xmlns=“网页列表地址”>
<url>
<loc>网址</loc>
<lastmod>2005-06-03T04:20-08:00</lastmod>
<changefreq>always</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>网址</loc>
<lastmod>2005-06-02T20:20:36Z</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
</urlset>
3.2 成后格式
<?xml version="1.0" encoding="UTF-8"?>
<urlset>
<url>
<loc>网页地址</loc>
<lastmod>2010-01-01</lastmod>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>
</urlset>
4 XML标签
changefreq:页面内容更新频率。
lastmod:页面最后修改时间
loc:页面永久链接地址
priority:相对于其他页面的优先权
url:相对于前4个标签的父标签
urlset:相对于前5个标签的父标签
我将一句一句分解讲解这个xml文件的每一个标签:
<urlset xmlns="
这一行定义了此xml文件的命名空间,相当于网页文件中的<html>标签一样的作用。
<url>
这是具体某一个链接的定义入口,你所希望展示在SiteMap文件中的每一个链接都要用<url>和</url>包含在里面,这是必须的。
<loc></loc>
用<loc>描述出具体的链接地址,这里需要注意的是链接地址中的一些特殊字符必须转换为XML(HTML)定义的转义字符,如下表: 字符 转义后的字符
HTML字符 字符编码
& 符号 & &
单引号 ' '
双引号 " "
大于 > >
小于 < <
<lastmod>2005-06-03T04:20:32-08:00</lastmod>
<lastmod>是用来指定该链接的最后更新时间,这个很重要。Google的机器人会在索引此链接前先和上次索引记录的最后更新时间进行比较,如果时间一样就会跳过不再索引。所以如果你的链接内容基于上次Google索引时的内容有所改变,应该更新该时间,让Google下次索引时会重新对该链接内容进行分析和提取关键字。这里必须用ISO 8601中指定的时间格式进行描述,格式化的时间格式如下:
年:YYYY(2005)
年和月:YYYY-MM(2005-06)
年月日:YYYY-MM-DD(2005-06-04)
年月日小时分钟:YYYY-MM-DDThh:mmTZD(2005-06-04T10:37+08:00)
年月日小时分钟秒:YYYY-MM-DDThh:mmTZD(2005-06-04T10:37:30+08:00)
这里需注意的是TZD,TZD指定就是本地时间区域标记,像中国就是+08:00了
<changefreq>always</changefreq>
用这个标签告诉Google此链接可能会出现的更新频率,比如首页肯定就要用always(经常),而对于很久前的链接或者不再更新内容的链接就可以用yearly(每年)。这里可以用来描述的单词共这几个:"always", "hourly", "daily", "weekly", "monthly", "yearly",具体含义我就不用解释了吧,光看单词的意思就明白了。
<priority>1.0</priority>
<priority>是用来指定此链接相对于其他链接的优先权比值,此值定于0.0 - 1.0之间
还有</url>和</urlset>,这两个就是来关闭xml标签的,这和HTML中的</body>和</html>是一个道理
另外需要注意的是,这个xml文件必须是utf-8的编码格式,不管你是手动生成还是通过代码生成,建议最好检查一下xml文件是否是utf-8编码,最简单的方法就是用记事本打开xml然后另存为时选择编码(或转换器)为UTF-8。
登陆Google提交你的SiteMap文件,链接,如果还没有注册或者登陆Google,就先用自己的帐号登陆Google,登陆后转到Your Sitemaps状态页面,可以点击那个Add a Sitemap + 跳转到提交页面进行Sitemap文件的提交。建议文件放在你的站点根目录下。给Google提交你的Sitemap URL后可以看见在列表里已存在,不过这时候还没有生效,必须过几个小时后Status栏变成OK表示正式生效,如果不是OK,可以查看Google给出的状态标示解释看看是什么原因。
5 在线生成
5.1 步骤:
方法一:
1.打开浏览器输入在线生成Sitemap网站的网址
2.在表单里面填入要生成sitemap的网页的网址,然后点击提交
3.打开了生成的数据结果页面,复制文本框里面的代码。
4.新建一个文本文件把代码粘贴进去,然后另存为utf-8格式的文件,文件名为sitemap.xml,然后把这个文件上传到自己网站的对应的根目录下面。
5.打开浏览器输入网址 ,点击右上角的登陆,用自己的google帐户登陆,还没有 Google 帐户? 现在就创建一个帐户 ,注册帐户以后然后登陆帐户
6.登陆成功以后,点击进入用户管理中心,然后点击:网站管理员工具
7.首先添加你的网址链接 ,添加成功以后,在网址的对应项后面点击添加,打开sitemap的添加页面,选择下拉菜单,选择普通网站地图,下面出现文本表单,在空白表单后面添加sitemap.xml,然后点击提交。
8.好了!sitemap提交成功,等待5个小时之内google收录你的网站!
方法二:
1. 到在线生成sitemap网站下载软件:这里也是介绍制作google sitemap的,直接在搜索引擎输入“sitemapx” ,找到个带cn的链接,这网站制作网站地图相当方便。下载软件,运行。
2. 运行软件生成sitemap文件:工程还有新建那两栏随便写,例如"sitemapx" "hongdex" 都行,确认后,显示基本信息,直接默认,点击下一步,接着点解抓取网页。网页抓取完直接点击生成,接着点复制文件,选取路径。sitemap的文件就这样制作完成了。
3. 通过FTP提交sitemap文件到网站根目录:这个应该都会的了,不懂的可以直接百度搜索”如何通过ftp工具提交文件“等类似关键词。
4. 登陆Google网站管理员工具提交网站地图sitemap文件: 前提已经有注册google账号跟添加了网站,控制台首页那显示sitemaps一栏,直接点击,提交网站前输入”sitemap.xml“ ,最后直接点击提交网站。步骤完成!最后等着谷歌收录网站页面了。[1]
至于百度蜘蛛则是html格式
5.2 使用登陆
使用Google sitemap能提高网站/网页在SERP中的排名(或提高SEO效果) Sitemaps只是在一定程度上提高网站页面被收录、索引的效率,从这个意义上说,对网站的整体SEO效果当然是有所助益的。
但是,Sitemaps与网站/网页最终出现在SERP中的排名则没有任何直接意义上的联系,这是两个虽有联系但实现过程中交叉部分很少的两个机制。——当然,如果非要强辩说,随着网站内页面收录数量增加,站内的交叉链接权值会相应提高,而这会对最终的排名产生影响,倒也能在某种程度上说得过去,不过,影响多大就难说了。
6 使用方法
6.1 第一步:添加网站,验证网站归属,等待审核
·登录后点击“添加网站”。若网站删除或更换域名,则需重新提交。
·点击“验证此网站”,选择验证方式并获取验证文件,完成验证。
· 验证方式一:文件验证
· 验证方式二:HTML标签验证
·等待管理员审核。主要审核网站属性、网站内容质量等。审核最长可能需要一天时间。
6.2 第二步:通过点击“数据管理”,添加新数据
如何添加新数据
·选择数据的类型,根据类型对应的xml格式规范部署您的数据文件。
·为您的数据指定更新周期。
·按照xml格式规范部署好文件后,在地址栏填写文件存放地址,点击提交即可。
我们对文件的处理时间长短将视文件大小而定。
6.3 如何手动更新已提交的数据
·如果您想在指定更新周期以外,手动通知我们数据有更新,可以在“数据管理”页面选中要手动更新的文件并点击“更新所选”即可。
·如果数据存在错误或不符合协议格式,则状态栏会显示为错误,请参考平台提示修改并更新。
·您可通过平台查看数据的统计信息,包括已抓取数量,最新处理时间等。
注:百度对已提交的数据,不保证一定会抓取及索引所有网址,并且不保证其排名。
7 注意事项
7.1 1、链接真实有效
地图的主要目的是方便搜索引擎蜘蛛抓取的,如果地图存在死链或坏链,会影响网站在搜索引擎中网站权重的,所以要仔细检查有无错误的链接地址,提交前通过站长工具,检查网站的链接是否有效。
7.2 2、简化网站地图
网站地图不要出现重复的链接,要采用标准W3格式的地图文件,布局要简洁,清晰,如果地图是内容式地图,每页不要超过100内容个链接,采用分页的行式,逐一开来,这样方便搜索引擎蜘蛛逐页爬行。
7.3 3、更新网站地图
建议经常更新网站地图,经常的更新地图,便于培养搜索引擎蜘蛛爬行的粘度。经常有新的地图内容生成,长期以来,蜘蛛就会更关注,培养蜘蛛的爬行规则,这样网站内容能更快的被搜索引擎抓取收录。