上一章我们说了如何优化我们的网站结构，包括TDK如何操作，H1标签不要滥用等，如何进行关键词挖掘，如何使用工具帮我们事半功倍的做站内优化，导航的优化技巧还有内容应该怎么写比较符合蜘蛛的胃口。完整内容请戳如何让搜索引擎爱上我们的网站

SEO工作很大比重在站内，只有站内做的好，关键词分配合理，结构足够合理，才能尽可能的让搜索引擎多爬取我们的内容；收录的页面越多，用户找到我们的机会越大。

如何让我们的网站结构足够合理呢？除了上篇讲的几点以外，还有以下几个方面。接下来我会按照我们从建站到运营这个顺序逐个展开。

▌robots

这是网站和搜索引擎的一个协议，robots会直接告诉搜索引擎，我是不是欢迎你过来，也是我们给搜索引擎的一把钥匙。

robots必须要优先放到网站根目录的。爬虫进入我们网站时，首先会寻找的就是这个文件，当这个文件存在时，会按照这个文件里指定的范围进行爬取，如果禁止所有蜘蛛爬取行为，它会直接走掉不在抓取。

所以我们利用这个robots特性，可以将我们不想公布出去的目录结构进行隐藏，比如后台管理等敏感目录。当然也可以利用这个特性进行导流，让搜索引擎不必把精力浪费在无用的目录或者页面上，只抓取我们想让让它抓取的页面。

▌面包屑导航设计，小功能大作用

这是很容易被忽视的一个技巧，尤其是新手站长，我们普遍认为，导航上面有首页或者logo了，为什么要多这一行文字？面包屑导航有以下几个作用：

1、标识位置，方便访问

面包屑除了可以告诉我们用户当前所处位置以外。还可以让用户返回上一级目录，同时蜘蛛很喜欢面包屑导航，因为蜘蛛在爬取文章时，可以很方便的返回上一级目录，进入父级目录继续抓取。

2、增加内链关键词

我们还可以利用这个功能，给我们父级目录做关键词指定，我们的目录关键词一般有2-3个，网站导航只能给这个目录一个关键词指向，我们通过不同的子页面给父级目录做第二个关键词指向时，相当于增加了一个内链。

3、王牌辅助，不可夺主

面包屑导航是一个辅助功能，它可以告诉用户当前所在的位置，但是不能完全代替主导航。

4、层级关系而非浏览历史

面包屑导航应该表达的是层级关系，而不是浏览历史，我看到很多网站采用动态生成的面包屑，主要就是记录用户的浏览记录，这是错误的做法，用户浏览的多了，这里会非常复杂，逻辑也不清晰。

面包屑可以告诉用户，当前处于哪一层级，父级是谁，这样用户的思路很清晰，如果对当前栏目其它内容比较感兴趣，很方便就可以进入其他页面。

面包屑 导航最后一个层级不要放置链接地址，因为当前页面本来就处于这个地址，放链接是无意义的。

5、分隔符清晰

分隔符清晰，看起来逻辑很清晰，比较常用的做法是右尖括号，比如上面Apple官网的设计，还有用斜杠 “/”，或者空格。这样能够清晰的表达是递减的关系。

6、最后一个层级可以作为标题存在

比如方舟博客，切换栏目时，头部的文字不变的，但是栏目地址却变了，我们就将最后一层改为H1标签，告诉搜索引擎，这个页面的标题是这个。

▌图片应用，让不可能变成可能

搜索引擎无法解析图片的编码，所以搜索引擎看待图片就是一片空白，他不知道这个图片里是什么内容；现在图片的识别技术在提升，相信有一天会实现图片内容的识别。

鉴于此，我们在做网站开发时需要注意以下几个点：网站避免大范围图片应用；图片多，体积大，影响页面加载速度，所以我们应该在上传之前，将图片进行无损压缩，保证图片清晰度的情况，让它变得足够小。推荐一个小工具：https://tinypng.com/ ；图片增加alt 标签，alt标签是可被搜索引擎读取的，在这里放置图片表达的主题，让搜索引擎明白这个图片是做什么的。▌sitemap，给蜘蛛一个地图

蜘蛛按照链接地址进行爬取页面的，但是每个网站的权重不一样，蜘蛛在这个网站抓取页面的深度和停留时间就不一样，这就会导致有些页面层级较深，没有被蜘蛛抓取到。我们需要一个办法，直接告诉蜘蛛我的页面在哪里，地址是什么？

这就是sitSeo-6.Comemap，我们将我们网页的地址放到这个文件，让搜索引擎蜘蛛更好的抓取我们的页面。

这个文件可以告诉搜索引擎，哪些页面重要，哪些次要，应该重点抓取哪些，哪些更新频率高等等，sitemap的格式目前有三个，txt格式、XML格式和sitemap索引格式。

txt格式适合小网站，链接不多，可以将连接地址一行一条放上去。

XML格式适合中小网站，里面主要放标题和链接地址。也是大家用的最多的格式。但是由于文件大小限制和考虑到蜘蛛爬取的顺畅度，如果文章太多，会导致文件过大。

这里我们就需要用sitemap索引的形式来进行文件切分，将一个大的sitemap分为多个小的，然后主sitemap里面放子sitemap文件的地址。

如何正确的使用sitemap网站地图？文件里的网址条数不要超过5万条，文件大小不要超过10M，这么做可以保证我们的文件更好的被爬虫爬取，不给它造成抓取压力；保持更新频率，爬虫在爬取sitemap时有间歇性，那么我们应该在它下次过来之前，保证我们的sitemap里面有我们的新内容；动态更新sitemap，研发一个功能，实现每当更新文章时，同时向sitemap里新增一条网址记录，这样保证sitemap里面的数据是最新的。▌内链，让蜘蛛尽情的爬行

影响关键词排名除了内容很好以外，还有就是链接指向。

打个比方，我们知道长沙有臭豆腐，而做这个臭豆腐的有很多家，如何实现提到臭豆腐就想到一个品牌呢？当所有人都说一家臭豆腐好吃的时候，久而久之，想到臭豆腐就想到这家；链接也是同样的道理，当有很多词指向你，就可以排名更靠前。

链接指向有站内链接，我们称为内链，站外链接，为外链。

内链，就是我们站内的关键词指向。比如易观方舟官网，我们将所有的用户行为这个词，都指向了产品介绍里的用户行为分析这个页面。当爬虫来到我们网站时，当看到这么多链接都指向一个页面时，那么这个词就是这个页面的目标关键词，当用户在搜索引擎搜索这个词时，会优先展示这个页面。

内链是我们做SEO比较重要的注意方向，因为外链资源有很多的不确定性，质量也参差不齐，而内链是完全由我们自己主导的。

每个页面都有一个目标关键词，当A页面出现B页面的目标关键词时，应该将这个词指向到B页面上。一个页面最多放5个内链，因为我们要考虑用户体验，一个页面全都是链接，会让访客以为这个是广告站，因为我们为了凸显这个关键词会加粗或者变色，这样的关键词太多，让人很反感，所以要注意内链词的密度问题，经过实测5%是建议内链密度。

如何收集内链关键词呢？我们通过方舟渠道分析来挖掘近期的关键词分布，将这些词收集起来作为我们的页面关键词。方舟比百度统计的关键词收集更有价值，我们可以看到这个词是哪个搜索引擎过来的，跳出率怎样，留存情况如何等等，也可以针对这批用户进行下钻分析，了解这些用户接下来做了什么，为何流失。

我们的网页做内链时也应该注意，比如这个页面是讲用户行为分析的，那么我们将这个词链接到产品页，相关性就非常高，这就是一条高质量的内链，相关性不强的链接，效果会打折扣。

如果网站文章很多，我们可以研发一个内链关键词库，将我们的关键词和链接地址存入数据库；当页面上出现这个词时，自动替换链接地址到目标页面上，这样会大大节省我们编辑文章时的时间。

▌分页技巧

分页是为了让较长的内容，分段展示。比如分类列表页内容很多，我们可以分为10条内容一页。这样可以让用户体验很好，便于阅读。

而怎么处理好这个分页，让搜索引擎也体验很好呢？需要我们了解下搜索引擎在爬取页面时的规律，那就是看到页面连接时就往里面钻。想想一下如果我们把一个分类页面，20个页的链接都展示出来，就多了20个入口，这样爬虫在爬取文章时，不会因为文章深度问题，降低抓取量。

我们看到现在很多网站喜欢点击加载更多，然后加载10条内容出来。其实这个做法对搜索引擎非常不友好，因为有些是js来请求的数据，搜索引擎对这样的链接是不会触发的。这也就影响我们的收录量。

对比这两个分页哪个更受搜索引擎欢迎？

▌聚合营销思维，事半功倍

什么是标签聚合，我们先说下聚合的意思，聚合是指将同一个类型的内容进行汇总，主要目的是为了便于用户阅读，方便访客的存在，也会得到搜索引擎的认可。

网站是由页面组成的，页面分为两类，单页和聚合页，聚合页将单页按照一定的规则汇总到一起生成了新的页面，比如内容分类这就是聚合页。

既然可以生成新的页面，那么我们通过适当的操作就可以将我们现有内容进行重新洗牌，重新组合聚合为新的页面，这样可以帮助我们事半功倍的增加收录页面。

标签其实就是给我们内容的一个关键词，当前文章主要阐述的几个点。一个文章可能会有多个标签，不同的标签我们生成一个单独的标签页，里面的文章就是相同标签的文章。

这个标签页就是我们的聚合页，是自动生成的，节省了我们人力还增加了我们的页面数量。

需要注意，标签页并不是我们建站初期要使用的技巧，它是我们内容达到一定量级之后才可以觉醒的技能，因为标签页不适合内容少的网站，内容很少还用聚合就会导致页面之间的内容重复度非常高，导致页面没有新意，反而影响搜索引擎的抓取；如果网站出现大量的重复内容，可能会导致蜘蛛过来的频率降低。

我们去看下旅游类网站，比如携程，他们一个文章可以聚合多个分类，比如自驾游文章，还可以以地区，旅游时间，价格等等进行聚合。又有不同的专题页以相同的主题进行聚合，比如吃住类型的酒店聚合页，国家类型的酒店聚合页等等。

分类聚合

专题聚合

每个标签或者分类对应就是一个页面，每个标签又代表了不同的含义，既方便了用户浏览，同时也增加了搜索引擎的收录量。

到此，我们说了网站在建站初期应该注意的站内优化知识点，结构优化、关键词挖掘、导航技巧、内容技巧、robots、面包屑导航、图片技巧、分页、sitemap、内链关键词还有聚合页面。

只有前期基础打好，后面的持续优化才能更好的开展。蜘蛛对我们网站的好感度才会持续提升。我们应该按照上面的注意项去用心打磨我们的网站。

让搜索引擎喜欢上我们的网站，收录的够多够好，才能让更多的人进入网站，了解网站，很多新手站长因为缺少数据支撑很难发现网站现在有哪些问题？导致网站一直处于爬虫不待见的境地。