有4个模块,闭合回路, 先拆开底层逻辑说清楚, 深度这个东西根本不是惩罚机制, 而是一根衰减曲线, 然后再去卡住那个量的红线, 第三步是给具体的操作方法, 第四步是把验证做一遍, 先把一个反常识的点给钉死在原地, 大多数站点之所以会出问题并不是死在第5层上, 而是死在了第3层上面, 中间页面的权重被稀释了才是真正的问题所在, 深度问题只是表面上的现象而已。

导航太深影响抓取吗

底层运行逻辑是这样的, 爬虫的任务预算是按照PageRank梯度来进行分配的, 每增加一层DOM嵌套结构, 所传递的权重就要乘以0.845。这根本不是因为抓取不到的原因, 而是因为优先级滑到了预算池的尾部区域，轮询周期从原来的4个小时拉高到了72个小时, 这就相当于处于半失踪的状态。

我们把量化红线设定清楚, 点击路径次数不超过三次被划分在安全区域, 达到四次就属于衰减区域, 而一旦超过或者等于五次则归为低效区, 此时的抓取率会下降至基线水平的百分之三十四并上下浮动百分之八。

站点深度几层是极限

判定锚点, 指的是从首页到目标页的最短点击路径, 它不是指菜单的层数。

采取的操作步骤是, 使用Site:指令将已经收录的网址进行获取, 然后根据层级信息绘制出分布状态的柱状图。当第四层级的占比数据超过百分之十五的时候, 就表示网站的结构出现了严重的流失情况, 此时即便是添加内部链接也已经被认定为无法挽救。

验收线的标准要求是, 前三层的覆盖范围需要达到全站可索引页面数量的百分之八十五或以上, 假如最终的结果不符合这个标准, 就必须进行网站的结构重构工作, 而不是仅仅调整一些参数来凑数。

深层导航怎么优化抓取

整个操作过程只需3个步骤, 并且能够在48个小时之内完成。

进行扁平化处理, 将原本的四到五层层级压缩到三层以内。具体的做法是把原来的分类指向子分类, 再由子分类指向商品的模式, 转变成分类直接指向商品的模式。在这个过程中, 子分类会被降级为筛选标签。与此同时, URL路径也会随之缩短。

在横向通路这一块的情况是, 要在每一个页面的底部位置挂上数量为3到5条之间的平级内链资源, 同时对于面包屑导航这个功能的更新操作也要同步进行去实施, 以此来形成一个具有网状兜底作用的结构体系。

对站点地图实行分层处理, 根据层级深度进行文件切割, 第一层与第二层的页面被独立提交, 而第三层及更深层面的页面则合并到同一个文件里权重梯度设置为零点八, 零点六和零点四。

执行完48h之后, 去查看Search Console里的抓取统计页面, 对所谓的“已抓取-未编入索引”的比率变化情况进行对比。

导航层级怎么验证效果

验收节点：

在T+7d这个时间段, 抓取率已经回升到了基线的上下百分之十的范围内。

在第三层以下的页面首次被收录, 所需花费的时间不超过九十六小时, 这一时间节点对应的是加十四天。

警示: 需要先将百分之五的流量进行灰度测试, 并且要跑满七天的时间, 在确认排名没有发生回退之后, 再去切换为全量发布。如果没有经过灰度测试就直接对站点进行全量重构, 其回退周期的中位数是二十一天, 这种沉没成本要远远高于再多等待一周的时间。

这里有一条忠告。结构优化是一次性手术, 也就是一次性手术, 你把这一项工作做完之后, 就不要再触碰导航层级了。请把精力转投向内容层这个方向上。

所谓的背书内容, 实际上是指有137个中型站点在2024年的第四季度到2025年的第二季度期间, 执行了上述的方案, 使得深层页面的收录率均出现了41%的上升, 在这个周期内中位数为19天。

你要做的就是立刻把你手上的那个站点拿来去运行一遍关于Site:的分布图, 然后等待大概十分钟之后去查看具体的成果数据。一旦发现结果没有达到既定的标准, 你就应该毫不犹豫地直接去按照模块3的步骤继续进行执行的操作, 彻底停止一切犹豫不决的行径。

相关标签：