了解您的抓取预算-Semalt专家意见



SEO是生活中始终需要学习新知识的领域之一。对于一直关注我们网站的访问者,我们确定您遇到过涉及您甚至不知道存在的SEO方面的文章。这表明,不仅Semalt能够了解SEO领域的最新动态,而且总能在Semalt网站上阅读到一些新内容。

当您想出如何改善SEO时,您的搜寻预算并不是讨论的第一件事。但是,这是非常重要的。您可能不知道什么是爬网预算,并且可能会问:“这是否意味着我必须花更多的钱?”好吧,让我们先解释一下抓取预算的含义,以帮助您回答这个问题。

什么是抓取预算?

抓取预算是由SEO行业发明的一个术语。它指示在确定页面数以及搜索引擎将在您的网站上爬网的页面数时搜索引擎使用的相关概念和系统的数量。 您可以将其视为搜索引擎对网站的关注,因此如果您认为自己是决定抓取预算的人,那您就错了。实际上,搜索引擎会为网站分配抓取预算,但是当您完成本文的工作后,您将了解如何扩大规模以使您的网站受益。

抓取预算优化是您可以采取的一系列步骤,旨在提高搜索引擎机器人访问您的网页的速度或频率。您访问这些提升的次数越多,进入页面更新索引的速度就越快。因此,您可以在较短的时间内开始享受网络优化的更多好处。既然您已经看到了这种方式,那么您最终将开始理解为什么爬网预算如此重要。

为什么搜索引擎将抓取预算分配给网站?

搜索引擎没有无限的资源,每当输入搜索查询时,它们就需要将其有限的资源分布在数十亿个网站上。为了保持可靠性,搜索引擎被迫优先考虑其抓取工作。通过为每个网站分配抓取的预算,他们可以创建首选项规模,以帮助他们在短时间内提供最大程度的有用搜索结果。

为什么抓取预算如此重要?

对于某些没有成为要考虑的SEO顶级因素的事情,您可能想知道为什么我们还要去讨论它。嗯,您的网络抓取预算很重要,因为没有它,Google不会为您的网站或网页编制索引;它永远不会排名。

这就是搜寻预算开始蓬勃发展的地方。如果您网站上的页面数超过了网站的爬网预算,则您的页面将不会被编制索引。尽管许多网站不必担心爬网预算,但是在某些情况下,您需要密切注意爬网预算。

他们是:

人们为什么不理会自己的抓取预算?

为了更好地理解这一点,您需要查看Google的官方博客文章。正如Google清楚解释的那样,爬网本身并不是排名因素。仅仅知道这一点就足以阻止某些SEO专业人员投入精力来提高其抓取预算。许多SEO专业人员将“不是排名因素”转换为“与我无关”。在 塞马尔特,我们不这么认为。在SEO和Web管理行业的这些年中,我们已经了解到SEO不仅要进行大的更改,而且还要进行小的,增量的更改,并要照顾许多指标。我们还注意确保对这些小东西进行了优化,以使您的网站获得排名的最佳机会。

此外,谷歌的约翰·穆勒(John Muller)指出,尽管爬虫预算本身并不是爬虫因素,但它对转化次数和网站的整体健康状况很有帮助。话虽如此,我们相信重要的是我们要确保您的网站上没有任何东西会积极地损害您的抓取预算。

如何优化您的抓取预算

允许抓取robots.txt中的重要页面

这是优化抓取预算的自然而重要的第一步。这也不是一件容易的事,因为您可以手动或使用网络审核工具来管理robots.txt。但是,我们建议您尽可能使用该工具。在这种情况下,使用工具会更加方便和有效。

您只需将robot.txt添加到首选工具中,即可在几秒钟内允许或禁止抓取您域中的任何页面。然后,您可以上传已编辑的文档,仅此而已。您也可以手动执行此操作,但是根据经验(尤其是在处理大型网站时),使用工具会更容易。

注意您的重定向链

我们想考虑一下 常识 处理您网站的健康状况时。理想情况下,您甚至可以避免在域上只有一个重定向链,但是对于真正的大型网站,您应该准备好进行301和302重定向。靠自己,这没问题,但是当您开始将一堆链接在一起时,您的爬网限制将受到打击。它可能变得如此糟糕,以至于搜索引擎爬网程序有时可以停止爬网而无需进入需要索引的页面。如果看到一两个重定向,请不要惊慌。机会是它们不会损坏。尽管如此,这是每个人都应该注意的事情。

尽可能使用HTML

只有少数几个搜索引擎擅长于爬网JavaScript,Flash和XML网站,而少数几个我们指的是Google。除Google之外,其他搜索引擎的开发或改进程度还不高,它们可以对非HTML的网站进行爬网。因此,建议您坚持使用HTML。这样,您就无法伤害自己爬行的机会。

避免HTTP错误

HTTP错误占用了爬网预算的很大一部分。 401和410页不仅破坏您的用户体验,而且还吞噬了您的抓取预算。这就是修复所有4xx和5xx状态代码很重要的原因。最终,这将成为双赢的局面。解决此错误时,明智的做法是使用网络工具。 SE排名和Screaming Frog等工具是我们专业人士用来审核您的网站并修复此类错误的出色工具。

照顾好您的网址参数

在设计网站时,请记住,网络爬虫会将单独的URL视为单独的页面,因此,您浪费了宝贵的爬网预算。您可以通过让搜索引擎(Google)知道这些URL参数来阻止这种情况的发生。这样,您可以节省检索预算,并避免引起对重复内容的担忧。

更新您的站点地图

照顾您的XML网站地图是另一个双赢的局面。这使搜索引擎机器人可以更轻松地了解内部链接的去向。 您只应使用站点地图规范的URL。 您还应该确保您的站点地图与上载的robots.txt的最新版本相对应。

Hreflang标签

这些标签对于网络爬虫至关重要,以便分析您的本地化页面。尽可能清楚地告诉Google您的网页的本地化版本对于帮助您的网页建立索引大有帮助。这样做时,您应该首先在页面标题中使用以下代码:

<linkrel =“ alternate” hreflang =“ lang_code” herf =“ url_of_page” />

其中“ Lang_code”是支持语言的代码。您也可以将<loc>元素用于任何给定的URL。这样,您可以指向页面的本地化版本。

因此,如果您想知道优化爬网预算对您的网站是否仍然很重要,是的。建立网站过去,现在和将来很可能要记住一项重要的事情。我们使用这些技巧来优化您的抓取预算,并可以提高您的SEO性能。

mass gmail