希望将抓取预算花在重要

fatehaayat2312

经典熊猫更新 来自 Reddit 用户：kris99（来自 Pulno 的 Krzysztof） 十几年前，我作为联合开发者的一个网站位于受 Panda/Farmer 更新影响的前 20 个域名中，一天之内就失去了 90% 的可见度。我记得每天损失超过 10 万独立用户。 这是一部真正的经典。我记得它在2011年首次发布时。成千上万的网站都有过同样的经历，一夜之间损失了大量流量。绝对不是一个美好的回忆。 阿贾克斯谋杀案 来自 Reddit 用户：

Ann_Yaroshenko（来自 Jet Octopus 的 Ann） AJAX 允许通过与 Web 服务器交换数据来异步更新网页。这意味着可以加载网页的部分内容而无需重新加载整个页面。尽管 Google 工程师显 丹麦电话号码数据 着改进了 Googlebot 的 JavaScript 渲染，但 AJAX 的 SEO 声誉不佳。 关于网站： 房地产网站 100 万+ 页面 每月 450 万访问量 做了什么？ 我们分析了日志文件以了解爬行预算的花费情况。日志显示 Googlebot 在该月发送了 3800 万个请求。



23,500 万（！）个请求被浪费在 ajax 内容上。 我们给出了什么建议： 1. 检查 AJAX 上提供的内容并评估其是否值得在 SERP 中显示。 2. 关闭 robots.txt 中对 Googlebot 没有任何价值的内容。 要点 在关闭 robots.txt 中的 AJAX 内容之前，请仔细考虑其中有哪些内容。您可能会意外屏蔽网页的一部分，并且该内容对于机器人来说可能变得毫无意义 这是一个相当技术性的故事，但它很可怕，是一个你可以学习的故事。当您拥有一个包含一百万个页面或数千个页面的网站时，您可能页面上。