很多网站在被攻击的时候会选择接入高防cdn进行防御,有时候接入高防cdn之后会导致搜索引擎抓取失败,那么如何操作操作才会既能接入高防cdn又不会影响搜索引擎蜘蛛抓取。 通多dns搜索引擎线路解析实现蜘蛛回源,比如常见的阿里云解析、dnspod都支持单独的搜索引擎解析,如果使用了高防cdn,都可以直接添加一条搜索引擎解析...
摘要:很多网站在被攻击的时候会选择接入高防cdn进行防御,有时候接入高防cdn之后会导致搜索引擎抓取失败,那么如何操作操作才会既能接入高防cdn又不会影响搜索引擎蜘蛛抓取。 通多dns搜索引擎线路解析实现蜘蛛回源,比如常见的阿里云解析、dnspod都支持单独的搜索引擎解析,如果使用了高防cdn,都可以直接添加一条搜索引擎解析…
很多网站在被攻击的时候会选择接入高防cdn进行防御,有时候接入高防cdn之后会导致搜索引擎抓取失败,那么如何操作操作才会既能接入高防cdn又不会影响搜索引擎蜘蛛抓取。
通多dns搜索引擎线路解析实现蜘蛛回源,比如常见的阿里云解析、dnspod都支持单独的搜索引擎解析,如果使用了高防cdn,都可以直接添加一条搜索引擎解析到服务器IP,这样既不会暴露IP,又完全不影响搜索引擎回源,做到一举两得,如果后期更换服务器的时候也一定记得要修改,不然会一直抓取旧服务器IP。

DevPole极数边缘云cdn系统也拥有各大搜索引擎蜘蛛白名单机制,并且定期维护白名单IP,针对真正的搜索引擎蜘蛛抓取,会直接放行回源,不会对搜索抓取造成影响。
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。