“Cloudflare可以幫助受保護站點抵御包括分布式拒絕服務攻擊(DDoS, Distributed Denial of Service)在內的大多數網絡攻擊,確保該網站長期在線,同時提升網站的性能、訪問速度以改善訪客體驗。”
但如果搜索引擎蜘蛛也直接訪問CF(cloudflare的簡稱)獲取隨機ip,每次抓住的ip都發生變化,并且相對于蜘蛛直接抓取源站ip的平均耗時長,就會影響到蜘蛛對網站的抓取頻次,不利于SEO優化。因此,就需要配置蜘蛛回源抓取。
本文介紹通過DNSPod設置蜘蛛回源的方法。
第一步 注冊DNSPod賬戶
官網:https://www.dnspod.cn/
第二步 后臺添加域名
![圖片[1]-DNSPod設置搜索引擎蜘蛛回源方法](http://m.zzgyrme.cn/wp-content/uploads/2023/01/81c9f1cc33144111.jpg)
![圖片[2]-DNSPod設置搜索引擎蜘蛛回源方法](http://m.zzgyrme.cn/wp-content/uploads/2023/01/e2ccc32271144120.jpg)
第三步 更改域名dns
添加域名之后,如果域名之前在別的平臺進行的解析,會顯示“DNS不正確”,點擊更改dns
![圖片[3]-DNSPod設置搜索引擎蜘蛛回源方法](http://m.zzgyrme.cn/wp-content/uploads/2023/01/d66e26d3c4144158.jpg)
第四步 添加線路分組(蜘蛛線路)
1)添加記錄,選擇線路類型,里面先添加線路分組
![圖片[4]-DNSPod設置搜索引擎蜘蛛回源方法](http://m.zzgyrme.cn/wp-content/uploads/2023/01/1fdd93378b144232-1024x548.jpg)
2)蜘蛛線路選這幾個,然后保存線路
![圖片[5]-DNSPod設置搜索引擎蜘蛛回源方法](http://m.zzgyrme.cn/wp-content/uploads/2023/01/2cf7c2f1b0144310-1024x374.jpg)
第五步 添加解析記錄
1)添加A記錄
線路選擇剛才建立的線路分組,記錄值為自己的服務器ip
![圖片[6]-DNSPod設置搜索引擎蜘蛛回源方法](http://m.zzgyrme.cn/wp-content/uploads/2023/01/707220e98c144354-1024x269.jpg)
這樣蜘蛛獨立抓取的ip就設置成功了。
2)添加CNAME記錄
不要忘記添加CNAME記錄,對接到CDN(如cloudflare),掛個免費的CF隱藏ip。
![圖片[7]-DNSPod設置搜索引擎蜘蛛回源方法](http://m.zzgyrme.cn/wp-content/uploads/2023/01/4a2fd548a2144458.jpg)
蜘蛛回源配置完成,可以實現訪客通過CDN訪問的同時,蜘蛛通過分組直接訪問服務器源ip。
DNSPod專業版
免費版DNS可以嘗試升級至專業版,建議購買dnspod專業版,更便宜的購買途徑:
https://www.dnspod.cn/promo/domainscarnival?promo_code=S2N37CX622382H3U#anch_dnsPackage
![圖片[8]-DNSPod設置搜索引擎蜘蛛回源方法](http://m.zzgyrme.cn/wp-content/uploads/2023/01/e00ed1c059144559.jpg)