网站收录狂掉，被K，蜘蛛抓取失败【返回HTTP头是 HTTP/1.1 040】的解决方法

网站一直纯原创更新，建站5年来百度收录一直稳中有升，但是这1个多月来收录一直在网下掉，目前收录仅剩2个了，之前可是500个啊？但是除了百度去别的搜索引擎看又是正常的收录，同IP服务器下的其他网站收录正常呀？

以下是解决问题的思路：

排查问题1：难道百度抽风了或误杀，或者阶段性收录调整问题？

解决方法：继续观察7-15天  

结果：10多天后继续查看，网站被K的问题依旧没有解决，收录下降到只有2-3个了

排查问题2：网站环境出问题了？

可能的原因：经过百度站长工具发现，网站在2月初九已经出现下滑趋势，蜘蛛来访数下降了十几倍，那个阶段确实对网站做了一个比较大的变动，就是用了cdn，

难道是cdn的问题？但是同服务器下的另一个网站收录一切正常，他们都用了cdn呀，排除了CDN问题，去服务器环境看看，又发现收录正常的网站和不正常的网站设置完全一致,

难道是站长平台的问题?

排查问题3：百度站长平台排查

解决方法：一个一个对比设置，终于发现了点端倪，收录不正常的站点入场了百度站长工具的 HTTPS，而收录正常的没有入！

进一步分析蜘蛛模拟爬取发现，收录不正常的网站蜘蛛全站爬取失败！

疑问：莫非这个和https有关？虽然可以很大程度的断定和HTTPS有关，可是两个网站都是https啊

在模拟抓取返回的报错里面返回HTTP头是 HTTP/1.1 040 ，040是个什么报错？正常抓取成功的应该是200

看到这里 豁然开朗

客户端--（https）--CDN--（http）--服务器

我的网站环境是https部署在cdn上，搜索引擎回源用的是http协议，因为我入场了百度站长工具的https，所以当蜘蛛抓取后，用https的协议回源抓取的，导致抓取失败

这也对上面说的同服务器下的另一个网站没问题的原因做了解释，因为他没入场https，本来就是用http抓取的，所以正常

知道了问题症状的所在，那么解决这个问题其实是有2个方法：

1. 退场百度站长工具的https     简单粗暴

2. 在服务器上也部署https，并把cdn的回源协议换成https，这样再次抓取会成功