晓波笔记
布谷网
页面被百度收录了成千上万，排名不可观，天天嚷嚷百度不公平，原创都不收录，被人家转载还排名杠杠的，但是你知道收录的这些页面有多少是错误页面嘛？有多少页面打不开嘛？你花时间去整理错误页面了嘛？扪心自问这些问题在大部分网站上面都会出现，只是站长们都去注重网站排名去了，不在意这些细节问题，从不找自身的原因，反而去怪罪百度。
小问题也需要大智慧，处理网站错误页面是百度在网页优化白皮书提出的重点项目，作为站长的我们应该去发现这些重点，然后根据网站自身的问题去改进问题，提高网页在百度收录时遇到错误页面而给与负面影响，同时也给用户留下好的印象，提升网页的用户体验。作为菜鸟的我给大家总结了从那些方面来找出收录页面在百度中的错误。
1.服务器错误
服务器错误最主要的问题就是百度蜘蛛发起抓取网页的时候，httpcode返回的都是5XX状态码，这样会造成百度抓取不到规范的网页。造成服务器错误的原因有多种：网站处于正在进行维护；该网站有程序出现批量错误。最好的解决办法就是找出程序的错误并做出适当的修改，如果是网站正在进行维护，请采用百度站长平台的闭站保护进行规范后然后再进行操作。
2.访问被拒绝
访问被拒绝最主要的问题就是百度蜘蛛发起抓取网页的时候，httpcode返回的都是403状态码，这样同样会造成百度蜘蛛抓取不到规范的网页。造成访问被拒绝的原因也有多种：网站权限受限制；IP地址被拒绝；服务器流量超负荷。这几种错误原因解决办法也很容易，找出网页所在目录给与百度蜘蛛足够的权限去抓取页面，查看百度蜘蛛的IP地址是否被封禁，服务器流量过大的话那就升级服务器。
3.找不到页面
找不到页面最主要的问题就是百度蜘蛛发起抓取网页的时候，httpcode返回的都是404状态码，这种错误是网页最主要的，几乎所有的网站都有这种页面存在。造成找不到页面的原因可以列举一大把：过期的团购网页；误删数据库；论坛垃圾帖子删除。其实这些问题能够轻而易举的就解决了，建立合适的404页面，遇到404状态码就返回404页面。
4.其他错误
其他错误包括的项目就比较多了，但问题大概还是差不多的，就是百度蜘蛛抓起网页的时候httpcode返回的4XX状态码，除了403和404之外的其他状态码。这种问题的来源也是蛮多的：请求的URL太长【参数太多】；要求验证身份；不支持的媒体类型；浏览器不接收所请求的页面。解决这些问题比较复杂，URL过长的话需要解决参数的排序位置，身份验证的就要从部分网站权限控制和其他程序问题来控制了，媒体类型尽量做到每个类型就覆盖到自己的网站。
总之，运用好百度站长平台的抓取异常这个栏目选项，你就能找到百度蜘蛛在抓取网页的时候遇到的瓶颈，解决掉这些对蜘蛛爬取的有阻拦的问题，你就能把所有在百度已经收录的页面统计出来，然后根据不同的问题解决掉就可以了。网站抓取问题解决了，百度收录量就会duang，duang，duang的疯涨了。老板再也不担心我的网站收录数据差了。
