1、网站针对爬虫爬取做的优化,直接将图片二进制内容放到了html中导致页面长度过长,网站页面长度达164k;
2、 站点优化后将主体内容放于最后,图片却放于前面;
3、爬虫抓取内容后,页面内容过长被截断,已抓取部分无法识别到主体内容,最终导致页面被认定为空短而不收录。
400-700-4979
无论您在哪里,尚品都愿意为您提供高价值服务! 请选择您方便的咨询方式:
1、网站针对爬虫爬取做的优化,直接将图片二进制内容放到了html中导致页面长度过长,网站页面长度达164k;
2、 站点优化后将主体内容放于最后,图片却放于前面;
3、爬虫抓取内容后,页面内容过长被截断,已抓取部分无法识别到主体内容,最终导致页面被认定为空短而不收录。