做网站优化的页面质量优化够好,还特意对爬虫做了优化,但为什么内容没有被收录呢?
分析:
1、虽然网站针对爬虫做了优化,但是图片的二进制内容放在了html中导致页面长度过长,网站的页面长度164k;
2、站点优化内容主题还在图片的后面;
3、爬虫抓取内容后,由于内容过长而导致被截断,这样就会导致页面认定为空短而不收录。
建议:
1、建议不要使用JS生产主体内容,因为当主体渲染出错时,只有可能导致页面内容读取错误的,页面无法抓取。
2、在给爬虫做优化时,长度也可以在128k之内,切勿过长
3、做网站优化时,要把主体内容放在最前面,避免抓取阶段而导致内容抓取不全。