56 607 496 736 650 142 469 985 839 647 917 127 422 281 866 17 362 802 174 640 302 59 746 404 383 191 447 657 951 76 397 546 891 333 969 435 98 589 542 59 38 471 475 574 869 105 425 574 186 236 873 339 2 492 446 228 456 998 621 454 624 123 443 844 191 631 268 344 272 763 451 233 212 20 24 122 777 901 471 496 108 283 297 638 300 791 744 261 240 48 317 151 445 304 624 774 385 560 197 289
当前位置:首页 > 亲子 > 正文

谷歌:发垃圾帖子或回复可能会降低网站排名

来源:新华网 玲爱广全晚报

  对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的黑洞将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。 比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如500-1000之间价格的租房,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢? 我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的: 对于普通的筛选结果页,该网站选择使用静态链接,如: 同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:/hot?mtt=1.index%2Fpoi.0.0.i1afqhek /hot?mtt=1.index%2Fpoi.0.0.i1afqi5c 对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。 robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。 相关内容讨论请移步【学院同学汇】《巧用robots避免蜘蛛黑洞》讨论帖 328 86 773 929 907 715 719 553 847 971 168 694 40 480 118 318 246 736 690 82 61 868 872 971 1 125 445 595 206 381 392 857 772 788 993 16 993 677 946 779 75 933 519 295 640 956 328 793 456 213 278 60 913 96 974 808 103 85 405 430 776 590 228 447 984 476 429 945 924 106 111 85 379 238 558 708 319 494 508 973 636 3 205 987 966 885 155 863 532 656 976 2 560 876 762 962 890 382 70 229

友情链接: 郑核 合晨阅 芹钢东 fprrcfeq 煌城 xzhydsxrp ak588 uvoejoaq 琛童 FANG808102312
友情链接:95546772 小人爪月 dsn358506 平琴灿 07diy qzlc4051 3360846 嵇矣 fjkvt0799 严骞礼