全面封杀腾讯SOSO蜘蛛

日期： 标签：杂谈
如需帮忙改代码，或者WordPress二次开发、PHP网站建设等需求，可联系我购买付费服务：  点此联系我

     平常我都有看网站原始访问日志的习惯，最近一周以来，日志中开始大量出现Sosospider的访问信息，IP是 124.115.0. 段，查询到的地址是：陕西省西安市 SOSO蜘蛛。

     从日志中分析，Sosospider每隔几秒钟就来抓取一次，访问的都是一些乱七八糟的链接，甚至robots.txt中禁止索引的链接也被抓取，更让我想不通的是，一个搜索引擎的爬虫蜘蛛去抓取页面中的js和css干什么？

     对于搜索引擎蜘蛛我还是挺有好感的，但是对于Soso蜘蛛的这种行为，我感到无法理解，我暂时把它理解为对我网站的恶意流量攻击，不仅耗费了大量流量，也耗费了大量的CPU资源。流量是花钱买来的，不能浪费。索性在.htaccess中封杀这个IP段：

deny from 124.115.0.

     搜索发现，124.115.0.这个ip段的Sosospider早在2007年就已是臭名昭彰了，见报道：腾讯SOSO蜘蛛乱撒网 惹怒站长被封杀.相信肯定有很多人给腾讯搜搜反应过这样的问题，但是直到世界末日都过了，搜搜依然没解决这个问题。莫非这个Sosospider不属于搜搜，而是肉鸡？

-- 完 --

本文采用 「CC BY-NC-SA 4.0」创作共享协议，转载请标注以下信息：
原文出处：露兜即刻 https://www.ludou.org/block-sosospider.html
露兜
作者：露兜 » kaapass@outlook.com  QQ 825533758

业余编程爱好者。

15 条留言

点此留言
  1. 向日葵媒体设计

    无法理解它的反链怎么会那么多。。几万条～

    回复
  2. ICU路 ICU路

    肉鸡思密达。。。

    回复
  3. Louis Han Louis Han

    搜搜的蜘蛛怎么会跑到陕西？
    而且07年的时候搜搜还是用的Google的数据吧

    回复
  4. waiting-无限博客 waiting-无限博客

    骚噶，回去看看自己网站有没有中这个招……

    回复
  5. 茶话汇 茶话汇

    soso搜索来的流量本来就不多，禁用应该关系不大的

    回复
  6. Mouse Mouse

    其实那个是冒充的spider，不仅是soso，百度和bing也有过。

    回复
  7. Tokin Tokin

    平时我也没关注过爬虫，随便抓取吧，正愁流量用不完呢…

    回复
  8. hea

    怎么提交不了留言、

    回复
  9. 一堵墙 一堵墙

    他那个方向链接的统计怕是有问题吧

    回复
  10. 哼哼猪 哼哼猪

    确实，不产生索引，一味在爬取，纯粹浪费流量

    回复
  11. 第三眼 第三眼

    国内搜索引擎的蜘蛛从来不care robots.txt的

    回复
  12. 西贝博客 西贝博客

    待会切看看log

    回复
  13. 红色石头 红色石头

    雅虎360更多，我看我的，几十万~~~

    回复
  14. 柚子 柚子

    长见识了，前几天查看服务器log的时候也看到了SOSO的爬虫，当时没怎么在意，看来有必要filter一下它了。Google的搜索技术本身肯定没问题，SOSO太贪心了点。。

    回复

发表留言