• 封掉垃圾搜索引擎

    一般来讲,很多人都喜欢自己的网站有很大的流量,但有时候很多流量其实是垃圾流量,有选择性的过滤掉搜索引擎,很有必要,比如Sogou,每个月抓得比Google还要勤奋,但是在它里面搜来搜去居然一个结果都没有?简直让人莫名惊诧,比之于Sogou和Google带来的人流量,封掉它就显得很有现实意义了。

    针对上述情况,要封掉的其实不止Sogou一家,那么我们确定,只留下Google和百毒,其它搜索引擎都不让访问,然后呢,我们不允许这两只爬虫索引图片文件,MP3文件,还有其它多媒体文件,这一步我们在robots.txt里面设置:

    User-agent: *
     Disallow: /
    User-agent: Googlebot
     Disallow: /*.jpg$
     Disallow: /*.png$
     Disallow: /*.mp3$
     Disallow: /*.wmv$
     Disallow: /*.gif$
     Disallow: /*.cgi$
     Disallow: /*.gz$
     Disallow: /*.js$
     Disallow: /*.css$
    User-agent: Baiduspider
     Disallow: /*.jpg$
     Disallow: /*.png$
     Disallow: /*.mp3$
     Disallow: /*.wmv$
     Disallow: /*.gif$
     Disallow: /*.cgi$
     Disallow: /*.gz$
     Disallow: /*.js$
     Disallow: /*.css$

    很显然,这样的设置,对于病(bing.com)这种国际搜索引擎是很有效果的,但对于Sogou这样的垃圾搜索引擎,效果不大,它依旧是我行我素,所以,我们需要通过甄别其User-Agent,然后在web服务器上过滤。

    那么,我们可以在Nginx中设置如下,对于符合Sogou机器人UA的访问,一律给它返回400错误,一般来讲,我们见到的web服务器错误有404,403,500,502,503等等,但这些错误都是临时性的,会导致机器人间隔持续访问,返回400错误,可以告知机器人,除非你改变client端请求,否则你无法得到正确结果。

    location / {
                    if ($http_user_agent ~ Sogou) {
                    return 400;
                            }
    这段的意思很明显,我就不解释了。
    然后,所有Sogou的访问都会被400掉:
    123.126.50.70 - - [28/Nov/2011:22:45:23 +0800] "GET /2011/04/26/ HTTP/1.1" 400 172 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
  • 有些尘封了

    今天上午,两个月的电话录音居然有1100MB,这的确出乎我的意料,不过考虑到十月份的时候我打了很多电话,暂且忽略掉这个事实吧……

    今天下午,我怀着把婷妹相机搞烂的心情使劲把她滑盖摔坏的富士Z200不能滑开的滑盖用力滑开,然后,TMD居然滑开了…..然后我发现一个惊人的事实,卡西欧和富士的电池是一样的…..根据我英明的估计,所有日系相机的NP系列电池都是一样的……Nippon嘛。数据线没统一起来,电池倒是先统一起来了。

    今天晚上,我完全没有吃饭的胃口,吃到最后一口差点吐出来,当然,在下依靠坚强的毅力使劲将涌上来的冲动咽了下去。

    今天早上,不知道从什么时候起看书完全没有了状态,有时候就在那里呆坐着放空,但又没有想睡的意思,我觉得,这需要改变。

    谧谧说她生了,突然发现照片上唐妈妈好像一个人,喔,有些尘封了。

    同性恋MM打电话来,说她在建国门,问要不要她过来陪我几天,我说你自己看着办吧。

  • 你是一个滥情的人

    一大早,哦,不是一大早起床,发现已经是八点多,七点闹钟响起的时候头痛得实在是厉害,但又没有发热的症状,可能就是风吹多了吧,以前也是这个样子的,再次醒来已经好多了,也可能是睡眠不足,你让我吃药喝水,你让我不要这么辛苦,我想说,但是我没说。背着书包蹦蹦跳跳的出了门,本来想唱一首太阳当空照花儿对我笑,结果哼着哼着就哼成法语版的国际歌,嗯,看来强化记忆还是有用的,只不过到现在为止我都只能正确发出三分之一的歌词读音…..其它的只能哼哼过去……

    中午在公司楼下点了一份海鲜豆腐饭,一份紫菜寿司,吃下第一口海鲜豆腐饭,有点想吐,于是明白可能没胃口,把紫菜卷打包回来,放在桌子上盯着看了半天,想想当作晚饭好了。

    我发现很多人对于我写的东西有一些误解,你们不能单纯的去责怪谁,命运的轨迹不是你想要它怎么走,它就会怎么走的,痛苦和快乐于我而言,在本质上没有区别,它们都是一种体验,只不过有些科学家说,痛苦的体验会短命,快乐的体验会长寿而已,我理解你们对于我自身痛苦来源的追究和讨论,但是我相信你们也知道,我并不是一个看重结果的人,于是,又回到一个个原始命题,比如你们会说,你就是喜欢受虐,比如你们会说,你又拉低了你的Level,比如你们会说,你要是不想受伤,别人就得受伤。可是,难道你们从来没有想过,如果你会去思考这些个问题,那就不叫爱了。

    关于爱这个东西,记得我曾经和葳君,曦君都分别讨论过,最终还是没有得出结论,爱究竟是什么,处于讨论期的假设是,爱是不存在的,存在的只有爱的痕迹(照片,信件,子女)。当然,其实我是比较赞同葳君提出的,爱是一种基于对美好事物追求而产生的幻觉,但问题是,如果你事先就知道,那份美好是可望而不可及的,既然不可及,追求也就无从谈起,那么这种幻觉的产生又是基于什么呢?这样,就不得不回到了人的动物性,翡老师曾经跟我说过,这个世界上那么多的动物都是依靠原始的本能在繁衍,你凭什么认为男人和女人之间的情爱就一定比那样的本能要高级?OK,那么,这种幻觉的产生,就是因为费洛蒙了吧,所以,距离和时间,一定会让这种幻觉消弭,何况人的记忆力,没有那么好的。

    然而,这种Pure love,在生活中并不常见,因为人们往往受到各种内在或外来因素的限制,比如相貌,比如身高,比如财富,比如阅历,两个人要对上眼,其实是一件很困难的事情,回到我对自身的考量,我发现,桃桃说得很对。很早之前,桃桃就说,你是一个滥情的人,我说怎么会呢,我很专一的啊,她说,你是很专一,但你也很滥情,它们不冲突。我说,为什么呢?

    她说,因为我也是这样子的人,你没发现,你很容易把同情当作爱情,看见别人怎么怎么样,你就爱心泛滥,你的心太软啦,我说我没有吧,你看我对她们从来都很冷漠。她说,那是你故意表现成那个样子的,我说,好像是哎,所以我从来都不和人见面,我怕见面了就控制不住自己。她说,亲爱的,那你要不要见我呢?我说,这个问题我要考虑一下。通常来讲,我需要考虑的问题,答案都是否定的。

    然而,我在两广云游的时候,还是去了桃桃家,每天好吃好喝压马路,聊天的内容倒是没有电话里面那么多,很多时候会大眼瞪小眼,我觉得挺好的,像是多年老友一般,我们也就见过那一面,她依然会不知道什么时候就给我打来电话,依然会在每个节日的时候发来短信,依然会孤身一人顶着岁月往前冲。

    我想说的是,我所作的决定,是不是,都不那么重要。

    噢。
    见你,或者不见你。
    爱就在那里。
    但谁都不知道。
    它到底在哪里。