240 投稿
收录了24篇文章 · 22人关注
  • 对Python函数传参的一些思考

    今天看到这样一个问题: Python 的函数是怎么传递参数的,有了一些兴趣,因为以前都是直接信的一个流传度较广的说法 对于不可变对象作为函数参数...

  • 如何将自己的Python包发布到PyPI

    以前写过一篇类似的文章: 如何打包自己的项目并且发布到pypi上,不过由于PyPI进行了一些更新,因此旧方法不大适用了。趁端午有时间,想把hai...

  • 谈谈__eq__和__hash__

    今天刷一道算法题的时候用到了list_a == list_b的判断,==和is大家都已经是耳熟能详了,前者是判断值是否相等,后者是判断引用是否相...

  • haipproxy高可用核心策略

    昨日使用haipproxy作为代理源,对知乎进行了数据抓取相关的性能测试,测试效果还不错,有兴趣的可以点击项目主页查看测试结果。但是它仍有继续优...

  • Resize,w 360,h 240
    haipproxy校验器编写流程

    使用过代理IP的同学应该都知道,即使是同一个IP,访问不同网站,可用性和速度都可能大不相同。因此,根据实际使用情况编写特定站点的代理校验器是非常...

  • Redis性能优化tips

    读完了Redis实战,感觉收获还是蛮多的。像往常那样,读完就想将书束之高阁。这几天总感觉差点什么,于是又翻了一下这本书,打算记录书上和自己知道的...

  • Resize,w 360,h 240
    高可用分布式代理IP池:架构篇

    历时大致两个月,到现在终于完成了高可用分布式代理IP池,目前开源在了Github上。写这个项目的原因主要有两点,一是自己平时的部分工作需要和爬虫...

    0.5 resolvewang 2 16 1
  • scrapy调试小技巧

    因朋友推荐,最近又重新上手了scrapy,和上一次(一年前)用确实有不同的感受了。上次感觉scrapy中的东西完全是一个黑盒,用起来很不顺手。这...

  • thriftpy初体验

    目前有这么一个需求:线上有很多个爬虫程序,它们在数据清洗完成后都要做文本情感分析。以往同学的做法是在每个爬虫中把相同代码都Copy一份,但是考虑...

  • Resize,w 360,h 240
    使用Jenkins进行Python项目的持续集成

    持续集成(CI)对于软件工程来说非常重要,它的意义在于产品快速迭代的同时,还能够让代码保持高质量,所以编写高质量的单元测试代码也显得十分重要。T...

专题公告

记录我学习和工作中对Python的点滴记录