网络爬虫 on yearliny

微信小程序防爬虫、黄牛方案设计

Mon, 20 Jun 2022 13:14:30 +0800

近期公司新上了疫苗预约功能，由于目前九价、四价疫苗的火爆程度，很快就吸引了各路牛马扫描爆破接口。因为缺乏防控措施，导致了这些爬虫、脚本对疫苗资源的抢占挤压，更有些不讲武德完全不做频率限制的爬虫脚本，一秒中查询调用11次，给服务产生了不良影响。

58同城二手车数据爬虫

Wed, 25 Oct 2017 22:54:40 +0800

使用 Python 写了个爬虫以爬取58同城某个城市的二手车数据，总共爬取了 1530 条数据。通过数据可以得出一些结论，比如66%的车都是自动档，只有34%的车是手动挡，而这些车首次挂牌时间按数量排序主要集中在2012年、2011年、2010年这三个时间，

煎蛋网的图片爬虫

Wed, 04 Jan 2017 21:16:16 +0800

从学习Python的第八天就想要写个简单爬虫，当天就实现了功能，不过遇到了点问题，之后两天也都一一解决了。初学编程语言时写个小作品是令人兴奋的，这对学习过程来说是个很大的激励，所以我向来遵循Learning-by-doing。Learning-by-doing这容易联想到古典经济学的一个名词，被国人简单粗暴的翻译为“干中学”，意为在实践中学习。