整个程序只需用到了两个库:json和requests。调用的是快递100-查快递,寄快递,上快递100 的api。 代码如下: 运行效果如下: 有很多网站都可以用api来调取数据,譬如车票、机票、快递、豆瓣、网易... 用Python写一个爬虫很简单,可要想把爬虫代码写好却没那么简单,因为要学的还有很多~ 譬如你爬取到的数据要用数据库存储吧(Mysql、MongoDB、redis、oracle...) 譬如你爬取海量数据时单机爬取太慢了,你要学多进程、多线程、协程、分布式。。。 譬如你爬取速度太快,总是被网站监测到,限制访问、封ip啊,于是你需要购买代理ip或者自己打造一个免费ip池。 |
|