###写在题外的话 爬虫,我还是大三的时候,第一次听说,当时我的学姐给我找的一个勤工俭学的项目,要求是在微博上爬出感兴趣的信息,结果很遗憾,第一次邂逅只是擦肩而过。然后,时间来到4年后的研二,在做信息检索作业时,老师让选择一个自己感兴趣的主题,于是,第二次不期而遇。这次相遇,我本以为自己不会轻易放手,结果依然是无疾而终。直到,今天,我变成了一个人,再次相遇,我不再路过。然后,才发现,原来做一个爬虫并不难,我一直都Too young, too simple.一句话,想做爬虫,就来吧,Seize the day. 一、python爬虫综述 一个简单的爬虫,两部分组成,下载html和解析html文档。我实现了一个爬取糗事百科的首页的笑话的网络爬虫,大家可以用来参考。 二、python爬虫开发环境的搭建 开发环境:python2.7(win10-64) 开发IDE:pycharm最新版,就OK 使用到的工具包:setuptools, pip, chardet, certifi, idna, lxml, urllib3, requests, beautifulsoup, bs4所有用到的这些包我都打包放在了我的资源里,大家可以去下载,或者,直接在网上下载最新的python工具包。 [python2.7_win10爬虫开发环境工具包.zip] 三、pythonIDE的安装 使用pycharm进行python的项目,在网上很容易下载到,在注册的时候,可以使用关键字(pycharm,2017,注册码),给大家一个参考。[pyCharm最新2017激活码] 四、源代码
|
|