今天分享下基础爬虫或者小规模爬虫,应该掌握哪些技能、需要如何学起!
【文末有获取方式】
【文末有获取方式】
Python 基础
- 环境搭建
- Python安装
- 开发工具 - PyCharm,VS Code
- 变量
- 定义变量
- 命名规则
- 基本数据类型
- 基本数据结构
- 字符串
- 列表
- 字典
- 集合
- 元组
- 流程控制
- 条件
- 循环
- 函数
- 调用函数
- 定义函数
- 函数参数
- lambda 函数
- 面向对象编程
- 类和对象
- 访问限制
- 装饰器
数据采集与解析
- HTTP 基本原理
- URI 和 URL 统一资源定位符
- HTTP&HTTPS 请求与响应
- HTML 组成原理
- WEB 基本原理
- JavaScript&HTML&CSS
- 节点树与节点
- Web 加载原理
- 静动态 Web 页面
- Socket 库
- 基于 socket 协议的爬虫
- Requests 库
- requests 库的使用
- cookie 与 session
- 模拟登录
- 请求头模拟
- IP 代理
- 正则表达式
- re 模块的使用
- 基本字符串、数字等匹配规则
- 贪婪与非贪婪匹配
- Xpath
- 执行原理
- 节点操作
- 元素操作