一：确定需求，比如需要哪些字段：
二：寻找能提供全部需求的数据源
1.如果能找到：
1.1分析数据加载的方式（动态or静态）
1,2根据数据加载方式，分析是否有反扒，还有反扒的强度（抓包和进行request）
1.3确定反扒强度：
1.3.1 if ok：
1.3.1.1确定数据类型数据格式，制定数据抽取规则，
1.3.1.2入库，successfully;
1.3.2 else:
回到二
2.如果找不到：
2.1.寻找数据源，多个数据源进行拼凑
2.2在各个数据源下执行 二.1
Python爬虫数据抓取思路
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 1.ios高性能编程 (1).内层 最小的内层平均值和峰值(2).耗电量 高效的算法和数据结构(3).初始化时...
