影刀RPA实战：网页爬虫之药品数据
1 实战目标
这次给大家带来的实战示例是采集中国医药信息平台上的药品数据，主要获取药品名称，介绍，药品类型，处方类型，医保类型，参考价格，药品成分，性状，适应病症，用法用量等。我们依然使用excel将这些需要的数据字段展示出来
需要准备的影刀知识：
- 网页元素操作
- 流程判断与循环
- excel操作
- 列表及文本字符串处理
2 影刀机器人采集药品数据
2.1 打开药品数据网
2.2 循环每一页药品数据
2.2.1 进入列表页面
2.2.2 获取分页数据
获取总页码，便于我们使用循环，依次采集每个页面的药品数据
开始循环分页采集，演示中，我们只采集第一页
2.2.3 获取药品数据列表
使用循环相似元素，将本页面的药品数据放入到一个列表中
2.2.4 下一页数据
通过以上的操作步骤，我们可以获取到每一页的药品数据，然后，我们依次点击，进入详情页来正式采集药品数据
3.3药品详情页采集药品数据
药品数据都是在详情页面中获取的，前边我们已经做好了准备工作，现在我们正式开始，详情页大体可以看成2个部分，我们通过观察可以发现，这个2个部分都很有规律，可以使用循环相似元素指令获取，不用通过获取元素信息指令单个采集。
3.3.1 进入详情页
我们先设置一个列表变量，存放采集的数据，每次采集完成后，将其写入excel
3.3.2 药品采集
采集药品名称与介绍
采集类型与参考价
这里有个判断，主要是过滤我们不需要采集的信息
其他说明采集
通过以上的采集，我们把想要的数据都写入到一个列表中，准备写入。
3.4 保存数据到excel
新建excel文件，设置好字段
数据写入excel中，自动保存
最终展示：
3 数据采集后思考
数据采集后的数据处理是一个关键步骤，它直接影响到数据分析的质量和最终结果的准确性。以下是一些数据处理的思考和最佳实践：
3.1 数据清洗
- 处理缺失值：通过删除、填充或插值等方法处理缺失数据。
- 去除重复：识别并删除重复记录，确保数据的唯一性。
- 纠正错误：修正明显的错误或不一致的数据，如错误的格式、拼写错误等。
3.2 数据转换
- 格式统一：将数据转换成统一的格式，便于分析和处理。
- 归一化：对数据进行标准化或归一化处理，使其整洁，统一。
3.3 数据存储
- 选择合适的存储格式和数据库，如关系型数据库、NoSQL数据库或数据仓库。
- 同时需要考虑数据检索是否方便
3.4 持续维护
- 随着时间的推移和数据的更新，定期维护和更新数据处理流程。
3.5 遵守法规：
- 确保数据处理过程遵守相关的数据保护法规和行业标准。
通过这些步骤，可以确保数据采集后的数据处理既高效又准确，为数据分析和决策提供坚实的基础。
4 最后
最后，国庆马上到了，祝大家开开心心，快快乐乐！
感谢大家，请大家多多支持！