城市消费券，拒绝恶意爬取
作为提振经济的重要把手，城市消费券的作用不言而喻。公开数据显示，2022 年全国各地公布的消费券累计超 100 万亿，在撬动各地消费的过程中起到了举足轻重的作用。
然而，仔细分析各地的核销率就会发现，有很大一部分消费券可能落入到了不法分子的口袋中。
根据顶象近日发布的《城市消费券安全调研报告》（以下简称《调研报告》）显示，各地消费券核销情况不一。
6 月 24 日，杭州发放 2022 年第二期数字消费券。4 天之后，核销率不到一半，为 49.1%。核销率同样在 50%上下徘徊的，还有 6 月湖北首批“惠购湖北”消费券。
此外，郑州5月发放的餐饮消费券，核销率只有45%。
整体来看，各地的平均核销率超过80%。但从目前公布的各地核销率情况来看，核销率却不甚理想。
《调研报告》显示，15 个地区中，核销率在90%以上的仅有深圳、成都和宁波三个城市，其余城市核销率都徘徊在 50%~70%之间。不难猜测，未核销的消费券很大程度上可能已经成为不法团伙牟利的工具。
与此同时，由于消费券发放的平台主要在支付宝、微信、云闪付及建行生活 App 等各个大平台发放。各大平台自身有较强的业务安全及风控能力，各地的消费券发放规则上，获取消费券的用户基 本都需要完成实人认证，且需要开启相应的线上支付功能，已经有较好的风控能力。
显然，常规的批量注册、软件哄抢对于黑灰产而言已经不适用了，那么，黑灰产们又是如何批量盗取消费券的呢？
利用机器爬取获取大量消费券信息
《调研报告》显示，为了绕过消费券的发放规则，黑灰产通过大量招募真实身份、真实账户的的“刷手” ，然后通过社群，下达任务，组织进行统一操作和套现。从目前收集的情报来看，现阶段黑灰产在整个消费券套现的链路中扮演中介的角色，赚取相应的佣金，主要采用人工抢和机器抢两类方式进行。
其中，人工抢券则利用爬虫抓取大量信息。
具体流程如下：
第一步，人员招募。黑灰产在国内外各个社交平台建立消费券组群，发布隐晦的广告信息，招揽“刷手”入群。另一方面，有套现需求的消费者也可以各个社交平台，通过关键词搜索的方式快速找到相应的消费券套现群。
第二步，收集信息。在招募一定数量级的参与者后，黑灰产通过人肉线上搜索或机器爬虫的方式，抓取线上各地政府发放消费券的发布信息。
第三步，消费券整理及业务漏洞挖掘。针对汇总收集的消费券信息，黑灰产依据发券时间、地点、发布 App、消费券金额、使用方法等进行统一分类、整理，并分析消费券领取和使用中的业务 漏洞，以便于进行哄抢。
第四步，下达任务。通过社群，黑灰产下达抢券任务，引导刷手在指定的时间内集中哄抢消费券。
这样的行为不仅破坏了各地发放消费券的初衷，也扰乱了市场公平，造成了极坏的影响。
那么，如何防范城市消费券被恶意爬取呢
顶象防范恶意爬虫的有效措施
机械工业出版社出版的《功守道—企业数字业务安全风险与防范》一书中，认为恶意网络爬虫会带来数字资产损失、用户隐私泄露和扰乱业务正常运行等三大危害，并将“恶意网络爬虫”列为十大业务欺诈手段之一。
此外，爬虫开发制作门槛比较低。很多技术论坛社区有关于爬虫开发、研究、使用介绍，市面上也有很多专业的爬虫书籍。只要掌握Python编程语言，按照论坛、社区和书籍上提供的爬虫教程和实操案例，同时根据爬虫技术爱好者分享出来的平台、网站、App的API接口信息，就能够快速搭建出一套专门的爬虫工具。
基于城市消费券背后的爬虫，顶象认为可从以下几方面入手：
加强平台风险环境监测。定期对App的运行环境进行检测，对于存在代码注入、hook、模拟器、云手机、root、越狱等风险能够做到有效监控和拦截。
保障客户端安全。App和网页，可以分别部署H5混淆防护及端安全加固，以保障客户端安全。
通信链路强加密。Web端的JS、移动端的SDK均需要经过加固保护，提高攻击者逆向的难度。
策略层面建设基于场景的反爬策略。比如同设备关联的IP数异常、爬虫IP黑名单封禁、爬虫风险设备识别等等。
处置层进行风险分层，并下发不同的处置指令。比如系统判定为无风险/低风险时，则放行；系统判定为中风险是，则需进行人机验证；系统判断为高风险时，则立即阻断。
数据的分析总结层面，根据数据报表进行监控回溯，查看历史触发情况，进而对反爬策略进行优化升级。
在业务侧，针对批量爬虫的风险特征，可接入业务安全风控系统。同时将终端采集的设备指纹信息、用户行为数据等传输给风控系统，通过在风控系统配置相应的安全防控策略，有效地对风险进行识别和拦截。
1）设备终端环境检测。识别客户端（或浏览器）的设备指纹是否合法，是否存在注入、hook、模拟器等风险。通常批量作弊软件大多都存在以上风险特征。
2）行为检测。基于设备行为进行策略布控。针对同设备高频查询，同IP高频查询，相同IP段反复高频查询的请求进行监控。
3）名单库维护。统计基于风控历史数据，对于存在异常行为的账号、IP段进行标注，沉淀到相应的名单库。对于名单表内的数据在做策略时进行分层，适当加严管控。
4）外部数据服务。考虑对接手机号风险评分、IP风险库、代理邮箱检测等数据服务，对于风险进行有效识别和拦截。
同时，验证码和设备指纹也是反爬的重要手段。
验证码能够阻挡恶意爬虫盗用、盗取数据行为，防止个人信息、平台数据泄露。当某一设备或账户访问次数过多后，就自动让请求跳转到一个验证码页面，只有在输入正确的验证码之后才能继续访问网站。但是设置复杂的验证码会影响用户操作，带来负面的体验感受。
设备指纹及时识别注入、hook、模拟器等风险，风控引擎对注册、登录、领取等操作进行风险实时识别判定；智能模型平台帮助社交媒体构建专属风控模型，由此构建多维度防御体系，有效拦截各种恶意爬虫风险，且不影响正常用户体验。