在大数据时代，数据已成为一个公司的核心竞争力，如何应对网络中日益严重的爬虫行为，恶意的网络爬虫行为在网络数据采集的过程中不仅会占用网络带宽、消耗机器资源，甚至会影响正常用户对网站服务的访问速度，对企业网站往往是毁灭性打击，如何反爬虫就显得非常重要。网络爬虫（Web Spider）又称网络蜘蛛，是通过模拟浏览器的方式对目标网站发起请求，从而实现自动抓取特定规则下互联网信息的程序或者脚本的一种技术。数据包Headers是区分浏览器和正常用户操作行为的主要标识字段，可以通过检测数据包Headers中的User-Agent和Referer字段作为判别是否为爬虫的重要手段，但是这种方式很容易被伪造，UA(User-Agent)可以在每次请求的过程种随机生成；目前应用较多的是通过前端的JavaScript的一些加密算法，生成一些加密后的参数，携带到后台进行校验参数是否合法，一般反解密这些参数的生成过程是比较困难的。通过检测用户行为，可以发现同一IP短时间内多次访问同一页面或者同一账户短时间内多次进行相同操作。一般爬虫可采用IP代理躲避网站检测或限制访问频率躲避检测。该方式虽然可以有效的阻止一些非法的爬虫请求，但是还是有弊端，通过实现IP代理池，每次随机选择一个IP代理进行请求。通过分析日志的方式来识别网页爬虫不是一个实时的反爬虫策略。可以通过部署的网站流量系统记录的真实用户访问IP来进行识别，对于短期内出现大量访问的行为可在参考流量系统分析结果结合人工判别的情况下，有选择地加入黑名单；此外还可以通过网络设备（路由器、防火墙等）限制网站被访问的网段，但基于网络设备依靠IP识别做阻断，误伤概率较高。浏览器指纹技术常用于客户端跟踪及反机器人的场景。核心思路是，不同浏览器、操作系统、以及操作系统环境，会使得canvas的同一绘图操作流程产生不同的结果。如果是相同的运行环境，同一套Canvas操作流程会产生相同的结果。浏览器指纹的优势是不需要浏览器保持本地状态，即可跟踪浏览器。用户的操作轨迹与爬虫的操作轨迹是不同的。举个例子，在电商网站上，用户可能会浏览100个或者更多相似的商品，最终选择一个进行下单。而爬虫的行为可能是浏览100000个商品，且它们之间彼此关联度很低， 最终也不会有任何购买动作。从这个维度来说，就可以判断出这个请求来源是客户还是爬虫。结合其他的反爬手段，就可以对爬虫造成有效干扰。低级的行为分析基于规则，高级的行为分析基于机器学习。对于用户操作比较多的网站来讲，是一种很可靠的反爬手段。用户向服务端发送请求获取数据，服务端将用户请求的数据按照字体文件进行加密后返回给前端，前端通过字体文件解密后渲染到页面，用户在页面正常查看是没用问题的，但是复制的结果是加密后的结果（乱码字符串），通常字体文件每次也是动态变化的。判断是爬虫时，不封IP，而是采用验证码验证。验证码是反爬虫性价比较高的一种方案。反爬虫一般接入OCR验证码识别平台或者人工打码平台，亦或者利用Tesseract OCR识别，亦或者采用神经网络训练识别验证码等。反爬虫和爬虫是斗智斗勇的博弈过程，在这个过程中没有绝对的胜利，只要是人能看到的东西，理论上都是可以通过爬虫获取的，反爬虫就是让对方很难拿，甚至拿不到数据，在此之前也要做好一些基础的规则，比如说robots协议或者用户协议等。未名企鹅的终端字典就是一款根据robots协议，基于AI、云计算技术构建，通过实时监测，自动更新，海量存储，合法的提供了全面、准确、及时、唯一的数据资源。目前终端字典已收录三级医院院边店3.2万余家、DTP药房2000余家、医保定点药店30余万家，便于药企选择和布局。此外，还有商圈边店、学校边店等多种类型标签，可根据产品属性精准选择目标终端，为企业提供了全方位的数据支持和数据应用解决方案。
欢迎CIO朋友们交流
如果您对未名企鹅的相关产品感兴趣，欢迎关注未名企鹅公众号，或者点击文末左下角“阅读原文”给我们留言提出您的需求建议。
未名企鹅以“连接健康”为使命，致力于提供生命健康领域的大数据产品和解决方案，帮助客户实现数据驱动的业务增长。未名企鹅中的“未名”代表北大，寓意人文精神，生命健康领域正是体现人文关怀的产业；“企鹅”象征科技，未名企鹅的创始团队毕业于北大，技术力量来自腾讯，公司以未名企鹅命名是希望以人文情怀加上科技力量来推动生命科学行业数字化发展。
