当前位置:澳门贵宾厅 > 数据 > 虽然同盾科技在第一时间辟谣称www.vip8888.com,这一轮被整顿的主要是数据公司的爬虫业务
虽然同盾科技在第一时间辟谣称www.vip8888.com,这一轮被整顿的主要是数据公司的爬虫业务
2020-02-07

“出国的出国,被抓的被抓”,这已成为大数据领域目前的常态。

擅长清洗数据的第三方数据行业,这次轮到自己被“清洗”了。

出国的出国,被抓的被抓,这已成为大数据领域目前的常态。

从9月上旬开始,先是杭州的两家数据公司新颜科技和魔蝎科技相关负责人被带走调查,随后公信宝、天翼征信等也被纳入调查行列,直至行业头部平台同盾科技被传出解散整个爬虫部门。

擅长清洗数据的大数据行业,现在轮到自己被清洗了。这三个月以来,大数据行业面临了最严厉的整顿,多家数据公司被调查,数据行业动荡不断;行业持续收紧,七成数据接口被切断......

虽然同盾科技在第一时间辟谣称,为响应国家关于个人信息保护的相关政策,旗下信川科技的产品数聚魔盒2018年就开始逐步调整业务,目前已全部停止相关服务,但这也正印证了数据行业当前面临的窘境。

你家老板被抓了吗?几乎成为大数据行业从业人员的日常问候语。被捕,裁员,查封......这些敏感的词语在动荡的数据行业中已经不稀奇。行业面临严厉整顿的同时,大量数据公司的爬虫团队被整体解散裁员,数万员工流出,行业人员流失率在50%以上。

多米诺骨牌仍在继续推倒。9月19日,市场消息称,头部贷款超市平台信用管家被警方突击调查。一名从业者感慨:整顿还在继续,谁也不知道下一家又会是谁?

手机版澳门贵宾厅,早两年,大数据行业因其高深、精准、实用等特质,处处显示着它是蓝海,是未来。不过真的应用起来,却一点都不是和平和爱。当它碰到野蛮生长的互金行业,甚至变得充满阴暗、罪恶甚至杀戮。这一轮被整顿的主要是数据公司的爬虫业务,而被整顿的导火索,正出在现金贷、P2P等互联网金融行业身上。

一位接近监管的人士对《棱镜》表示,监管方从年初就在酝酿针对数据公司的整顿清理,应该是大动作。

数据行业跟互金行业深度捆绑,大数据中的爬虫业务乱象,正是非法现金贷这条毒蛇的七寸。随着互金行业这两年的合规、出清和整顿,数据行业也面临着大面积的清洗、剿匪。

打蛇打七寸

- 1 -

在一家助贷平台做中层的孙丹最近准备跳槽了。她所在的公司同样涉及到大数据业务,虽然目前一切如旧,暂时没受影响,但这段时间不断传来的XX平台遭调查的消息,让她焦虑不已,最终还是下定决心辞职,远离这一曾经标榜科技与前沿的领域。

前所未有的严厉整顿

行业人人自危。她对《棱镜》表示。

大数据行业在今年秋季遭遇了一次前所未有的严厉整顿。也许,这是数据行业面临的最大生死劫:有人死,也有人生

虽然同盾科技在第一时间辟谣称www.vip8888.com,这一轮被整顿的主要是数据公司的爬虫业务。虽然警方尚未对上述调查进行公开通报,但行业里的人都心知肚明:这大概率与第三方数据公司为714高炮平台、套路贷提供数据征信服务,非法获取和倒卖个人数据有关。

9月,摩羯科技、新颜科技、公信宝等公司相关人员相继被调查;随后,行业巨头同盾科技被传出解散整个爬虫部门;头部贷款超市平台信用管家被警方突击调查。

714高炮是指期限在7天或14天的包含砍头息的超利贷,在今年315晚会被曝光之后,被监管部门重拳整治。而为714高炮、套路贷提供土壤的数据公司,也不可避免地受到了波及。

10月,51信用卡等多家涉及大数据业务的服务商被查;

据《棱镜》了解,目前很多涉及爬虫业务的数据公司都已经暂停或调整服务,进而引发更大的蝴蝶效应。

11月,拉卡拉控股的考拉征信等7家科技公司被查;

一位消费金融平台的市场部人士告诉《棱镜》,那些依赖数据公司提供服务的现金贷平台,一下失去了风控能力,这几天陆陆续续在各个渠道下架自己的贷款产品。风控模型还在重新调试,估计短时间不会正常放款。

无论是行业巨头还是小公司,都在这个秋天清晰地感受到了萧瑟。瑟瑟发抖的瑟。

而作为一家第三方数据公司的副总裁,李亮则更能感受到实实在在的影响。在他看来,这次数据行业的震荡,比此前对于现金贷行业的整顿来得更严重,效果也更明显。

www.vip8888.com,继今年初315晚会爆出一些大数据公司窥探、交易用户数据后,这个行业的整顿就没停过。有媒体报道,不少金融机构合作的数据接口,70%都被切断了;剩下的30%也不稳定,一周换三次。

打蛇打七寸!李亮提到,大数据对于现金贷、714高炮、套路贷而言是命门,没有了数据做支撑,他们就无法放贷。

多米诺骨牌仍在继续推倒。整顿还在继续,谁也不知道下一家又会是谁?因此,朋友圈里有人开起大数据公司的玩笑,你家老板被抓了吗?

此外,对于一些相对合规的借贷平台而言,虽然数据公司暂停服务暂未对他们产生灾难性的影响,但他们仍然需要立即对数据源和策略做一些调整,来应对市场环境的变化。

行业人人自危。一家大数据公司创始人于建瑞在接受媒体采访时说道,最近各家大数据公司的CEO每天都在朋友圈打卡,比运动打卡还勤快,其潜台词则是我没事,我们公司也还好着呢。

而接下来监管会不会扩大清查范围,则是一把悬在他们头上的达摩克利斯之剑。

行业面临洗牌,其实也是一次资源重新配置的机会。有公司在这轮整顿里永远消失,也有一些因此活得更加滋润。

兴于现金贷

一些公司大量裁员关停爬虫业务的同时,另一些合规的、有国资背景的大数据公司,却门庭若市。有的公司在短短三个月内,每个月业务翻一番。

在多位行业人士的印象中,第三方数据行业从2013、2014年就开始兴起,在2017-2018年左右迎来大爆发。这也与P2P网贷和现金贷兴起至爆发的时间线基本吻合。

在这轮整顿中,首先停掉的,是各种爬虫产品。

一家头部助贷平台的高管对《棱镜》表示,前端风控弱、主要依靠贷后催收是原本现金贷平台的一大特点,而数据公司擅长利用大数据搭建风控模型。现金贷行业惊人的吸金能力,让大家意识到卖水的数据行业也挺赚钱,加上行业模式已经相对成熟,于是做这个事情的人也越来越多。

大数据公司获取数据的方式主要依靠第三方机构授权、关联方或场景的数据以及爬虫业务。其中获取成本最低、触及领域最广、所得信息最详细的就是爬虫业务。数据爬取,理论上是有红线的,要求遵循一定协议和规则,大数据公司才能实现自动获取网站站点的信息和数据。但现实中,规则往往被忽略或简化。

根据亿欧智库2018年11月发布的《2018中国智能风控研究报告》显示,截至当时,金融风控企业已经达到573家,其中超过6成企业成立于2014-2016年。

2016年摩羯科技给玖富定制了一个爬虫软件,据说曾爬过100多家同业的数据,包括用户名、密码等。这家公司还设计了一款支付宝爬虫产品,可以帮公司拿到支付宝用户的真实姓名、手机号、收货地址、近一年的购物信息,甚至详细到每笔交易的金额。

巨大的市场机会也吸引了风投的目光。上述《报告》统计,573家金融风控企业中,有192家企业获得投资,投资金额超过1000亿元,其中3成企业获得三次及以上的投资。

爬虫所得的信息只要能被多次出售,就稳赚不赔。媒体曾报道,在一个二手商品交易平台上,一份简历的收费标准0.25元,一份判决书低至1毛钱,一篇论文不到1块钱。

在风投的加持下,行业一路高歌猛进。以行业头部平台同盾科技为例,据新流财经此前报道,同盾科技2016年-2018年的营业收入分别为6066万元、2.61亿元、5.42亿元,呈几何级数增长。截至2018年底,同盾科技累计客户数量为2421家,完成了对互金行业90%以上的覆盖。

这些信息会被买来用于精准营销,或是精准诈骗。其实,爬虫取得的数据,最广泛的用途还是用在现金贷行业的催收环节。这也是数据公司爬虫业务首当其冲的原因。

据《棱镜》了解,第三方数据公司主要依赖大数据工具,如爬虫等技术,为市场提供场景化、定制化的大数据相关产品。这些数据主要分为司法信息、电商信息、银行卡信息、运营商信息、社交信息、开放数据等几大类。在这些数据维度中,比较受互金客户欢迎的都是覆盖度高、标准化较强的通用类数据,比如身份验证、逾期黑名单信息等,一般是通过爬取淘宝、社交网络、网上银行等获取数据。

- 2 -

在数据行业,每条信息都会有自己的标价。

爬虫团队都被解散了

《棱镜》获得的一份头部数据公司的报价单显示,仅信息核验服务就被细分为43个项目,包括实名验证、银行卡三要素核验、对用户消费偏好、经济能力方面的预测等等,不一而足,单次查询的价格从每项2毛钱到10块钱不等,如果包年的话另有折扣。

在年初被315曝光后,大数据行业就风声鹤唳。

某头部数据公司的部分报价单

于建瑞发现第二家爬虫公司被抓后,立即决定壮士断臂,他要求爬虫部门业务暂停,数据库和服务器上所有的爬虫数据全部删除,即便是脱了敏的。

此外,该公司还为客户提供逾期管家、催管大师等贷后风控产品,包括未逾期客户还款提醒、逾期客户还款催缴等服务。另外,公司还帮客户智能关联催收公司,从中收取回款佣金的10%作为平台使用费。

于建瑞删除数据的第二天,爬虫部门马上裁员十几人,转岗十几人。

前述助贷平台高管告诉《棱镜》,每个数据源的价格在几毛钱到几块钱不等,只要不是太贵,一般都会多接几个。最终算下来一个借款用户的数据成本普遍在2元10元之间,少数能达到20元左右。

第三天,整个爬虫部门从公司完全消失。花了三天时间,一个数据公司的爬虫业务就被抹除了。

《棱镜》从接近监管部门的人士处了解到,用户地理位置、资产收入、运营商爬虫、信息修复、证照比对等数据信息,将是这次核查的重点。

目前很多涉及爬虫业务的数据公司都已经暂停或调整服务。而在大量的数据公司裁员中,爬虫部门几乎是全军覆没。大数据风控平台同盾科技是典型案例,9月份其爬虫负责人被查,爬虫部门解散并集体待岗。这些员工被建议不要离开杭州,否则有被抓的风险。

灰色地带中的 爬虫

此后,国内大部分数据公司都为自保而解散了爬虫部门。业内人士称,全行业裁掉了近万名爬虫工作人员,行业人员流失率在50%以上。

按照一定的规则,自动抓取互联网信息的程序或者脚本,这一技术被称之为爬虫。在此番行业整治风暴中,利用爬虫技术非法获取和倒卖用户个人信息,对用户进行套路贷,成为公安部严厉打击的对象。

不仅仅数据行业本身,金融机构也被要求自查是否与爬虫公司有合作。11月6日,中国互联网金融协会向会员机构发布《关于增强个人信息保护意识依法开展业务的通知》,要求会员机构对数据合作方进行排查。公信宝、白骑士、天机数据、木立征信等多家被调查的或者有风险业务的数据公司被直接点名。

在9月3日召开的全国公安机关打击套路贷犯罪工作推进会上,公安部公布了十起典型的套路贷案例。例如,犯罪嫌疑人王某焘设立甜兔网等24个动物系网贷平台,实施非法侵犯公民个人信息、套路贷犯罪活动,非法获取482万人的通话记录、电话号码本、银行卡号等公民个人信息,获利10.79亿元。

10月24日,一张截图在网上流传。据一本财经报道,截图显示,人行要求各地银行排查与第三方数据公司的合作情况,特别提到要求上报合作的第三方数据公司是否涉及爬虫业务。

据《棱镜》了解,爬虫技术门槛并不高,但需要专门的团队进行维护,成本较高,对于大多数的借贷平台而言,选择以购买的方式,从第三方数据公司获得爬虫数据,反而不失为一种更为经济的方法。

其实,并非所有的爬虫业务都是非法和违规的,否则也不会有部分数据公司在这轮整顿中活得更滋润。事实上,在合理的数据应用范围内,解决用户隐私保护问题的技术手段有很多,比如说数据脱敏、权限管控、加密存储等。中腾信大数据相关负责人表示。

中国银联的一名风险专家对《棱镜》提到,爬虫的本质是一种获取数据的方式,作为技术并无好坏之分。但法律明确规定获取数据需要客户授权,所以数据公司很容易触碰法律红线,触及侵犯公民个人信息罪的问题。

但是,数据爬虫业务中,合规的成本非常高,合作机构要使用合规的爬虫数据,要支付更高的价格。以金融领域为例,全行业合规数据来源基本可以覆盖到75%左右的需求。但通过合规途径获取数据,其成本高了大约60%。

在他看来,数据行业总想自己去拿数据,这个逻辑本身就有问题,大数据公司应该提供技术服务,而不是充当数据中介。

恶意爬虫的公司通过非法途径获取数据并储存,相当于在搬运其他平台的数据资产。通过这种不太光明的手段,数据公司能够以更低的价格向合作方销售数据信息,从而挤占合规企业的份额。从2012年以来,这个行业的价格战一直都在无声地演绎着,而相关部门也没有针对爬虫提出专门的法律限制或者规范。数据市场一直上演着劣币驱逐良币的戏码。

2017年6月1日开始实行的《网络安全法》明确提到:网络运营者收集、使用个人信息,应当遵循合法、正当、必要的原则,公开收集、使用规则,明示收集、使用信息的目的、方式和范围,并经被收集者同意;网络运营者不得收集与其提供的服务无关的个人信息;未经被收集者同意,不得向他人提供个人信息。

- 3 -

这也意味着,只要数据来源未经用户授权,都存在法律风险。

爬虫与互金行业共生共荣

监管环境倒逼之下,不少数据公司已经着手转型。一家排名靠前的数据公司产品负责人对《棱镜》提到,一是客户方向转型,近一两年P2P爆雷潮与互金监管越发趋严,导致互金客户数量减少,将目光投向银行等传统金融机构是大势所趋。

数据行业被整顿,其实是城门失火殃及池鱼。

此前,有报道指出,第三方金融科技、数据服务、风控服务机构将服务重心从新金融领域逐渐转向银行机构成了最近一年来的明显趋势,比较大动作的数头部平台同盾科技。

今年初,跟数据爬虫公司一起上了央视315晚会的还有714高炮。,

其次是业务方向转型,单纯的数据服务已不能满足市场需求,将大数据有效的结合人工智能技术,通过风控规则建模等方式,对金融机构输出评分决策等结果,向科技赋能转型。

大数据行业的兴起、爆发和衰落,是紧跟在P2P网贷和现金贷行业后面的。P2P和现金贷兴起于2011-2012年,而大数据行业从2013、2014年开始兴起。

转型之路,道阻且长。而眼下,在公安部彻底铲除套路贷违法犯罪活动滋生土壤的严厉表态下,可以预见的是,第三方数据行业的整顿仍将持续。

当P2P和现金贷在2016年开始迎来合规调整,行业需要大数据行业的进一步介入风控环节,为催收提供方便,以控制逾期率。于是,大数据行业在2017-2018年左右迎来大爆发。

责任编辑:何周重

以行业头部平台同盾科技为例,根据此前报道,同盾科技2016年-2018年的营业收入分别为6066万元、2.61亿元、5.42亿元,呈几何级数增长。截至2018年底,同盾科技累计客户数量为2421家,完成了对互金行业90%以上的覆盖。

当互金行业在2019年进入合规备案的后半程,大数据行业也迎来它的行业大整顿。

金融行业也离不开大数据行业,要想保持一定的利润率和控制逾期率,就要通过大数据来实现。一家头部助贷平台的高管表示,前端风控弱、主要依靠贷后催收是原本现金贷平台的一大特点,而数据公司擅长利用大数据搭建风控模型。

因为互金行业有惊人的吸金能力,对大数据公司也有较高的支付能力。也因为这个原因,一直以来,大数据公司的业务过分集中于金融信贷领域。

虽然有关部门并未明示大数据行业整顿与互金行业的关系,但大数据行业里的人都心知肚明:这一轮行业整顿大概率与数据公司为714高炮平台、套路贷提供数据征信服务,非法获取和倒卖个人数据有关。

714高炮是指期限在7天或14天的包含砍头息的超利贷,在今年315晚会被曝光之后,被监管部门重拳整治。而为714高炮、套路贷提供土壤的数据公司,也不可避免地受到了波及。

一位消费金融平台的市场部人士接受棱镜采访时表示,那些依赖数据公司提供服务的现金贷平台,一下失去了风控能力,这几天陆陆续续在各个渠道下架自己的贷款产品。风控模型还在重新调试,估计短时间不会正常放款。

而作为一家第三方数据公司的副总裁,李亮则更能感受到实实在在的影响。在他看来,这次数据行业的震荡,比此前对于现金贷行业的整顿来得更严重,效果也更明显。

打蛇打七寸!李亮提到,大数据对于现金贷、714高炮、套路贷而言是命门,没有了数据做支撑,他们就无法放贷。

责任编辑:周星如