当前位置： &
从1994年到2009年，中国的互联网用户从最初的不到1万人发展至现在的2.98亿人，普及率达22.6%，并已超过世界平均水平[1]。15年间，中国互联网凭借自身庞大的用户基础和不断的技术更新衍生出各种新鲜的传播方式和行为模式，人肉搜索便是在2001年就初露端倪的一种新型网…
最近几天干啥都不来劲，昨晚偶然了解到 Python 里的 itchat 包，它已经完成了 wechat 的个人账号 API 接口，使爬取个人微信信息更加方便。鉴于自己很早之前就想知道诸如自己微信好友性别比例都来自哪个城市之类的问题，于是乎玩心一起，打算爬一下自己的微信。
本人作为一个深入农药坑中的患者，在某次连输几盘后，我的内心几乎是崩溃的。
但因为先前学过禅修的缘故，对自我状态比较敏感，在用观息法调整过程中，豁然醒悟，趁势“戒掉”。
为了帮助到广大类似我这样的玩家脱坑，这里分享下心得。
所谓知己知彼百战百胜，本文主要讲三个部…
现在用研也不是什么罕见工作了，分析用户评论的方法非常多，而且谁都可以自创一种。我并不觉得有什么方法是一定好的，有什么是一定不好的。不过，学术界有一个叫做内容分析(Content Analysis)的领域，专门研究文字、媒体信息，半个世纪的时间里有很多人通过研究分析，终于找到…
作者：Stephen Cui
一、大数据分析在商业上的应用
1、体育赛事预测
世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼，预测全程64场比赛，准确率为67%，进入淘汰赛后准确率为94%。现在互联网公司取代章鱼保罗试水赛事预测也意味…
现在，零售行业的压力越来越大，不少企业负责人透露，自己所在企业的数据问题令人担忧。虽然业务一直处于增长的趋势，但是由于业务系统越来越多，收集到的数据越来越庞杂，而公司却没有足够的能力进行分析，甚至连快速响应都不易做到。如果没有创新或者改变，企业很快就会被市场…
提到贝叶斯推断，就不得不提Bayesian Methods for Hackers 这本书，简单易懂，印刷精美。犹记得当年第一次见到ipython notebook 就是因为这本书就是用notebook写的，现在也有了中文版。中文版翻译的水平很高，当我拿着这本书的中文版准备跟大家分享时，看到第一章标题 “贝叶斯推…
本文转载自「AI研习社」，搜索「okweiwu」即可关注。
Siraj Raval 作为深度学习领域的自媒体人在欧美可以说是无人不知、无人不晓。
凭借在 Youtube 上的指导视频，Siraj Raval
在全世界吸粉无数，堪称是机器学习界的网红。说他是全球范围内影响力最大的 ML 自媒体人，怕也…
做最棒的数据科学社区
扫描二维码,加微信公众号
联系我们：数盟杨从安：如何从源头保证数据的真实性
09:31:08&&&&来源：中华网&&&&
近年来，互联网公司数据造假的现象非常普遍，媒体对此类事件的扒皮报道也乐此不疲。但是为什么要造假?造假现象为何屡见不鲜?移动互联网、安卓市场又因何成为互联网数据造假的重灾区?APP下载量与真正激活用户之间的转化率，为何存在如此大的差距?数盟CEO杨从安就目前国内安卓渠道市场现状、刷榜及反作弊手法等热点话题分享了自己的看法。
这几年移动互联网，安卓造假现象达到了空前的状态。从覆盖的范围而言，所有的开发者在产品推广过程中都存在被刷的情况，也就是说没有被刷和中彩票的几率差不多。
数盟可信ID主要针对的是安卓平台的反作弊服务，因为目前国内安卓移动设备的占比达到了80%以上。安卓(应用)有各种各样的推广渠道，很多厂商会投入大量的推广经费，不仅仅是刷榜，而且是要有效用户，甚至要的是有效的交易额。
花钱是有可能看到效果的，这对于刚刚完成融资的企业，很显然是具有极大吸引力的。但是你能想到的用户数据都是可以被刷的，包括刷用户、刷留存、刷交易等等，所以这里面成了重灾区。
目前从事造假行业的几乎都是精英黑客和专家，在技术手段上超出大多数人的想象。最常见的两类，一类是直接造假，包括芯片级造假和模拟器造假;另一类是间接造假，是先劫持、破解App和服务器之间的通信数据包，然后发送伪造的数据包直接刷服务器数据。
真实的用户必然会使用真实的设备来获取服务，这是一个基本前提。直接造假有些是设备复用，有些是设备模拟，而间接造假则直接是刷后台数据，这里你可以发现设备其实是判别(用户)真伪的一个非常基础、非常关键的指标。设备是真实的，用户有可能是真实的;设备是假的，那用户一定是假的。这些都是目前数据分析工具无法甄别的。
我们提供的可信ID服务，不会随设备里的软件变化而变化。IMEI、MAC、设备SN、蓝牙地址、ICCID全部可以篡改，我们提供的安卓可信ID是不变的，相当于把每台安卓设备实名制了。
应该说，从事这个行业的公司很多，但由于技术门槛很高，而且要面临庞大的利益集团的不断挑战，所以真正能够在市场上获得认可的目前只有数盟。同时，基础ID服务确实不是风险投资的热点，因此媒体的关注度比较低。但业内的专业人士，对这个方式是有共识的。
目前在行业里，除了数盟以外没有被大规模使用的ID服务，先发优势和良好的口碑也是造成这个现象的重要因素。使用数盟产品的客户很多都是覆盖过亿的，每天App被打开数亿次，如果有万分之一的崩溃，会给客户带来巨大的损害，数盟在这方面做的很好。而用户也不太会轻易信任另一家服务商，毕竟要承担的风险太大了。
数盟的产品从2013年3月产品概念研发至今，已经覆盖有效设备超过7.33亿台，针对国内渠道的覆盖率接近99%。优酷、乐视、途牛、小米、映客、微博、天气通等超级应用都嵌入了数盟的模块。我们还通过大数据交叉识别的方式，使得ID识别率的准确度更加精准。
现在App的推广有点像早期互联网广告。当年互联网广告也有很严重的造假行为，后来通过Google等公司的反作弊技术，互联网广告才进入高速发展时期。所以我们觉得要是能通过技术解决移动互联网推广造假的行为，会给行业带来良性的发展，于是就有了现在这个项目。
数盟做的是基础ID识别服务，我们确保这种识别的准确有效，客户可以利用这样一个唯一ID做很多工作。行业里有不少提供数据分析的公司，事实上他们盈利也是比较困难的，因为他们提供的是统计加权数据，而我们提供的是精准数据。所有的客户，使用数盟的模块，都可以获得详细的数据报告。
杨从安最后表示，由于各种急功近利的因素造成了目前安卓市场造假频繁，很多公司张口就是有了几亿十几亿的用户，否则就没法活了。这些虚假会给创业者带来巨大的错觉，不去踏踏实实做产品，而把钱都花在了造假的地方。其实产品做的好，有一两百万活跃用户的话就能活的很好了。这些现象对于行业是摧毁性的毒瘤，数盟希望帮助数据回归到真实，也许开发者会害怕看到真实的数据量，但只有有勇气接受真实的数据，才会走得更远、更稳、更好。
[责任编辑：刘佳]
&|&&|&&|&&|&&|&&|&&|&&|&&|&&|&
版权所有 中国互联网新闻中心 京ICP证 040089号
&京公网安备号 京网文[5号
&|&&| 法律顾问：&|&&|&违法和不良信息举报电话：010-&|&&|&对外服务：&&&&最近一段时间，一些痴迷于技术和算法的新闻客户端越来越“简单粗暴”了。点开一篇文章，它会迅速用大量相似的内容刷屏，连拒绝的权利都没有。有些人则将这些新闻分发的算法上升到人工智能的高度上，认为这是发展的大势，代表了文字的未来，代表了内容的未来，甚至代表了媒体的未…
121 次阅读
很多同学认为外卖是线上下单、线下送餐的业务，商业模式简单，这种想法正确但是理解片面，它不仅需要技术，而且要用深度学习来解决。那么，外卖为什么需要技术?为什么需要深度学习技术?
很多同学认为外卖是线上下单、线下送餐的业务，商业模式简单，这种想法正确但是理解片面，…
123 次阅读
不要把研究所需要的数据来源局限于专门提供电影评论的网站。像Twitter和YouTube之类的社交媒体在提供数据方面与这些网站不相上下。
作者 Tatsiana Levdikova
译者 CarolGuo
用自然语言处理(NLP)技术来预测一个新电影的成功和票房情况
用电影观众的评论来预测电影的…
198 次阅读
从1994年到2009年，中国的互联网用户从最初的不到1万人发展至现在的2.98亿人，普及率达22.6%，并已超过世界平均水平[1]。15年间，中国互联网凭借自身庞大的用户基础和不断的技术更新衍生出各种新鲜的传播方式和行为模式，人肉搜索便是在2001年就初露端倪的一种新型网…
229 次阅读
最近几天干啥都不来劲，昨晚偶然了解到 Python 里的 itchat 包，它已经完成了 wechat 的个人账号 API 接口，使爬取个人微信信息更加方便。鉴于自己很早之前就想知道诸如自己微信好友性别比例都来自哪个城市之类的问题，于是乎玩心一起，打算爬一下自己的微信。
145 次阅读
TensorForce 是一个构建于 TensorFlow 之上的新型强化学习 API。强化学习组件开发者 reinforce.io 近日发表了一篇博客文章介绍了 TensorForce 背后的架构和思想。
项目地址：/reinforceio/tensorforce
本文将围绕一个实际的问题进行介绍：应用强化学习的…
194 次阅读
近年来，Python 在数据科学行业扮演着越来越重要的角色。因此，我根据近来的使用体验，在本文中列出了对数据科学家、工程师们最有用的那些库。
由于这些库都开源了，我们从Github上引入了提交数，贡献者数和其他指标，这可以作为库流行程度的参考指标。
291 次阅读
作者经过研发多个大数据产品，将自己形成关于大数据知识体系的干货分享出来，希望给大家能够快速建立起大数据产品的体系思路，让大家系统性学习和了解有关大数据的设计架构。
　　很多人都看过不同类型的书，也接触过很多有关大数据方面的文章，但都是很零散不成系统，对自…
做最棒的数据科学社区
扫描二维码,加微信公众号
联系我们：主题信息（必填）
主题描述（最多限制在50个字符）
申请人信息（必填）
申请信息已提交审核，请注意查收邮件，我们会尽快给您反馈。
如有疑问，请联系
傻丫头和高科技产物小心翼翼的初恋
个人大数据技术博客：
人生得意须尽欢，莫使金樽空对月。
一只文艺范的软件攻城狮，Keep Learn，Always.
日前，由CSDN和创新工场联合主办的2016中国移动开发者大会（MDCC）在北京国家会议中心顺利举办。数盟作为国内唯一提供”安卓设备可信ID”服务的厂商，参加了本次移动盛会并分享了精彩演讲。在大会现场，数盟CEO杨从安接受了CSDN记者采访，就目前国内安卓渠道市场现状、刷榜及反作弊手法等热点话题分享了自己的看法。CSDN记者：根据您的观察，这几年移动互联网造假情况是更严重还是有所缓解？杨从安：安卓造假现象目前达到了空前的状态。从覆盖的范围而言在我们所看到的数据里，所有的开发者在产品推广过程中都存在被刷的情况，也就是说没有被刷和中彩票的几率差不多吧。就程度而言， 60%-70%的数据有水分，是业界公认的数据，最近这方面的公开报道也有很多。CSDN记者：推广里有6－7成是假量，确实是比较严重的问题了。那您能不能给我们介绍一下目前推广造假的主要手段有哪些？杨从安：我们只提供安卓平台的反作弊服务，安卓占80%以上的移动终端，用户最多投入最大。安卓（应用）有各种各样的推广渠道，很多厂商会在投入大量的推广经费，不仅仅是刷榜，而且是要有效用户，甚至要的是有效的交易额。花钱是有可能看到效果的，这对于刚刚完成融资的企业，很显然是具有极大吸引力的。但是你能想到的用户数据都是可以被刷的，包括刷用户、刷留存、刷交易等等，所以这里面成了重灾区。目前从事造假行业的几乎都是精英黑客和专家，在技术手段上超出大多数人的想象。最常见的两类，一类是直接造假，包括芯片级造假和模拟器造假；另一类是间接造假，是先劫持、破解App和服务器之间的通信数据包，然后发送伪造的数据包直接刷服务器数据。我们接触过几个造假团队，清一色的硕士以上学历，半数海龟，很恐怖的。苹果平台只有刷榜，基本没有造假。你想花钱也花不出去，因为整个推广平台是苹果高度控制的封闭模式，从技术上讲是没有可行的解决方案的。所以如果苹果不改变他的模式，在苹果睁一只眼闭一只眼的地方刷刷榜，造假者也没有太大的施展空间。CSDN记者：市面上有很多提供数据分析的产品不行吗？数盟的可信ID可以应对您所提到的这种程度的对抗吗？杨从安：真实的用户必然会使用真实的设备来获取服务，这是一个基本的前提。直接造假有些是设备复用，有些是设备模拟，而间接造假则直接是刷后台数据，这里你可以发现设备其实是判别（用户）真伪的一个非常基础、非常关键的指标。设备是真实的，用户有可能是真实的；设备是假的，那用户一定是假的。这些都是目前数据分析工具无法甄别的。我们现在提供的唯一一项服务是安卓设备的可信ID服务。这个ID不会随安卓设备里的软件变化而变化。IMEI、MAC、设备SN、蓝牙地址、ICCID全部可以篡改，我们提供的安卓可信ID是不变的，相当于把每台安卓设备实名制了。CSDN记者：我们观察到从事安卓设备识别这类服务的公司非常少，我可以理解这是一个冷门的方向吗？杨从安：应该说，从事这个行业的公司很多，但由于技术门槛很高，而且要面临庞大的利益集团的不断挑战，所以真正能够在市场上获得认可的目前只有数盟。同时，基础ID服务确实不是风险投资的热点，因此媒体的关注度比较低。但业内的专业人士，对这个方式是有共识的，从这两天我们展台的人流你应该是可以感觉到的。目前在行业里，除了数盟以外没有被大规模使用的ID服务，先发优势和良好的口碑也是造成这个现象的重要因素。比如产品稳定性的门槛就很高。使用数盟产品的客户很多都是覆盖过亿的，每天App被打开数亿次，如果有万分之一的崩溃，会给客户带来巨大的损害，数盟在这方面做的很好。而用户也不太会轻易信任另一家服务商，毕竟要承担的风险太大了。目前我们的竞品，大多还处在早期阶段，需要解决产品的有效性以及用户的信任。数盟已经有很好的口碑了，所以也抑制了这类公司的大量出现。从2013年3月产品概念研发至今，数盟的产品已经覆盖有效设备超过5.46亿台，针对国内渠道的覆盖率接近99%。优酷、乐视、途牛、小米、映客、微博、天气通等超级应用都嵌入了数盟的模块。我们还通过大数据交叉识别的方式，使得ID识别率的准确度更加精准。CSDN记者：我很好奇，您不是技术背景，为什么在创业的时候，选择这样的技术超高的项目？能不能谈谈您的创业初衷？杨从安：首先我认为创业者需要有足够的技术智慧，不管他是否从事技术开发工作。其次创业成功，依靠的是团队而不是个人。我个人对技术了解的比较深，同时我们的技术团队是这个行业最顶尖的安全团队。能够驾驭技术的尺度越大，对创业来说机会就更多，可以尝试各种方向。当然光有技术是不行的，更重要的是找到市场的真实需求。当时我身边有很多真实的案例，有抵押房产全心投入创业的，突然发现辛苦努力过后，用户都是假的，真的很惨！而这是一个普适需求，所有的移动互联网开发者都需要推广自己的产品，但这行水很深。开发者以为只要通过渠道推广产品，设定好KPI会看数据，就会收获好的用户留存，而市场上大量渠道都拥有极端先进造假手段，人总是以为自己比骗子聪明，其实任何行业鉴伪都需要专家来做。现在App的推广有点像早期互联网广告。当年互联网广告也有很严重的造假行为，后来通过Google等公司的反作弊技术，互联网广告才进入高速发展时期。所以我们觉得要是能通过技术解决移动互联网推广造假的行为，会给行业带来良性的发展，于是就有了现在这个项目。CSDN记者：除了安卓设备可信ID服务之外，目前数盟是否还会为客户提供类似数据分析的服务？杨从安：不提供，数盟做的是基础ID识别服务，我们确保这种识别的准确有效，客户可以利用这样一个唯一ID做很多工作。行业里有不少提供数据分析的公司，事实上他们盈利也是比较困难的，因为他们提供的是统计加权数据，而我们提供的是精准数据。所有的客户，使用数盟的模块，都可以获得详细的数据报告。杨从安最后表示，由于各种急功近利的因素造成了目前安卓市场造假频繁，很多公司张口就是有了几亿十几亿的用户，否则就没法活了。这些虚假会给创业者带来巨大的错觉，不去踏踏实实做产品，而把钱都花在了造假的地方。其实产品做的好，有一两百万活跃用户的话就能活的很好了。这些现象对于行业是摧毁性的毒瘤，数盟希望帮助数据回归到真实，也许开发者会害怕看到真实的数据量，但只有有勇气接受真实的数据，才会走得更远、更稳、更好。