百度推荐首页里的标题点击进去为什么变型了?

文|中国企业家 赵东山

当看到字节跳动要做全网搜索的新闻时,王东一点都不感到惊讶。因为早在头条搜索正式上线半个多月前,王东所在公司的网站就饱受一个名为“bytespider”爬虫的侵扰。

王东在一家第三方信息评估平台做SEO(搜索引擎优化),今年7月份,他突然发现公司的网站经常性打不开,网页加载极其缓慢,有时甚至直接瘫痪。经过一系列排查后,王东在服务器日志上发现了bytespider爬虫的痕迹。

王东发现该爬虫抓取的频率每天达几百万次,高则上千万次,服务器带宽负载飙至100%,而且该爬虫在抓取时完全不遵守网站的robots协议。顺着该爬虫的IP地址查询,王东和团队证实,该爬虫就是字节跳动的搜索爬虫。

苦主并非只有王东,他在CSDN、V2EX等技术论坛了解到,遭受该爬虫暴力抓取的还有很多人,很多用户直接表示“太频繁”“不杀不行”“直接封杀”。魏立超在一家互联网社区平台工作,同样遭受bytespider的暴力抓取,他也曾尝试过在网络上求助。10月24日,类似的事情经过微博大V的曝光,一时引起互联网技术圈子的热议。

但令魏立超感到心寒的是,网上却流传着一种“弱者活该”的说法——“能被头条搜索引擎抓取应该觉得荣幸才是,说明你们内容有价值”,“今日头条是在免费给你们做性能测试,如果你们网站随便被搜索引擎抓死,那技术可以下岗了”。

因为不堪其扰,给公司带来重大损失,无奈之下,像王东、魏立超这样的网站主们都只好封禁了该爬虫IP所有频段。

对此,字节跳动回应《中国企业家》称,“网络报道不实,目前头条搜索设有反馈机制,网站因为爬虫受到影响,可以直接通过邮件反馈处理。”

从字节跳动开始做搜索之后,网络上就一直有网站主们抱怨其爬虫抓取过于暴力的声音,到今年10月末,小网站主的抱怨达到高峰,至今余波未平。

爬虫是网络爬虫的一种简称,它是一种按照一定规则自动地抓取万维网信息的程序或脚本,定时并按照一定的频率把互联网上的内容爬下来,汇总存储到自己的服务器上,以方便用户搜索。

通常来讲,在互联网技术圈,数据抓取是一件很正常的事情。通过爬虫抓取网站内容是搜索引擎进行数据积累的必要前提。此外,一些数据分析、数据采集的功能也依赖爬虫技术实现。但爬虫抓取也有一些江湖规则或君子协定,比如robots协议。robots协议由网站主自行设置,网站会规定爬虫引擎哪些内容数据可以抓取,哪些禁止抓取,尤其是涉及到用户数据等隐私信息的。

但是王东发现bytespider的特征是不遵守robots协议,且抓取频次太高。从技术社区了解到,爬虫就是对服务器的内容进行访问的过程,任何访问都会占用服务器的响应资源,一旦瞬间访问压力超过程度,就会对网站的稳定性造成影响。为了维护整个互联网生态,爬虫的所有者会通过一定的策略来控制爬虫访问的速度和总量。

所以,有技术人员认为,“应该是字节跳动本身在控制爬虫抓取的频次上出了问题。”

其实,对于像王东这样做SEO的人来说,其主要工作目标就是希望自己家网站能在主流搜索引擎的搜索结果中排在前面的位置。“对于像百度、搜狗、360等搜索引擎的规范抓取和收录我是非常欢迎的,但是bytespider却直接让网站瘫痪了,这也导致网站流量在那段时间也掉了不少。”

令王东们头疼的是,字节跳动的搜索引擎既没给他们带来多少新流量,反倒还给公司带来很多损失,并且影响了正常的用户访问。

王东们想知道,为什么字节跳动没能控制好爬虫的抓取频次?

行业资深人士分析认为大致有两种可能。一种可能是字节跳动为了短期快速扩充自身搜索规模而主观进行的恶意抓取;另一种可能是目前字节跳动的搜索爬虫策略不够完善,客观结果上导致的抓取过量。

“考虑到在今日头条刚开始发展的时候,他们抓取内容的时候完全无视版权和内容方的抗议,也不排除是主观行为,但我觉得字节跳动现在已经是很大的企业,应该不至于主观这么干。”上述行业资深人士如此推断。

也有另一位互联网行业资深人士认为,“这事儿没那么复杂,就是具体干活儿的团队太糙,项目着急上线,根本来不及做动态调整的逻辑算法,主观作恶的可能性较小。”

但不管主观出发点如何,字节跳动为了快速发展搜索而派出爬虫四处暴力抓取,并不遵守既定规则,已经给中小网站主们造成了客观的损失和困扰。

对于网络上流传的“弱者活该”的说法。技术人员显然不认同,他认为,“把问题推给小网站自身抗风险能力不强太偏颇了,这种规模的爬虫抓取频次不在小网站正常的考量范围内,大的站点对于搜索引擎爬虫的过激抓取肯定会有很好的应对策略,毕竟有那么多做技术的,但很多小的站点很可能没有专门的技术人员,只是租用了服务器,采用了一些开源的建站方案,不具备应对能力也很正常。”

而有小网站主抱怨字节跳动的爬虫“一上午对网站发出46万次请求”,上述技术人员认为:“以个人的经验来说,这个请求频次肯定是过高了,至于是不是恶意的不能确定。网站都瘫痪了,肯定是不幸了。”

今年8月10日,字节跳动正式上线了网页版通用搜索,爬虫抓取是搜索引擎效果实现中的重要一环。

对于每进入一个新领域,字节跳动都有一套惯用的打法,要么直接花钱收购该领域的公司,要么把该领域的专业人才挖过来。比如在2017年11月收购中国企业打造的海外音乐短视频平台musical.ly,增强自己的短视频业务;在2019年5月,收购教育培训平台清北网校,增强自己的在线教育业务,等等。

事实上,字节跳动早就布局搜索领域。早在2014年,在百度负责搜索框架的百度网页搜索部技术副总监杨震原就被张一鸣挖入今日头条,在头条曾主导广告和推荐两大核心系统升级。此外,原百度搜索部主任架构师朱文佳、原百度美国深度学习实验室少帅科学家李磊等百度重要人才均被张一鸣挖入今日头条。今年3月,字节跳动挖来了前360搜索产品负责人,开启搜索商业化。

此外,为了拓展搜索内容,字节跳动也在通过收购来完善自己的内容库,比如全资收购互动百科。截止到8月27日,互动百科已经在董事、经理、监事;投资人;法定代表人三个方面进行了全面变更,原来的创始团队全部退出,目前已经被字节跳动全资控股。

虽然在人才和技术上早有准备,但是对于搜索业务而言,搜索引擎这个生态的建立不是一朝一夕可以完成的,百度、搜狗已经经历了多年的发展积累。而搜索的内容库是搜索技术施展拳脚的前提,否则搜索引擎就是无源之水。为了获取尽可能多的内容,可能是字节跳动采取暴力抓取的原因之一。

甚至,为了抓取到更多内容,往往就“越界”,字节跳动还因此惹上了官司。今年4月,百度就曾因搜索一纸诉状将字节跳动告至北京市海淀区人民法院。百度方面称,今日头条大量窃取百度“TOP1”搜索产品结果,百度要求字节跳动立即停止侵权,赔偿相关经济损失及合理支出共计人民币9000万元,并连续30天在其APP及网站首页道歉。除民事起诉外,百度也同时向法院提交了行为禁止保全申请书。

百度为媒体提供的公开案例中显示,在字节跳动旗下今日头条APP中搜索“1立方厘米水等于多少升”问题时,其首条展示的搜索结果中被嵌入了“抄自百度”的字眼,而该字眼则是百度为防止TOP1搜索结果被抄袭预先打下的防伪标记。

有趣的是,同一天字节跳动方面也发表声明表示,百度未经抖音授权,在其开发运营的“简单搜索”APP的热榜板块设置了抖音专栏,从抖音窃取视频,百度又通过技术手段将抖音的水印抹去。抖音要求百度立即停止侵权,赔偿9000万元,并在百度首页连续道歉30天。

因为字节跳动与百度在商业模式和业务逻辑的相近,双方均是通过流量换取广告商业营收,在过去的数年中,百度被视为最有可能被字节跳动颠覆的公司。

双方的战争一触即发。为了迎战,百度方面,马东敏亲自负责的百度战略投资部在今年开始频繁出击,先后投资了有赞、凯叔讲故事、七猫小说、知乎、果壳等众多内容服务类项目,背后的战略意图便在于丰富内容信息流。以知乎为例,知乎全站问答将以智能小程序的形式接入百度APP中。以搜索起家的百度宣布将着力打造“搜索+信息流”两大流量引擎和“百家号+智能小程序”两大生态,构筑起壁垒。

一位互联网TMT领域投资人告诉《中国企业家》,“百度的清醒和出击让字节跳动在内容获取上变得越来越困难。此外,字节跳动的四处出击,也引起了其他互联网巨头的重视,腾讯就要求抖音禁播王者荣耀等腾讯系游戏的视频。行业里的一些内容社区等等都把字节跳动视作竞争对手,并不会轻易为其开放内容。”

面对对手们加筑的越来越高的内容壁垒,字节跳动对内容的焦虑似乎更强烈,直接反映在了搜索爬虫凌厉的抓取上。

其实,从某种程度上,如今像王东等网站主们的遭遇,也正如2015年左右今日头条APP兴起之时,各大内容版权方们的遭遇。当时,今日头条为了获取内容,拓展信息分发市场,甚至没有先获取内容版权方转载和分发的许可,就大量抓取内容版权方的内容,因此,多次因版权问题被告至法庭,引发了无数的版权纠纷。

当字节跳动切入全网搜索时,在内容抓取上,历史似乎重演。

在如今的互联网江湖,不仅百度,其他任何巨头都不敢小觑字节跳动和张一鸣。

从2012年成立至今的7年间,张一鸣率领今日头条在移动端图文信息市场立足后,又成功推出抖音短视频应用,截至2019年7月,抖音的DAU(日活跃用户)已经达到3.2亿。依托今日头条、抖音两个流量池,字节跳动不断把触角延伸至社交、游戏、电商、教育等各个领域,旗下所有产品在全球范围内的DAU已达到7亿,月活超过15亿。字节跳动正在各个领域冲击着原有的互联网巨头的城池。

7年间,字节跳动的员工数也已经突破5万。在过往的媒体报道中,字节跳动被形容为一个APP工厂,通过技术、获客、商业化变现这三大核心部门构成的流水线,不断将成功的产品经验在各个领域复制,再进行AB测试,快速迭代。

在字节跳动快速扩张的过程中,因为手段颇为凌厉,让外界一度议论纷纷。

在给外界压力的同时,激进的打法也在内部产生了影响,“字节跳动内部快速迭代,高速增长目标的企业文化也难免会给员工带来高压力,而高压力则可能导致操之过急或者动作变形,即便张一鸣并不想这么做。”一位接近字节跳动的人士告诉《中国企业家》。

该人士继续解释,“2019年字节跳动的营收目标是至少1000亿,压力非常大。今日头条主APP的增长基本停滞了,今日头条正在艰难度过1.2亿DAU的增长瓶颈期,抖音及其海外版Tik Tok成为重要的增长引擎。但海外市场并不像中国一样,多语言,多文化背景,监管政策多样复杂,充满不确定性。”

11月4日消息,路透社援引不具名知情人士报道称,美国政府已经就字节跳动对该国社交媒体应用musical.ly的收购启动了国家安全调查。美国外国投资委员会(CFIUS)已经开始审查此次收购,该委员会负责审查外国收购的交易是否构成潜在的国家安全风险。与此同时,Facebook正对其加大警惕,并将之列为竞争对手。

此外,据《晚点LatePost》报道,在字节跳动内部举行的6~7月CEO面对面会上,张一鸣说,“如果没有搜索场景的拓展和优质内容,今日头条的增长空间可能只剩下4000万DAU。”

为了维持字节跳动的增长势头,搜索引擎作为一种被验证过的、成熟健康的商业模式,成为今日头条拓展商业增长的重要业务之一。国内的搜索市场上主要有百度、360搜索、搜狗搜索三大玩家,其中根据StatCounter Global Stats的统计数据,截止到2019年7月份,百度占据了中国搜索引擎全平台市场的76.42%份额。字节跳动打造的全网搜索,会在多大程度上影响搜索市场的份额变化,还是个未知数。

搜索和智能推荐都是获取信息的方式,对用户来说,搜索的成本高,但内容精度也高;推荐的成本低,内容精度也相对不高。为了满足用户准确获取信息以及广告主精准投放的需求,获取更多用户和商业变现机会,两种模式正在加速融合。

“搜索+信息流两者结合是目前看来比较好的方式,目前百度和字节跳动都从不同的起点出发赶往这个终点。但从搜索到信息流,和从信息流到搜索,这两者的难度不太一样,后者更难一些,搜索太复杂了。”一位行业资深人士告诉《中国企业家》。

虽然搜索引擎成败的影响因素众多,但很显然,现在字节跳动搜索爬虫的频繁爬取和不遵守行业规则,已经给很多网站主们都造成了不太好的印象。目前,字节跳动的搜索爬虫bytespider还躺在魏立超的黑名单中,短期内并不会解封。他希望字节跳动能够遵循市场规律和准则做事,一起保护好网站内容的生态。

但面对字节跳动可能带来的潜在流量诱惑,也并非人人都立场坚定。王东就告诉《中国企业家》,“封字节跳动的IP是万不得已,什么时候解封,只能看搜索引擎市场份额变化。”

(应受访者要求,文中王东、魏立超皆为化名)

用户拉新,是互联网从业人员无法回避的工作重点和工作难点。无论是什么形态的产品或者服务,都无法逃避拉新这个环节。

更可怕的是,没有谁能够肯定自己拉新的渠道和方式方法行之有效,并且具备一定的可借鉴意义,让同行小伙伴能够快速的为一个新产品或者服务,制定出卓有成效的拉新运营策略。

再者,拉新运营策略弹性和落差非常大,强悍大公司和轻盈小公司都有自己的风格,大公司实力雄厚资源丰富,通常会全面散网广集粮;而小公司资金有限人员匮乏,一般会精投放快试错。

不管你是采用什么策略,首先你得有全渠道意识和适配渠道的方式发法。

这里为运营小伙伴,梳理一套可参考的拉新渠道和适配的一些方面(还有很多可扩充),节省小伙伴的搜索时间并且增加思考深度。

接下来,我将从免费的渠道、付费的渠道、产品功能设计、品牌营销宣传五个层面来为大家介绍。

免费的渠道就从拉新主体出发,简单的划分为内部自有渠道和外部免费渠道。

公司官网、公司员工、公司自有广告位

渠道主要分类:自媒体平台、社交、应用商店、社区论坛等

1)自媒体平台:微信、微博、头条号、百家号、网易号、快手号、抖音号、直播平台号、喜马拉雅、荔枝FM等

2)社交平台:QQ群、QQ空间、微信群、陌陌、脉脉等

3)应用商店:苹果、手机应用商店(华为、小米、联想、步步高、VIVO、坚果、魅族、三星)安卓市场、安智市场、豌豆荚等等

4)论坛贴吧:知乎、豆瓣、贴吧等

线上付费渠道和线下付费渠道

2)自媒体平台精准投放

方式方法:内容分发渠道,公关曝光渠道、微信朋友圈推广、百度信息流广告等

方式方法:苹果ASO,安卓应用商店的优化,付费推广(CPA/CPS)

4)APP手机厂商预装

方式方法:将应用安装到出厂前手机里

方式方法:社区广告、话题讨论、水军灌水造势

方式方法:任务积分推广

7)联盟广告,例如百度网盟、搜狗网盟、360网盟、谷歌网盟等

方式方法:网盟渠道自定义、数据化精准投放

方式方法:微博大V、个人自媒体

方式方法:授权通讯录好友自动关联推荐

方式方法:资源互换、流量互导、植入广告

12)视频广告:优酷、爱奇艺、腾讯视频等等

方式方法:视频贴片广告,视频暂停弹窗广告

1)楼宇广告(写字楼、生活小区、停车场等)

2)娱乐场所广告(电影院线内、电影开播前广告)

3)餐饮场所广告(结账小票系统、餐桌台面二维码)

4)商超系统广告(结账小票优惠券、地堆飘旗爆炸贴)

5)交通枢纽广告(公交车扶手、公交车报站、公交车座椅、公交车体车贴,地铁线路、地铁线站内、地铁车内车贴,高铁赞助号、高铁座椅、飞机等)

产品的传播除了用户的口碑外,通过对产品自身的功能设计,来实现用户即时性的、便捷的分享和推荐尤为重要。

这里就说说两种:单向主动性质的功能设计和双向回路推荐式的功能设计。

1、单向主动分享性质的功能设计

1)任何时刻随机性触发的分享,直接调出可分享渠道

2)授权邀请社交好友以及通讯录

例如:小红书 邀请微博好友、邀请微信好友、邀请通讯录

2、双向回路推荐式的功能设计

1)常见“我的”里推荐给好友后,自己获得一定激励(比如积分、优惠劵、消费现金等)

3)生成图片和自定义文案推荐

4)分销形式返佣或者返成交金额的一定比例

常见于电商平台、导购平台或者微商分销系统

关于品牌方面实在是太多了,这方面我不是科班出身,在这里就简单罗列一些个人常见的现象,还请专业品牌人指正、多多给意见。

代言人的形象认知要对对品牌调性认知正向加分,能够达到趋同培增效应最好。而且,品牌能够直接获得代言人粉丝群体的高度认同,从而获得一定新用户。例如,荣耀想年轻化找到吴亦凡,小米走向活力成熟代言人请到吴秀波、刘诗诗、刘昊然。

2. 品牌独家赞助和冠名

对大型活动和娱乐节目的赞助支持,可以直接触达活动曝光人群和节目收视观众,持续重复的让品牌与受众产生交集,进而更好的加深受众对品牌的认知。比如vivo包揽一片娱乐节目。

影视品牌植入可以说是冰火两重天,植入到恰当可以与影视内容相得益彰,植入失败用户就会对品牌产生几大的反感。一般情况下,具有一定的品牌沉淀和知名度的会企业才会选择将品牌植入影视作品中。据我观察,大部分的品牌属于高频快消品或者耐用品,比如经常看到的有些饮品和汽车品牌植入等。例如:蒙牛纯甄牛奶进电视剧,伊利植入到《变形金刚》,奥迪多植入电影中。

我把公关简单划分为:主动公关、被动公关、危机公关三种类型。

主动公关当然是将品牌自身利好的事情或者故事,主动的通过媒体平台宣传出去,让更多的人知道。

被动公关往往是在遇到下面几种情况后被动做出的工作行动,比如:当对手先于自己,将行业利好往身上贴的时候;当对手先于自己,将行业弊端推诿到竞争者身上的时候;总之,就是趋利避害。

危机公关就比较严重了,通常是已经造成了一定恶性影响,为了阻止影响加重和引导良性舆论所做出的公关行动。

热点事件借力的好,不仅能够节省传播的推动资源,还能够让品牌短时间爆炸性的传播。懂得顺势而为,推波助澜才能形成传播高势能,身在大浪里,才有可能被推到浪尖。

公益,简单来说是企业社会属性身份的价值体现。

虽然,啰嗦的说了这么多,可以说拉新渠道求之不尽用之不竭,没有优劣好坏之分,找到与自己产品和服务对眼的那个就好。

最后总结一句,最好的拉新是产品和服务的本身,最好的渠道是用户的口碑。

本文为作者授权鸟哥笔记发布,转载请联系作者并注明出处。

本文系作者: 授权发表,鸟哥笔记平台仅提供信息存储空间服务。

本文为作者独立观点,不代表鸟哥笔记立场,未经允许不得转载。

如对文章、图片、字体等版权有疑问,请点击

我要回帖

更多关于 点击标题显示隐藏内容 的文章

 

随机推荐