百度统计不显示，什么原因？_百度知道我想组装一台大概7000左右的电脑求大神推荐_百度知道966,690 九月 独立访问用户
语言 & 开发
架构 & 设计
文化 & 方法
您目前处于：
百度推荐系统实践
百度推荐系统实践
百度个性化与推荐部门成立至今，在各个产品线上尝试了多种不同的个性化推荐算法。从推荐算法的核心出发点来看，可以粗略分为白盒推荐策略和黑盒推荐策略。白盒推荐的核心内容是基于各个领域的不同背景知识，利用专家或者用户UGC的方式，将被推荐item的内容进行不同维度的分解和标注。黑盒推荐策略则是规避白盒推荐对于背景知识的要求，利用数据挖掘和人工智能的方式对数据进行建模，把推荐转化为一个最优化的数学问题来求解。这两种推荐方向上，各有利弊和优缺点。而推荐系统本身又对策略和产品结合要求非常严格。在个性化推荐实际产品化的过程中，在总结各个独立策略在实际线上表现的同时，结合不同产品线和数据集合的自身特点，百度个性化推荐团队摸索出了一条白盒策略和黑盒策略相结合的做法。在此，我们会以产品中实际应用的例子，分析白盒策略和黑盒策略的优劣，同时介绍两者相互结合的做法。
姚旭，现为百度个性化推荐部门资深研发工程师，搜索技术部专家委员会成员。主持参与了电影，电视剧，小说，音乐等多种不同产品上推荐系统策略算法的研发工作。
先前在百度 Search Rank 组负责文本内容分析，超链分析等搜索核心技术，主导研发了百度第二代超链分析系统"Page Popularity"。
此外还曾在社会化问答网站「知乎」任技术负责人，负责知乎的个性化推荐，数据挖掘等基础技术建设和产品转化。「发现」频道，个性化邮件等产品深受用户欢迎。
技术领域上，专注于信息发现和解决信息过载问题，致力于通过技术产品手段帮助用户高效的获取有效信息。「玩聚」网爱好者，在玩聚关闭后，自行开发了twiiter和google reader新鲜热文聚合的网站 「大浆糊」.
百度技术沙龙是由百度主办，InfoQ负责策划、组织、实施的线
下技术交流活动，每月一期，每期由1个话题，2场演讲以及Open
Space开放讨论环节组成。旨在为中高端技术人员提供一个自由
的技术交流和分享的平台。每期沙龙会邀请1名百度讲师分享百度
在特定技术领域的成果及实践经验，同时还会邀请1名优秀的互联
网公司或企业技术负责人对同一话题进行分享。活动主要面向开
发者、技术负责人、项目经理、架构师等IT技术人员。我们的口
号是：畅想,交流,争鸣,聚会。
相关厂商内容
相关赞助商
更多AWS最新精彩内容和活动，！
告诉我们您的想法
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
信息量很大，知识很全面
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
赞助商链接
架构 & 设计
文化 & 方法
<及所有内容，版权所有 &#169;
C4Media Inc.
服务器由 提供, 我们最信赖的ISP伙伴。
北京创新网媒广告有限公司
京ICP备号-7
注意：如果要修改您的邮箱，我们将会发送确认邮件到您原来的邮箱。
使用现有的公司名称
修改公司名称为：
公司性质：
使用现有的公司性质
修改公司性质为:
使用现有的公司规模
修改公司规模为：
使用现在的国家
使用现在的省份
Subscribe to our newsletter?
Subscribe to our industry email notices?
我们发现您在使用ad blocker。
我们理解您使用ad blocker的初衷，但为了保证InfoQ能够继续以免费方式为您服务，我们需要您的支持。InfoQ绝不会在未经您许可的情况下将您的数据提供给第三方。我们仅将其用于向读者发送相关广告内容。请您将InfoQ添加至白名单，感谢您的理解与支持。后使用快捷导航没有帐号？
苦逼运维的ELK之路(一) -- 组件安装篇
查看: 27231|
评论: 0|原作者: 朱峰|来自: 高效运维
摘要: 作者介绍朱峰（feng）多年前混迹于网络安全圈子，曾是小黑。十年以上代码审(wa)计(dong)经验，属于典型的语无伦次的2货。当前各种折腾elk以及其相关的业务，试图挖出新的商业价值。大数据的特点或许我们已经被所谓大 ...
作者介绍朱峰（feng）多年前混迹于网络安全圈子，曾是小黑。十年以上代码审(wa)计(dong)经验，属于典型的语无伦次的2货。当前各种折腾elk以及其相关的业务，试图挖出新的商业价值。大数据的特点或许我们已经被所谓大数据,可视化折腾的摸不着头脑…..首先我希望能统一一个问题,什么才是大数据,多大的数据算是大数据?这里我简单总结一下大数据的几个特点:数据量大，TB，PB，乃至EB等数据量的数据需要分析处理。要求快速响应，市场变化快，要求能及时快速的响应变化，那对数据的分析也要快速，在性能上有更高要求，所以数据量显得对速度要求有些“大”。数据多样性：不同的数据源，越来越多，需要进行清洗，整理，筛选等操作，变为结构数据。价值密度低，由于数据采集的不及时，数据样本不全面，数据可能不连续等等，数据可能会失真，但当数据量达到一定规模，可以通过更多的数据达到更真实全面的反馈。如果你对以上所述有名词不明白,请自行百度一下.好了,接下来,思考如下场景:“我是一名三线小城市的运维汪，公司属于初创公司，当前有10+台服务器。我之前公司没有运维，线上跑的业务环境是开发部署的，每台业务配置都不一样，让我纠结的是每次给丫部署好环境，TMD一会儿就变了，虽然没有自动化运维工具,10+台机器通过管理手工还可以接受,可无脑开发,业务上线10分钟就TMD一个版本,组件还不同,我内心中漂浮着数万头草泥马...不出问题还好，出现故障我勒个去啊，一台一台翻日志，出个应急加班还没有加班费，我嘞个我嘞个我嘞个去啊……”这样的场景是真实存在的。上述场景中，我们首先希望解决的是故障发现，故障处理，故障预警，但至少希望在故障发生时能知道在哪里出故障，出现故障的信息。本篇的重点,也是先搭建基础业务环境组件.梳理一下问题，这个苦逼运维汪需要解决以下2个问题：日志集中管理，不需要登录每台机器去查看和读取log；故障快速定位，通过搜索、字段过滤，统计分析等方式快速定位故障，换句话说就是出现故障后，可以马上查看到故障输出的log；如果是单台服务器，这个运维汪还会使用grep,awk,wc等命令实现检索和排序。但是对于10+,100+甚至更多,这种效率显然不足。废话了这么多，下面终于可以进入正文了好像国内的文档都是这么复制粘贴的，这里简单重复一下所谓ELK，是指 ElasticSearch、Logstash、Kibana，三个开源工具。官网：https://www.elastic.co/ElasticSearch:开源分布式搜索引擎,特点:分布式零配置自动发现索引自动分片索引副本机制restful风格接口多数据源自动搜索负载等.Logstash完全开源,它用来对日志进行:收集分析存储换句话说在当前实现了如日志的集中管理.Kibana它作为Logstash和ElasticSearch提供日志分析的web界面,这里我们理解为UI.这里我特别说明一下,以上三个工具均为开源的自由软件,他们加入了apache协议。我主要想强调的是,它们三个组合以后,提供强大的开箱即用的日志收集和检索功能,对于创业公司和小团队来说,太爽了,太爽了,太爽了(重要的事情要说三遍)先看架构图(一图胜千言)说明:多个独立的agent(Shipper)运行在不同的服务器终端，用来收集不同来源的数据，一个中心agent（Indexer）用来负责汇总数据，在中心agent前的Broker作为缓冲区,中心agent后的ElasticSearch用于存储和搜索数据,前端Kibana用于提供丰富的UI展示。Shipper表示收集日志,使用LogStash收集各种来源的日志数据,它们可以是系统日志、文件、redis、mq等等等。Broker作为远端agent与中心agent之间的缓冲区，这里使用Redis实现，用来提升系统性能与可靠性,当中心agent提取数据失败时,数据保存在redis中,不至于丢失。中心agent也是Logstash，从Broker中读取数据，执行相关的分析和处理（Filter）。ElasticSearch用于存储最终的数据（结果数据），并提供搜索功能。Kibana提供一个简单、丰富的web界面，数据来自于ElasticSearch，支持各种查询、统计，展示。当然，这种搭配也不是绝对的，你也可以不使用redis（或许可以考虑kafka）来做消息队列，你也可以让Shipper直接从你希望的日志中获取数据，如果你喜欢你也可以让数据存到ElasticSearch后再存一份进hdfs等等等等。好了,下面开始动手安装了。版本描述:操作系统CentOS 6.6 x64 最小化安装,配置网络及用户各种应用程序:ElasticSearch 1.7.4 (当前官方最新为2.1.1,但是改动较大,这里我选择喜欢的 1.7)官方:https://www.elastic.co/downloads/past-releases/elasticsearch-1-7-4Logstash 1.5.6 (当前官方最新为2.1.1,这里选择1.5.6)官方:https://www.elastic.co/downloads/past-releases/logstash-1-5-6&Kibana 4.1.4 (当前官方最新为 4.3.1)官方:https://www.elastic.co/downloads/past-releases/kibana-4-1-4上面的版本是为了elk各个组件的依赖所选择的,使用最新版请注意版本依赖Redis 3.0.6 (当前官方最新为3.0.6,因为作为Broker,所以使用了当前最新版)官方:http://redis.io/download除此之外, Logstash是基于JAVA的,那么,我这里还需要下载JDK(你用JRE也可以)我的JDK版本 &8u65官方:/technetwork/java/javase/downloads/jdk8-downloads-2133151.html如果你用了CentOS 6.X,你还需要升级一下你的gcc和python,这样可以确保你可以安心编译redis,这里gcc 4.9.3官方:http://gcc.gnu.org/gcc-4.9/python 2.7.11(当前2.x最新的)官方:https://www.python.org/downloads/release/python-2711/还有nodejs,因为kibana是基于它的一坨前端程序.这里我的nodejs版本为LTS(长期支持)版,4.2.4(也是当前4.2.x最新的)官方:https://nodejs.org/en/download/其实我并不想纠结编译过程,但是这里还是不得不纠结一下ElasticSearch (以后简称es好了),logstash我下载rpmredis,jdk,gcc,为源码包nodejs 4.2.4我没有纠结编译过程,为二进制文件kibana为一坨前端文件,当然是源码包所有的东西下载好了之后,放在某个目录中,看下面吧.以下是我的安装过程:干净的centos6.6安装好之后,配置好网络,添加用户,就可以开始了//用户登录系统,su提升权限(这是我的习惯)# yum -y update&# mkdir tmp&# cd tmp//建立一个tmp文件夹,以便我们把一坨坨下载的包都放进去# yum -y install gcc gcc-c++ vim tpl kernel-deve glibc-static libstdc++-static screen wget bzip2*//其中的vim你也可以不用,系统默认有vi命令# screen -S elk//screen是一个很棒的小工具,具体用法请自行谷度百哥# wget http://down.moonstack.org/packages/jdk8u65.tar.gz//甲骨文官方的JDK地址不支持固定链接,8u65-linux64.tar.gz你可以使用上面我的地址下载# wget http://mirrors-usa./gcc/releases/gcc-4.9.3/gcc-4.9.3.tar.gz# wget http://download.redis.io/releases/redis-3.0.6.tar.gz# wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz# wget https://nodejs.org/dist/v4.2.4/node-v4.2.4-linux-x64.tar.gz&# wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.4.noarch.rpm# wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-1.5.6-1.noarch.rpm# wget https://download.elastic.co/kibana/kibana/kibana-4.1.4-linux-x64.tar.gz//经过漫长的等待后, 这一坨坨终于下载好了1.安装jdk 8u65# tar zxvf jdk8u65.tar.gz# mv jdk1.8.0_65/ /usr/local/java///编辑系统环境变量# vim /etc/profile//在该文件的末端加入JAVA_HOME=/usr/local/javaCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$PATH:$JAVA_HOME/binexport JAVA_HOME CLASSPATH PATH//保存退出后执行# source /etc/profile//然后我们执行# java –version//当我们看到下面的内容,说明我们jdk就安装成功了java version "1.8.0_65"Java(TM) SE Runtime Environment (build 1.8.0_65-b17)Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)2.编译安装gcc 4.9.3gcc编译确实有点慢,你可以根据机器中cpu的核心数来调节make的参数,以便于加快编译的速度,这里就不细说了.# tar zxvf gcc-4.9.3.tar.gz# mkdir gccmaker# cd gcc-4.9.3/# ./contrib/download_prerequisites# cd ../gccmaker/# ../gcc-4.9.3/configure --enable-checking=release --enable-languages=c,c++ --disable-multilib && make && make install//上面这个过程有点漫长,我这里半个多小时# rm -rf /usr/lib64/libstdc# cp ./x86_64-unknown-linux-gnu/libstdc++-v3/src/.libs/libstdc++.so /usr/lib64/libstdc++.so# ln -sv /usr/lib64/libstdc++.so /usr/lib64/libstdc++.so.6// 编译执行完毕之后,我们看下版本是不是# gcc –v//该命令返回使用内建 specs。COLLECT_GCC=gccCOLLECT_LTO_WRAPPER=/usr/local/libexec/gcc/x86_64-unknown-linux-gnu/4.9.3/lto-wrapper目标：x86_64-unknown-linux-gnu配置为：../gcc-4.9.3/configure --enable-checking=release --enable-languages=c,c++ --disable-multilib线程模型：posixgcc 版本 4.9.3 (GCC)//这样gcc 4.9.3编译ok# cd ..//请保持目录的一致性 返回上级 tmp目录gcc安装确实有些棘手, 这个坑我踩过了, 另外要注意的是,我们的gccmaker目录不要删,说不定以后要用到某些组件,可以直接cp出来,不至于再去跑编译了.编译python 2.7.11python的编译相对比较简单,且这次编译我这里比较完美,没有出错,也不用我再去建立软链# tar zxvf Python-2.7.11.tgz# cd Python-2.7.11# ./configure && make && make install//如果你问我为啥不用prefix来指定安装的目录, 在我的习惯中, 系统组件,或者编译器,或者是服务组件,让它进默认目录是我的选择.# python --versionPython 2.7.11# python2.6 --versionPython 2.6.6//系统的yum是基于2.6的,所以,这里我们需要改一个地方,要不然,yum会出错# vi /usr/bin/yum//将首行的#!/usr/bin/python//更改为#!/usr/bin/python2.6//保存退出即可# cd ..这次编译python异常顺利, 没有报错, 太爽了4.安装nodejs 4.2.4# tar zxvf node-v4.2.4-linux-x64.tar.gz# mv node-v4.2.4-linux-x64/ /usr/local/nodejs# ln -sv /usr/local/nodejs/bin/node /usr/bin/node# ln -sv /usr/local/nodejs/bin/npm /usr/bin/npm这样再也不用纠结编译过程了5.编译安装redis 3.0.6# tar zxvf redis-3.0.6.tar.gz# cd redis-3.0.6# make PREFIX=/usr/local/redis install//这里纠结一下, redis如果不指定prefix路径,那么默认会在你这个解压的文件夹中编译生成bin文件# ln -sv /usr/local/redis/bin/redis-server /usr/bin/redis-server# ln -sv /usr/local/redis/bin/redis-cli /usr/bin/redis-cli先把这东西安装上去,至于配置,一会儿再搞接下来就剩elk的组件了6.安装 es 1.7.4# rpm -ivh elasticsearch-1.7.4.noarch.rpm7.安装logstash 1.5.6# rpm -ivh logstash-1.5.6-1.noarch.rpm8.安装kibana 4.1.4# tar zxvf kibana-4.1.4-linux-x64.tar.gz//这本身就是拆箱即用的东西, 我们给它找个好地方放起来# mv kibana-4.1.4-linux-x64/ /usr/local/kibana# ln -sv /usr/local/kibana/bin/kibana /usr/bin/kibana好了,至此已经把我们需要的组件安装完成了, 下一篇blog将写如何配置使用文章转载至：http://mo0on./9263欢迎加入本站公开兴趣群软件开发技术群兴趣范围包括：Java，C/C++，Python，PHP，Ruby，shell等各种语言开发经验交流，各种框架使用，外包项目机会，学习、培训、跳槽等交流QQ群：源代码研究群兴趣范围包括：Hadoop源代码解读，改进，优化，分布式系统场景定制，与Hadoop有关的各种开源项目，总之就是玩转HadoopQQ群：&
刚表态过的朋友 ()
上一篇：下一篇：百度如何演不一样的大数据偶像剧--百度百家
百度如何演不一样的大数据偶像剧
分享到微信朋友圈
影视内容以及营销为何迟迟没有乘坐上互联网的大船？最主要的原因还是，包括影视人以及互联网人都没有想明白，切入点在哪？怎样成为影视剧行业的“直达号”呢？
传统行业如何拥抱互联网？2013年在喊了“互联网思维”一年后，2014年到底能够如何落地，是一件严肃的事情。尤其在服务行业，今年的百度大会上亮相的“直达号”，就是传统旅游业与互联网新的一次碰撞。甚至是地产业都在蜂拥而上，抱上互联网之时，文化娱乐行业却好像迟迟未有十分积极的响应。
在文化娱乐产业中，影视行业可以说的上是最大的一块版图。早在国内第一批视频网站成立之时，影视行业已经开始了其互联网化之路。不过时至今日，也仅仅只是半互联网化，将其发行渠道实现了互联网化。而在影视发行之外的影视内容制作、营销环节中，却甚少与互联网有过亲密接触。
影视内容以及营销为何迟迟没有乘坐上互联网的大船？最主要的原因还是，包括影视人以及互联网人都没有想明白，切入点在哪？怎样成为影视剧行业的“直达号”呢？
《纸牌屋》的出现可以称得上是第一次尝试，他利用大数据实现了影视剧内容在制作上的数字化。通过观众在观看中的进度条停、放时间来获得观众对影视剧内容的喜好厌恶判断，来编写、优化下一步的剧情内容。
不过，这种“大数据＋影视内容”的操作模式在流传到中国国内的市场中时，却出现了两种不同的模式。第一种是忠实于《纸牌屋》的原版模式，通过网络视频播放之时，播放进度条中各种观众动作来判断剧情内容喜好厌恶，如优酷、爱奇艺等视频网站皆在尝试；另一种则是跳脱在在线播放的约束之外，实现网络口碑大数据整合优化剧情内容，甚至是选角、选景。如百度近期与湖南卫视合作的青春偶像剧《不一样的美男子》就是第一次尝试。
相较后者，前者的模式虽然已经有了成功先例，但是依然有些局促：首先，如何获知在电视上观看的观众大数据？其次，进度条、或者社区中的互动口碑，并未能够代表全网网友意向。
换而言之，这种仅仅依靠在线播放获得的大数据还不够全、和精。
后一种通过全网口碑来获知剧迷大数据的模式，虽然也并非完玉无暇，但是在思路和操作模式上却是给了影视人和互联网公司更多的思考空间。我们不妨就拿《不一样的美男子》来看看，这种模式如何探索新路。
首先，用大数据来参与选择演员。在大数据遴选机制中，有三大核心点，包括知名度、口碑和气质匹配。据说，剧中男主角张翰就是通过大数据遴选而来。其日后火遍网络的“肌肉照”证实，张翰的气质和超能力关键词有很高的匹配度。
而百度在此次推出了代言人大数据选择工具事实上也是这一遴选机制的另一翻版。其原理是，通过大数据来洞察明星与品牌之间的匹配度，以及可以与其的市场影响力。而这中模型相信，在洞察明星与影视作品品牌，或是导演品牌上，也可以所有建树。
其次，精钻于用户剧情口碑数据之内。事实上，在大数据分析中，最为困难的就是从海量碎片口碑中获取用户的意愿方向。但是，用户的喜好厌恶又大多是发自心声，对于剧情的优化是最具价值。百度曾经在6月公布了一组女性数据证明女人谈的最多的是怕老，其口碑数据真正来源于此。
《不一样的美男子》在全程中都利用大数据进行了剧集优化。如超能力背景解释剧情，男角死而复生剧情，以及大结局剧情等。其中，其在设置大结局时就极大动用了用户口碑大数据。首先百度从平台之上用户的口碑中提炼Top10结局剧情，并在百度贴吧上设下擂台，为剧组征选大结局。据说，这次的结局在六天中就有近200万的网友参与，参与热度远远超出了湖南卫视的预期。
当然，引导学习传统与科技的配合之道，也是大数据公司在和传统企业进行合作时十分重要的柔术。事实上，和传统行业在配合之时，很多IT科技行业的人都会满腹牢骚，配合方式、理念和效率都是大问题。所以，当百度商业市场部总经理陈志峰说在百度与湖南电视台合作时，曾经出现编剧大罢工的事件之时，笔者也并不感到惊讶。不过，从《不一样的美男子》连续多周蝉联收视冠军的结果上看，可以知晓，百度是将这一难题巧妙进行了化解，不得不说，这会成为后来者的经典案例。
无论是大数据之全面，还是精钻在口碑之上，都是百度大数据在演出这么一出《不一样的美男子》偶像剧时做到的中国大数据渗透娱乐文化产业的一个独特案例，而在未来，这种优势也势必从内容制作扩展至全产业链，覆盖产、销、播一条龙，更多上演《不一样的美男子》大数据制剧。而百度有没有可能在今年推出影视行业的“直达号”，来再次颠覆传统？不如搬好小板凳，等着接大招。
阅读：1591
分享到微信朋友圈
在手机阅读、分享本文
还可以输入250个字
推荐文章RECOMMEND
阅读：1419
阅读：11万
热门文章HOT NEWS
历史宿命，马云和王健林的赌局最终竟然是殊途同归
娱乐资本论
百度新闻客户端
百度新闻客户端
百度新闻客户端
扫描二维码下载
订阅 "百家" 频道
观看更多百家精彩新闻