今日头条是用python写爬虫的么

发信人: chujuxin (reaishenghuo_3032), 信区: ParttimeJob标
题: 【今日头条】招聘 数据抓取实习生发信站: 北邮人论坛 (Mon May
4 10:12:52 2015), 站内【今日头条】招聘 数据抓取实习生工作地点:北京市海淀区知春路(离地铁站5分钟)请将简历发送至:
“姓名 抓取实习”实习薪资:日薪200~300元/天实习时间:3~4天/周,≥6个月职位描述:今日头条的目标是给用户推荐他所感兴趣的各种信息(不只是新闻),因此数据是今日头条的核心。抓取的目标是从互联网海量信息中抓取并筛选出有价值的内容,并转换为适合移动端展示的格式以推荐给用户,涉及到的环节包括爬虫,抽取,去重,质量识别等.实习生职位的主要工作集中在爬虫和抽取环节。 由于需要覆盖大量长尾数据,对内容的精确抽取涉及到非常多的挑战,你的加入,可以帮助头条覆盖更多的内容,并将内容以更加精准的形式展现给用户。职位要求:1.对技术有热情, 既有高远目标,也能脚踏实地2.有扎实的数据结构和算法功底, 强悍的编码能力3.熟悉linux开发环境,熟悉C
和python语言的优先4.理解http,熟悉html,DOM,xpath优先需要提交的材料:1.简历2.SNS账号(或链接),如微博、豆瓣等3.你经常上的3个技术网站4.你阅读过的3本值得推荐的技术类书籍㊣Ying_Jie_Sheng.com ㊣
相关专业最新招聘信息
热门招聘信息
     
     作业通杨栋:昔日学霸反哺教育 打造教育领域今日头条
发表于 17:26|
作者陈秋歌
摘要:在线教育发展火热,尤其是K12。作业通作为该领域新生力量,在来自百度、腾讯、阿里巴巴、360、小米等国内IT知名企业的多位技术精英推动下,正通过大数据技术手段,弥补传统教育的不足,打造教育领域的“今日头条”。
——专访作业通创始人杨栋古语有云:“十年树木,百年树人”。教育乃立国之本,尤其是中小学教育(K12),一直深受国家和家长的重视。而针对中小学教育的培训也由来已久,比如以好未来(前身为学而思)为代表。近年来移动互联网、大数据技术的发展更是为K12实现在线教育提供了新鲜沃土,其正如虎添翼般迅猛发展。&在线教育一片欣欣向荣景象下,2014年9月,一股新生力量破土而生——作业通在来自百度、腾讯、阿里巴巴、360、小米等国内IT知名企业的多位技术精英推动下,正逐渐成长壮大,致力于通过大数据技术手段,弥补传统教育的不足,打造教育领域的“今日头条”。作业通创始人杨栋与K12的首次接触 开启大数据技术探索之旅作业通创始人杨栋在接受CSDN记者专访时表示,与教育培训结缘,最早源于在北京大学读书期间。作为兰州某区的高考理科状元,杨栋成功就读北京大学计算机系。大二期间,赶上非典,针对中小学生的补习班大多被停,然而很多北大高材生仍偷偷在外开办培训班,包括杨栋在内。当时凭借着学霸的成绩,他合伙另外两个人开办了针对中小学数理化的小型培训机构。这个时期可算是培训机构的一个小小爆发期,据悉好未来也是在这个时期成立的。非典时候在外培训的经历,是杨栋涉足K12教育的一次小小尝试,后来因学业的关系便中断,继而投入到技术积累与人脉拓展上。在北京大学,除了完成学科各门知识的学习外,他在实验室深入嵌入式编程,并不断向社区提交Patch。北大毕业后,被保送至中国科学院,在此正式开启了大数据技术领域的探索。他的研究课题以云存储为主,主要针对超级计算机曙光5000A进行系统软件研发。对象存储系统在当时十分火热,他参与研发了类似Lustre的一个系统,同时还参与了可运行于曙光5000A之上的第三代存储系统DCFS的研发,它与Hadoop有很多相似之处。杨栋表示,在校所做的科研,并非面向用户,而多以技术为驱动,只有将系统做出后,才会进一步探索使用场景,这也代表了早期大多中国技术人员所走的路线。初入职场深炼内功 &成就Hadoop技术专家学校生活结束后,杨栋于2008年加入百度,从工程师到负责人,以大数据技术、Hadoop研发为主,主导了多条研发主线。首先主导研发了HCE,它基于C++,是用来提升资源利用率的MapReduce框架。据杨栋介绍,依托HCE框架的高效本地处理机制,Hadoop作业可以最多节省30%的CPU资源使用。此外,携手多位百度同仁联合搭建了百度Hadoop平台,机器规模扩展到两万多台;作为数据流计算系统DStream项目负责人,所推出的DStream实时计算模型弥补了MapReduce在高效处理实时应用上的不足,提供了灵活、可伸缩的效率解决方案,在数据完整性、高可用、可扩展性及收缩性方面均有出色的表现。他还曾研发了Hypertable,是BigTable的Boost C++开源实现版本。虽然Hypertable还未在业界大规模使用,但在杨栋看来,其精细的架构和高质量的代码实现,将来会有更多的开发者来使用和改进它。多年来的深入钻研,杨栋已成为了大数据Hadoop领域专家,Hadoop官方版中超过1万行代码的NatvieTask分支也是他和小伙伴主导加入的。在百度他是纯粹的技术人,而进入英特尔中国研究院后,其职业生涯发生了新的转变,开始向产品业务型人才转型。2012年,杨栋正式加盟英特尔中国研究院,担任主任研究员,投入到物联网产品的孵化过程中,如智能交通、智能零售等。在英特尔,杨栋不再单纯以技术为起点考虑问题,而更倾向于从业务角度进行全局把握。在他看来,这里的孵化过程犹如一次次创业过程,需要根据市场需求构建自己的业务,去设想它的用户场景,及如何与其他业务进行整合。在此期间,英特尔中国研究院院长吴甘沙的做事风格及思维方式对杨栋产生了巨大影响,教会了他很多东西,使他从技术人才真正转变成一位业务人才,也为后来的创业奠定了基础。再次投身教育培训事业 &打造精品教育资源网络2012年,在线教育火热发展,成为创业新宠,这也促使杨栋萌发了再次回归“本行”的想法,即中小学教育培训。在中科院、百度及英特尔的工作经历,让杨栋深刻体会到只靠技术还不够,必须有强大的渠道和内容做支撑。于是杨栋主动选择加入拥有丰富在线教育资源,及全国最大规模校讯通用户资源的拓维信息。在拓维信息,杨栋担任CTO,以孵化教育产品为主。在对教育行业充分了解后,他更加希望独立去主导完成一款更具影响力的教育产品,于是作业通应运而生。作业通2014年11月正式推出,专注K12移动教育,学生和家长通过App或微信拍照搜索即可获得试题解析,还可以查询各地试卷及解析。市面上,以拍照搜题为主打的App并不少见。而作业通与众不同之处在于它所依靠的强大运营模式。正如杨栋所言,作业通集合了国内最好的教育资源。首先,联合拓维信息,获得强大的渠道支持。拓维信息拥有丰富的线上和线下教育资源,在全国十多个省的近万所中小学内有常驻工作人员,进行试题资源挖掘及地推服务。再者,背靠菁优网,搭建完整内容生产线。菁优拥有海量的题库资源及1000多位教师资源,每一道试题都经过了教师的详细解答,从而保证了作业通解题正确率达85%以上。最后则由来自名府高校的学霸们提供强大的大数据技术支撑,杨栋称之为BAT3MMI团队,他们曾工作于阿里巴巴、百度、腾讯、360、小米、微软、英特尔,多数具有深厚大数据技术背景,其中包括国内两位最好的搜索和Deep Learning专家,他们在技术研发领域已游刃有余。渠道、内容、技术三方优势,有力地推动着作业通的飞速发展,目前App已积累用户100万,微信精准用户达60多万。整合精品教育资源,打造教育领域的今日头条,是作业通的产品定位。为了实现这一目的,杨栋希望通过共赢的合作方式,整合更多更好的教育资源。比如,与作文网的合作。学生在作业通中搜索作文内容关键词,点击搜索结果,即可跳转至作文网中相应的内容页。这与直接爬取其他网站的内容展现在自己平台中的做法是不同的,此互利的作法也正吸引着更多的合作伙伴。在选择合作伙伴时,作业通首先会对其内容质量进行采样评审,只有达标后才会达成合作。对于重复的内容,作业通将会从中选择最优质的内容进行显示。这些做法均是为了保证学生和家长获得最舒适的体验。变现仍是在线K12教育面临的最大困扰K12教育正在国内火热发展,其长达十几年的教育周期及家长愿意为其作最大投入的特点,正吸引越来越多的人蜂拥而来。加上互联网思维的刺激及相关技术的发展,在线K12教育也呈现百花齐放之景。而在繁荣景象之下,变现问题是该领域面临的最大困扰。杨栋表示,现在主要的变现手段有两种,一是传统的校讯通收费,其市场规模可达数百亿,该模式存在一定问题,正寻求改变;另一种是在线培训,虽然很多企业从中已获得不少收益,但碎片化严重,最大的新东方在线和学而思网校年营收加起来不过5亿,未来也会有大的变化。对于作业通来说,目前仍以免费为主,重点是做好刚需产品,提供更加精品的内容,获取更多精准用户。杨栋相信,伴随着在线教育打破地域限制,将优质资源进行更大范围共享,乃至教育并不发达地区,将会有越来越多的人愿意为内容付费。
推荐阅读相关主题:
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号:CSDNnews
相关热门文章水木-猎头招聘-Faoffer代招:今日头条招聘Python开发
主题文章列表
下一页&共1页&
Faoffer代招:今日头条招聘Python开发
发信人:&faoffer&(faoffer),&信区:&ExecutiveSearch
标&&题:&Faoffer代招:今日头条招聘Python开发
发信站:&水木社区&(Wed&May&20&13:18:09&2015),&站内
我司主要专注于IT、通信、互联网方面的职位,&客户包括阿里、腾讯、优酷土豆、搜狐、乐视、新浪、360、去哪儿、小米、汽车之家、58、豌豆荚、多盟等公司。招聘研发、产品、UID等相关人员.&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
想跳槽或者想关注行业信息的童鞋欢迎给我邮件,或者加QQ:&&&
是做新闻等资讯类推荐的,目前用户上亿,日活跃用户过千万,公司上班地点在知春路,内部大拿很多。目前已完成C轮1亿美元的融资。
地点:知春路
职位描述&&
负责WEB架构,为业务开发提供方案支持,负责关键服务的设计和实现。主要实现语言为C/C++,&Python.&&&&&&
职位要求:&&
1、有扎实的编程能力,有优秀的设计和代码品位,&热爱编程&&
2、深刻理解计算机原理,有良好的数据结构和算法基础&&
3、熟悉mysql,&mongodb,&memcache,&redis,&消息队列等常用WEB组件,并有能力进行定制化改进&&
4、有高并发服务设计和实现经验,对分布式处理有自己的理解和实际经验&&
※&来源:·水木社区&http://www.newsmth.net·[FROM:&202.189.3.*]
下一页&共1页&分享职位到微信
公司规模:100-500人业务领域:媒体资讯融资信息:C轮
公司愿景:
在信息时代给人提供一个与众不同高效简洁的信息获取和分享的平台
张一鸣 ceo
搜索引擎 互联网 创新
今日头条宣布获得1亿美元C轮投资,红杉资本领投,新浪微博跟投。今日头条激活用户达到1.2亿、月活跃用户4000万
今日头条月活跃用户3000万,每天内容库有近10万条信息
今日头条获得DST等数千万美元B轮投资
今日头条用户数突破5000万
今日头条获得SIG海纳亚洲等数百万美元A轮投资
北京|[15k-30k]
北京|[10k-25k]
龙图游戏A,B轮
北京|[15k-23k]
eyespage天使轮
北京|[12k-25k]
汽车之家已上市
北京|[15k-30k]
北京|[15k-23k]
北京|[15k-23k]
北京每日优鲜电子商务有限公司天使轮
北京|[10k-25k]
&沪ICP备号发信人: reaishenghuo (chuju_xin), 信区: Career_Campus标
题: [今日头条]后台研发实习生(北京)发信站: 水木社区 (Fri May 15 18:23:15 2015), 站内我们希望你:python感兴趣,
Django或flask有实践经验更优掌握基本的数据结构和算法了解web相关的知识实习时间不低于3个月,每周不少于3天。待遇优厚:实习工资+免费三餐+外地童鞋有就近租房补贴简历请发送到 ,注明应聘职位“后台研发实习”有Github 或技术博客请提供毕 业 了,找 工 作,上YingJieSheng.Com!
相关专业最新招聘信息
热门招聘信息
     
     

我要回帖

更多关于 python mysqldb 使用 的文章

 

随机推荐