python爬虫工程师工程师需要掌握哪些知识

更好更安全的互联网
引自知乎精选答案,Tanky Woo,知道创宇运维工程师!
------------
这个问题挺好的,回答这个问题也是对自身的审查,看看自己还欠缺哪些。(所以我估计得好好思考下,也许下一刻我就会突然惊醒,发现我还是战⑤渣)
首先限定在Linux运维工程师上
回答仅代表我想到,不代表我都会 ?
1. Linux基础
包括对Linux整体的理解/使用和基本命令:
了解Linux FHS : ,国人写的这本书不错
入门Linux: 个人认为鸟哥的这本书是一本非常好的入门书
基本操作命令:Google,如Linux command cheat sheet
熟悉至少一个内置编辑器: vi, nano
至少熟悉一个发行版(或系列),建议作为服务器常用的如Centos, Debian, Ubuntu,可以了解多个常用发行版
2. 运维的命令:
运维相关的工具(命令),了解它能解决很多问题。
前几天刚回答了一个问题:
里面的图在这里也可以用到:
可以对着图对学习了解这些命令。
另外我个人也会对平时用到的这些工具做一个整理和记录,总结到我的个人维基上:
3. 基础服务:
LAMP或LNMP :Apache/Nginx,MySQL,PHP/Python/Perl
可以本地搭建练练手
这里推荐鸟哥另外一本书 服务器架设篇:
4. 运维平台工具:
也在这个问题 如何才能更深入的学习linux? 里提到了:
可以选择性的折腾下,因为这个涉及到业务,没有实际环境,很难去理解他们的功能和特点。
必备:Shell
额外:Python,Perl...
Linux C,内核
网络是非常重要的一块
把《TCP/IP协议详解》多看几遍,理解。
熟练使用tcpdump等抓包工具
防火墙配置,如 iptables
查看硬件信息
知道各类型服务器,如塔式、机架式、刀片式
10. 其它:
了解更多特定技能要求的方式:
Google搜"Linux运维工程师 招聘",看看他们的需求。
最后推荐一本书:Unix/Linux系统管理技术手册 UNIX/Linux 系统管理技术手册 (豆瓣)
后续想到再做补充
素养/处理方式:
除了技能,我觉得素养(态度)也可以谈谈
这个正好看到右边相关问题:
运维人员的权限很大,所以一定要保证帐号/私钥的安全。
最好使用加密工具存储。比如truecrypt,1password
基于本地存储。切勿用网盘,也不建议用lastpass等
ssh私钥添加密码
以上任何一点都很重要,否则弄丢了,风险会非常大。
如上面那个帖子里
提到的 Owner 意识
遇到报警,第一时间处理,而不要等着他人去处理
如果无法处理,应该第一时间让同事协助帮忙,而不要禁止报警,让问题掩盖
你的任何一个操作,都可能造成系统的损坏、业务出问题。所以敲命令时一定要细心、再三确认。你敲的再快,也就节省那么一点时间,出了问题才是大事。
4. 推进/改善
如果代码有问题,导致系统开销很大,比如负载,io等。应该第一时间和开发部门确认,要求优化代码。
5. 进取心/不断学习
运维的知识范围很广,要不断学习。遇到问题,做好分析记录,事后还可以在部门内分享交流。
这也是我为什么热衷于写技术博客和维基的原因,好记性不如烂笔头。记录整理的过程也是一个思考升华的过程。
再给一个干货,我们公司(知道创宇)的技能表:,里面涵盖了部分Linux SA需要的技能。
原文链接:
作者:刘 开水 | Categories: | Tags: 、、、年底了,身边的许多同事都已经回家了,也就在这个时候才有闲下来的时间,作为一名一直从事于互联网运维行业的人来说,经常有人问到,作为一名运维人员,需要掌握哪些技术呢?
现在就来回答下运维人员需要掌握的知识和能力:
1. 操作系统知识
对于操作系统来说目前很多,我主要从事的是linux服务相关的运维工作,但平常也有一些windows相关的问题需要处理
对于操作系统原理我们也需要相应的有所了解,这样对于我们深入了解操作系统的运行情况以及分析和定位问题也有一定的帮助
2. 开源组件知识
对于一个大型的互联网架构一般会分成接入层,逻辑层,数据层。对应我们就需要掌握以下知识和:
DNS, LVS, Nginx, Apache,&PHP, squid
这里一般是C++等一些业务处理程序的逻辑
memcached, mysql, oracle, postgresql, FileSystem
3. 监控相关知识
相信大家都知道运维人员需要对所负责的业务系统和相关服务器有一个全方位的实时监控,以确保业务24*7的正常运行,所以以下监控系统就少不了:
nagios, cacti
其实这里主要是目的是能收集监控数据,并实现数据的实时告警和展示,所以也就有很多公司自己实现相应的监控系统。
4. 编程知识
对于运维人员来说,shell应该是我们最常使用的脚本语言,但平常我们也会接触到perl, python等其它语言
不过如果一名运维人员能使用C或C++进行编程,对于日常运维工作会有很大的帮助,至少可以写一些底层工具,实现批量操作和自动化,这个效率是比脚本语言相对要好。
5. 沟通能力
运维人员需要面向所有的开发人员以及客服人员和外部的第三方合作,这样对我们的沟通能力就有一定的要求。平时工作经常需要推动程序bug的修复以及帮客服解决一些无法解决的客户技术服务,这样如果有良好的沟通能力对事情的解决会有很大的帮助。
6. 抗压能力
运维人员的工作由于需要确保业务的24*7正常运行,所以经常会处于一种高压状态下,尤其当现网出现一些故障的时候,需要面向来自各方的压力恢复服务,所以运维人员本身需要有一种良好的心态和抗压能力。
运维人员在许多人眼里看来是苦B的,但我认为运维这份工作对于我来说,能全面的掌握系统架构其中也其乐无穷!希望各位运维人员在新的一年更上一层楼,工作顺顺利利。
阅读(...) 评论()Python Web工程师
Python Web工程师
职业入门零基础
本课程介绍了Python Web工程师的职业和行业前景、学习方法和路径,并对将来的职业规划做了清晰说明。
主讲:windy
课程大纲( 4门课程 )
职业基础前置基础
主要讲解 Linux 基础部分的知识,作为初学者入门指导课程。内容含Linux 的历史和安装;管理文件和目录;安装和管理应用程序;进程管理和计划任务等。
主讲:豆豆爸
课程大纲( 20门课程 )
Python 以其简洁、优雅、高效的特点,成为主流开发语言,其应用广泛,易学易用,让很多人爱不释手。本套课程为初学者量身打造,是你入门 Python 的必修课程。
主讲:姚晓哲、qiwsir
课程大纲( 43门课程
5个实战作业 )
HTML是超文本标记语言,它是网页构成的基础,我们见过的网页基本都离不开HTML代码。本课程从HTML代码的结构写法入手,了解常见的HMTL标签和属性,了解各类HTML标签的用法。
主讲:写代码的平面师
课程大纲( 25门课程
6个实战作业 )
本套课程主要学习通过CSS代码修改网页中的文本、背景、排版布局等,使Web前端开发者可以根据自己的需求设置不同的样式风格。
主讲:写代码的平面师
课程大纲( 20门课程
6个实战作业 )
本课程从JavaScript语言的发展、开发环境等介绍入手,由浅入深地讲解JavaScript基本语法、函数、运算符、数据类型等知识。
主讲:Jackie
课程大纲( 8门课程
2个实战作业 )
本课程面向0基础用户,老师讲解通俗易懂,通过视频演示、图文补充、配套练习、课后作业四合一的学习方式,帮助你迅速掌握MySQL数据库的使用。
主讲:Summer
课程大纲( 13门课程
1个实战作业 )
依托GitHub社区讲解分布式版本控制工具的使用,课程分为:欢迎来到GitH版本控制的基础G团队合作利器;Git分支的详解;GitHub常见的几种操作;发现好用的开源项目
主讲:江小鱼、stormzhang
课程大纲( 9门课程 )
初级工程师专业学习
Flask是Python中一个微型的Web框架,目前应用广泛。本课程先讲述Flask基础,然后由浅入深,结合“百度新闻管理系统”,“简易微博系统”两大案例进行实战演练。
主讲:NavCat
课程大纲( 11门课程
3个实战作业 )
本课适合Python初学者作为练手项目的第一战,通过爬虫案例帮助你更好的学习 Python开发爬虫。学完此课,你将达到爬虫初级入门水平,并能掌握数据库交互等 Web 编程相关技能。
主讲:Kingname
课程大纲( 22门课程
3个实战作业 )
本课程旨在解决动态加载、访问限制、登陆注册、验证码等阻碍信息爬取的问题,学完此课,你将达到爬虫开发的中级水平,具备实战经验。
主讲:Kingname
课程大纲( 12门课程
3个实战作业 )
本课程帮助学员加深对爬虫技术的理解,掌握分布式的使用场景技术解决方案。适合 Python 初级开发人员。
主讲:Kingname
课程大纲( 10门课程
2个实战作业 )
本课程涵盖爬虫初级、中级、高级技术,是你系统学习爬虫的最佳选择。
主讲:Kingname
课程大纲( 31门课程
8个实战作业 )
本课程主要是系统运维管理的基础部分,以CentOS 系统为基础,帮助你了解自动化运维的基础架构,为下一步进阶学习打下良好的基础。
主讲:飞扬
课程大纲( 13门课程 )
中级工程师系统提高
本课程主要是系统运维管理的进阶部分,通过理论解读和代码演示,详细讲解了Paramiko、Fabric、Ansible、Zabbix的安装及使用,增加实际运用经验。
主讲:飞扬
课程大纲( 4门课程 )
线上Web前端就业班
线下Web前端就业班
实习生训练营
导师/教练
极客学院布道师
Python 语言资深大牛,著有《从零开始学 Python》一书。
极客学院布道师
就职全球前三IC设计公司,主持数十个Python项目,爬虫系列课程学习人数10w+。
极客学院布道师
韬翔董事长兼总经理,特约IT作家,授课通俗易懂,深受欢迎。
极客学院布道师
学习人数10W+,丰富的实战和布道经验。酷爱Web编程、机器学习和数据科学。
极客学院布道师
正点办公联合创始人,DevOps践行者
1、Python 工程师都做哪些工作呢?Python是一门易学易懂适合快速开发的编程语言,既能满足互联网行业的Web应用和服务器应用开发,又可以作为方便强大的Linux服务器及网络运维工作的开发工具,完成系统运维的工作。最近的大数据快速发展也扩展了Python语言的新天地,作为数据抓取和分析的最合适的语言,Python又焕发了新的活力。因此Web应用开发、系统网络运维、大数据的科学与数字计算,甚至3D游戏开发都是Pyhon工程师非常适应的职业发展方向。2、我没有编程基础,适合学习Python的哪个课程呢没问题,我们所有的Pyhon实习生成长计划和初级工程师成长计划都非常适合0基础的学员学习,课程会从最基础的概念和技术开始讲起,深入浅出的完成整个体系的学习,完全不用担心基础问题。欢迎大家来体验学习过程。3、我已经掌握了基础的Python编程能力,你们的课程还适合我么?我们的职业学院课程覆盖了各种不同技术阶段、不同技术需求的课程,专项提高阶段的课程会满足有基础的学员的进一步学习需求。4、在课程学习过程中,有哪些学习方法帮助我快速学习?我们的职业学院课程中,除了录播的视频和图文类课程可以学习以外,还有随堂测试、作业和有问必答等快捷有效的辅助学习方法,可以帮助大家解决任何的学习阶段遇到的问题。5、什么是SVIP?SVIP适用于需要系统化学习某一专业的小伙伴们。购买后不仅即时开启VIP所有功能,还可以无限量饱览职业路径内的专业课程以及享受实战项目一对一辅导等优质服务。6、VIP和SVIP的区别是什么?VIP和SVIP是两种不同的极客会员类型,其中VIP会员可以观看极客学院全部的会员视频课程,SVIP是基于职业(专业)的会员,其除了包含VIP的权限外,还包含针对指定专业的职业学习路径和实战项目,具体的差别请参考会员购买界面的权限详情。7、课程的有效学习时间是多长?&为了提高学习效果,课程都有有效期要求,在课程的详情页面都有明显的标注。有效期过后,我们的所有的课程的课件,例如视频课程、图文课程和随堂测试还可以继续学习使用,只不过作业和问答功能不再提供。8、支付方法有哪些?我们现在提供极客币支付、支付宝支付和微信支付三种方式。将来还会开放其他的支付方法,敬请期待。
更多常见问题Python 工程师在公司工作体验如何? - 知乎2154被浏览227668分享邀请回答22544 条评论分享收藏感谢收起38881 条评论分享收藏感谢收起更多5 个回答被折叠()运维工程师掌握python有什么优势_百度知道
运维工程师掌握python有什么优势
学Python只是掌握另外一门语言运维工程师基本都写shell脚本,很简单了,对脚本处理问题的原理都很熟悉。希望能帮助到你,也就是说把你的东西用另外一种语言表达出来而已
采纳率:89%
为您推荐:
其他类似问题
等待您来回答

我要回帖

更多关于 python开发工程师 的文章

 

随机推荐