大流量网站的底层系统架构分析
作者：佚名
字体：[ ] 来源：互联网 时间：08-11 14:15:03
大流量、高并发的网站的底层系统架构
动态应用，是相对于网站静态内容而言， 是指以c/c++、php、Java、perl、.net等 服务器端语言开发的网络应用软件，比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通 常与数据库系统、缓存系统、分布式存储系统等密不可分。
大型动态应用系统平台主要是针对于大流 量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑，以保证网站应用的平稳运行。
大型动态应用系统又可分为几个子系统：
l&&&&&&&& Web前 端系统
l&&&&&&&& 负 载均衡系统
l&&&&&&&& 数 据库集群系统
l&&&&&&&& 缓 存系统
l&&&&&&&& 分 布式存储系统
l&&&&&&&& 分 布式服务器管理系统
l&&&&&&&& 代 码分发系统
Web前端系统
为了达到不同应用的服务器共享、避免单点故障、集中管理、统一配置等目的，不以应用划分服 务器，而是将所有服务器做统一使用，每台服务器都可以对多个应用提供服务，当某些应用访问量升高时，通过增加服务器节点达到整个服务器集群的性能提高，同 时使他应用也会受益。该Web前端系统基于Apache/Lighttpd/Eginx等 的虚拟主机平台，提供PHP程序运行环境。服务器对开发人员是透明的，不需要开发人员介入服务器管理
负载均衡系统
负载均衡系统分为硬件和软件两种。硬件负载均衡效率高，但是价格贵，比如F5等。软件负载均衡系统价格较低或者免费，效率较硬件负载均衡系统 低，不过对于流量一般或稍大些网站来讲也足够使用，比如lvs,nginx。大多数网站都是硬件、软件负载均衡系统并用。
数据库集群系统
由于Web前端采用了负载均衡集群结构提高了服务的有效性和扩展性，因此数据库必须也是高可靠的才能保证整个服务体系的高可靠性，如何构建一个高可靠的、可以提供大规模并发处理的数据库体系？
我们可以采用如上图所示的方案：
1)&&&&&&& 使用 MySQL 数据库，考虑到Web应用的数据库读多写少的特点，我们主要对读数据库做了优化，提供专用的读数据库和写数据库，在应用程序中实现读操作和写操作分别访问不同的数据库。
2)&&&&&&& 使用 MySQL Replication 机制实现快速将主库（写库）的数据库复制到从库（读库）。一个主库对应多个从库，主库数据实时同步到从库。
3)&&&&&&& 写数据库有多台，每台都可以提供多个应用共同使用，这样可以解决写库的性能瓶颈问题和单点故障问题。
4)&&&&&&& 读数据库有多台，通过负载均衡设备实现负载均衡，从而达到读数据库的高性能、高可靠和高可扩展性。
5)&&&&&&& 数据库服务器和应用服务器分离。
6)&&&&&&& 从数据库使用BigIP做负载均衡。
缓存分为文件缓存、内存缓存、数据库缓存。在大型Web应用中使用最多且效率最高的是内存缓存。最常用的内存缓存工具是Memcachd。使用正确的缓存系统可以达到实现以下目标：
1、&& 使用缓存系统可以提高访问效率，提高服务器吞吐能力，改善用户体验。
2、&& 减轻对数据库及存储集服务器的访问压力
3、Memcached服务器有多台，避免单点故障，提供高可靠性和可扩展性，提高性能。
分布式存储系统
WEB系统平台中的存储需求有下面两个特点：
1) 存储量很大，经常会达到单台服务器无法提供的规模，比如相册、视频等应用。因此需要专业的大规模存储系统。
2) 负载均衡cluster中的每个节点都有可能访问任何一个数据对象，每个节点对数据的处理也能被其他节点共享，因此这些节点要操作的数据从逻辑上看只能是一个整体，不是各自独立的数据资源。
因此高性能的分布式存储系统对于大型网站应用来说是非常重要的一环。（这个地方需要加入对某个分布式存储系统的简单介绍。）
分布式服务器管理系统
随着网站访问流量的不断增加，大多的网络服务都是以负载均衡集群的方式对外提供服务，随之集群规模的扩大，原来基于单机的服务器管理模式已经不能够满足我们的需求，新的需求必须能够集中式的、分组的、批量的、自动化的对服务器进行管理，能够批量化的执行计划任务。
在分布式服务器管理系统软件中有一些比较优秀的软件，其中比较理想的一个是 Cfengine。它可以对服务器进行分组，不同的分组可以分别定制系统配置文件、计划任务等配置。它是基于C/S 结构的，所有的服务器配置和管理脚本程序都保存在Cfengine Server上，而被管理的服务器运行着 Cfengine Client 程序，Cfengine Client通过SSL加密的连接定期的向服务器端发送请求以获取最新的配置文件和管理命令、脚本程序、补丁安装等任务。
有了Cfengine 这种集中式的服务器管理工具，我们就可以高效的实现大规模的服务器集群管理，被管理服务器和 Cfengine Server 可以分布在任何位置，只要网络可以连通就能实现快速自动化的管理。
代码发布系统
随着网站访问流量的不断增加，大多的网络服务都是以负载均衡集群的方式对外提供服务，随之集群规模的扩大，为了满足集群环境下程序代码的批量分发和更新，我们还需要一个程序代码发布系统。
这个发布系统可以帮我们实现下面的目标：
1) 生产环境的服务器以虚拟主机方式提供服务，不需要开发人员介入维护和直接操作，提供发布系统可以实现不需要登陆服务器就能把程序分发到目标服务器。
2) 我们要实现内部开发、内部测试、生产环境测试、生产环境发布的4个开发阶段的管理，发布系统可以介入各个阶段的代码发布。
3) 我们需要实现源代码管理和版本控制，SVN可以实现该需求。
这里面可以使用常用的工具Rsync，通过开发相应的脚本工具实现服务器集群间代码同步分发。
大家感兴趣的内容
12345678910
最近更新的内容大型网站服务器怎么个架构？用多少台服务器合适？最强大型电商网站服务器解决方案_锐讯网络吴伟在_新浪博客
大型网站服务器怎么个架构？用多少台服务器合适？最强大型电商网站服务器解决方案
大型网站服务器怎么个架构？用多少台服务器合适？最强大型电商网站服务器解决方案！认准锐讯网络吴伟在，企业QQ：，24小时热线：
任何一个大型网站都是经历用户积累然后成长，从一台服务器到多台服务器才能构架支撑网站现有数据、用户、页面请求等。大型网站(如淘宝、京东等)的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性，它总是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发生了很大的变化，就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统架构是随业务扩展而完善出来的，并不是一蹴而就;不同业务特征的系统，会有各自的侧重点，例如淘宝，要解决海量的商品信息的搜索、下单、支付，例如腾讯，要解决数亿的用户实时消息传输，百度它要处理海量的搜索请求，他们都有各自的业务特性，系统架构也有所不同。尽管如此我们也可以从这些不同的网站背景下，找出其中共用的技术，这些技术和手段可以广泛运行在大型网站系统的架构中，下面就通过介绍大型网站系统的演化过程，来认识这些技术和手段。
一、最开始的网站架构 最初的架构，应用程序、数据库、文件都部署在一台服务器上。
二、应用、数据、文件分离
随着业务的扩展，一台服务器已经不能满足性能需求，故将应用程序、数据库、文件各自部署在独立的服务器上，并且根据服务器的用途配置不同的硬件，达到最佳的性能效果。
三、利用缓存改善网站性能
&在硬件优化性能的同时，同时也通过软件进行性能优化，在大部分的网站系统中，都会利用缓存技术改善系统的性能，使用缓存主要源于热点数据的存在，大部分网站访问都遵循28原则(即80%的访问请求，最终落在20%的数据上)，所以我们可以对热点数据进行缓存，减少这些数据的访问路径，提高用户体验。
缓存实现常见的方式是本地缓存、分布式缓存。当然还有CDN、反向代理等，这个后面再讲。本地缓存，顾名思义是将数据缓存在应用服务器本地，可以存在内存中，也可以存在文件，OSCache就是常用的本地缓存组件。本地缓存的特点是速度快，但因为本地空间有限所以缓存数据量也有限。分布式缓存的特点是，可以缓存海量的数据，并且扩展非常容易，在门户类网站中常常被使用，速度按理没有本地缓存快，常用的分布式缓存是Memcached、Redis。
四、使用集群改善应用服务器性能
应用服务器作为网站的入口，会承担大量的请求，我们往往通过应用服务器集群来分担请求数。应用服务器前面部署负载均衡服务器调度用户请求，根据分发策略将请求分发到多个应用服务器节点。
常用的负载均衡技术硬件的有F5，价格比较贵，软件的有LVS、Nginx、HAProxy。LVS是四层负载均衡，根据目标地址和端口选择内部服务器，Nginx是七层负载均衡和
HAProxy支持四层、七层负载均衡，可以根据报文内容选择内部服务器，因此LVS分发路径优于Nginx和HAProxy，性能要高些，而Nginx和HAProxy则更具配置性，如可以用来做动静分离(根据请求报文特征，选择静态资源服务器还是应用服务器)。
五、数据库读写分离和分库分表
随着用户量的增加，数据库成为最大的瓶颈，改善数据库性能常用的手段是进行读写分离以及分表，读写分离顾名思义就是将数据库分为读库和写库，通过主备功能实现数据同步。分库分表则分为水平切分和垂直切分，水平切换则是对一个数据库特大的表进行拆分，例如用户表。垂直切分则是根据业务不同来切换，如用户业务、商品业务相关的表放在不同的数据库中。
六、使用CDN和反向代理提高网站性能?假如我们的服务器都部署在锐讯网络的佛山德胜高防机房，对于广东的用户来说访问是较快的，而对于北京的用户访问是较慢的，这是由于广东和北京分别属于电信和联通的不同发达地区，北京用户访问需要通过互联路由器经过较长的路径才能访问到广东的服务器，返回路径也一样，所以数据传输时间比较长。对于这种情况，常常使用CDN解决，CDN将数据内容缓存到运营商的机房，用户访问时先从最近的运营商获取数据，这样大大减少了网络访问的路径。比较专业的CDN运营商有蓝汛、网宿等等
而反向代理，则是部署在网站的机房，当用户请求达到时首先访问反向代理服务器，反向代理服务器将缓存的数据返回给用户，如果没有没有缓存数据才会继续走应用服务器获取，也减少了获取数据的成本。反向代理有Squid，Nginx。?
七、使用分布式文件系统。用户一天天增加，业务量越来越大，产生的文件越来越多，单台的文件服务器已经不能满足需求。需要分布式的文件系统支撑。常用的分布式文件系统有NFS。
八、使用NoSql和搜索引擎。对于海量数据的查询，我们使用nosql数据库加上搜索引擎可以达到更好的性能。并不是所有的数据都要放在关系型数据中。常用的NOSQL有mongodb和redis，搜索引擎有lucene。
九、将应用服务器进行业务拆分。随着业务进一步扩展，应用程序变得非常臃肿，这时我们需要将应用程序进行业务拆分，如百度分为新闻、网页、图片等业务。每个业务应用负责相对独立的业务运作。业务之间通过消息进行通信或者同享数据库来实现。
十、搭建分布式服务。这时我们发现各个业务应用都会使用到一些基本的业务服务，例如用户服务、订单服务、支付服务、安全服务，这些服务是支撑各业务应用的基本要素。我们将这些服务抽取出来利用分部式服务框架搭建分布式服务。淘宝的Dubbo是一个不错的选择。
大型网站的架构是根据业务需求不断完善的，根据不同的业务特征会做特定的设计和考虑，本文只是讲述一个常规大型网站会涉及的一些常规技术和手段。
有需要的租用或者托管高防服务器的亲们，认准锐讯网络吴伟在，企业QQ：，24小时热线：
广东锐讯网络技术有限公司，是全方位整合网络资源的专业IDC基础服务商，是拥有ISP资质的电信运行商！自主运营5星级机房，省电信骨干网络，近期机房整体升级后，出口带宽450，机房总防御400G，单机防御可以做到240G单机真实高防！专职工程师7*24小时维护，带宽资源丰富适合游戏，音乐，流媒体，电影，WEB，健康视频聊天，P2P，CDN加速，等需要大带宽的服务器客户。
主要经营服务器租用与托管、带宽等业务！
机房优势与承诺：
?1、国内顶级高标准机房设备环境！绝对机房一手资源！渠道价格！
2、450G总出口带宽！带宽资源充足稳定！百兆/千兆/万兆G口独享！开80！稳定IP！
3、400G机房总防，可达240G单机真实高防！硬抗DDOS！
4、专业的金盾工程师团队，给客户做一对一防CC策略，无视CC！SYN攻击！
5、金盾智能防火墙，打死1分钟内自动恢复，秒解！
6、绝对真实的带宽和防御，经得起考验，可免费测试！
7、不限制内容！不限域名数量！过白简单！
8、7*24小时售后服务！80多人的售后技术团队，24小时处理客户问题！
9、网络连通率和电源供电率达到99.99％·提供技术支持和保障
欢迎长期合作!欢迎咨询！诚招代理 ！
佛山高防双线IP段：
183.60.216.X 119.63.33.X
119.147.139.X 119.252.245.X&
119.147.141.X 119.63.38.X
183.60.107.X 119.63.39.X
183.61.146.X 119.63.44.X
183.60.203.X 119.63.34.X
183.60.205.X 119.63.36.X
183.60.233.X 119.63.37.X
125.88.182.X 119.63.46.X
116.31.99.X 119.63.47.X
116.31.100.X 119.63.35.X
佛山高防单线IP段：
119.145.148.X
183.60.201.X
183.60.202.X
183.60.197.X
183.57.151.X
119.147.137.X
125.88.177.X
183.3.202.X
183.60.106.X
183.60.110.X
183.60.111.X
183.60.200.X
183.60.211.X
219.135.56.X
14.29.32.X
14.29.47.X
14.29.49.X
14.29.50.X
116.31.119.X
116.31.123.X
125.88.146.X
125.88.181.X
125.88.183.X
125.88.186.X
真诚服务！因为专注，所以专业，高防，稳定，高速，安全！
相信锐讯，相信锐讯吴伟在，给您提供最优质的服务！&
锐讯网络吴伟在
博客等级：
博客积分：0
博客访问：129,217
关注人气：0
荣誉徽章：【图文】大型网站技术架构1_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
大型网站技术架构1
上传于|0|0|暂无简介
大小：1.77MB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢青青子衿, 悠悠我心, 但为君故, 沉吟至今
LAMP网站架构方案分析
　　LAMP（Linux-Apache-MySQL-PHP）网站架构是目前国际流行的Web框架，该框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，Perl、PHP或者Python编程语言，所有组成产品均是开源软件，是国际上成熟的架构框架，很多流行的商业应用都是采取这个架构，和Java/J2EE架构相比，LAMP具有Web资源丰富、轻量、快速开发等特点，微软的.NET架构相比，LAMP具有通用、跨平台、高性能、低价格的优势，因此LAMP无论是性能、质量还是价格都是企业搭建网站的首选平台。　　对于大流量、大并发量的网站系统架构来说，除了硬件上使用高性能的服务器、负载均衡、CDN等之外，在软件架构上需要重点关注下面几个环节：使用高性能的操作系统（OS）、高性能的网页服务器（Web Server）、高性能的数据库（Databse）、高效率的编程语言等。下面我将从这几点对其一一讨论。　　操作系统　　Linux操作系统有很多个不同的发行版，如Red Hat Enterprise Linux、SUSE Linux Enterprice、Debian、Ubuntu、CentOS等，每一个发行版都有自己的特色，比如RHEL的稳定，Ubuntu的易用，基于稳定性和性能的考虑，操作系统选择CentOS（Community ENTerprise Operating System）是一个理想的方案。　　CentOS（Community ENTerprise Operating System）是Linux发行版之一，是RHEL/Red Hat Enterprise Linux的精简免费版，和RHEL为同样的源代码，不过，RHEL和SUSE LE等企业版，提供的升级服务均是收费升级，无法免费在线升级，因此要求免费的高度稳定性的服务器可以用CentOS替代Red Hat Enterprise Linux使用。LAMP网站架构图　　Web服务器、缓存和PHP加速　　Apache是LAMP架构最核心的Web Server，开源、稳定、模块丰富是Apache的优势。但Apache的缺点是有些臃肿，内存和CPU开销大，性能上有损耗，不如一些轻量级的Web服务器（例如nginx）高效，轻量级的Web服务器对于静态文件的响应能力来说远高于Apache服务器。　　Apache做为Web Server是负载PHP的最佳选择，如果流量很大的话，可以采用nginx来负载非PHP的Web请求。nginx是一个高性能的HTTP和反向代理服务器，Nginx以它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。Nginx不支持PHP和CGI等动态语言，但支持负载均衡和容错，可和Apache配合使用，是轻量级的HTTP服务器的首选。　　Web服务器的缓存也有多种方案，Apache提供了自己的缓存模块，也可以使用外加的Squid模块进行缓存，这两种方式均可以有效的提高Apache的访问响应能力。Squid Cache是一个Web缓存服务器，支持高效的缓存，可以作为网页服务器的前置cache服务器缓存相关请求来提高Web服务器的速度，把Squid放在Apache的前端来缓存Web服务器生成的动态内容，而Web应用程序只需要适当地设置页面实效时间即可。如访问量巨大则可考虑使用memcache作为分布式缓存。　　PHP的加速使用eAccelerator加速器，eAccelerator是一个自由开放源码PHP加速器，优化和动态内容缓存，提高了性能PHP脚本的缓存性能，使得PHP脚本在编译的状态下，对服务器的开销几乎完全消除。它还有对脚本起优化作用，以加快其执行效率。使PHP程序代码执效率能提高1-10倍。　　具体的解决方案有以下几种：　　1、squid + Apache + PHP + eAccelerator　　使用Apache负载PHP，使用squid进行缓存，html或图片的请求可以直接由squid返回给用户。很多大型网站都采用这种架构。　　2、nginx/Apache + PHP（fastcgi） + eAccelerator　　使用nginx或Apache负载PHP，PHP使用fastcgi方式运行，效率较高。　　3、nginx + Apache + PHP + eAccelerator　　此方案综合了nginx和Apache的优点，使用Apache负载PHP，nginx负责解析其他Web请求，使用nginx的rewrite模块，Apache端口不对外开放。　　数据库　　开源的数据库中，MySQL在性能、稳定性和功能上是首选，可以达到百万级别的数据存储，网站初期可以将MySQL和Web服务器放在一起，但是当访问量达到一定规模后，应该将MySQL数据库从Web Server上独立出来，在单独的服务器上运行，同时保持Web Server和MySQL服务器的稳定连接。　　当数据库访问量达到更大的级别，可以考虑使用MySQL Cluster等数据库集群或者库表散列等解决方案。　　总的来说，LAMP架构的网站性能会远远优于Windows IIS + ASP + Access（例如月光博客）这样的网站，可以负载的访问量也非常大，国内的大量个人网站如果想要支撑大访问量，采用LAMP架构是一个不错的方案。　　综上所述，基于LAMP架构设计具有成本低廉、部署灵活、快速开发、安全稳定等特点，是Web网络应用和环境的优秀组合。
　　除非注明，文章均为原创，转载请以链接形式标明本文地址
　　本文地址：
坐在前列学习一下离鸣 于
20:56:07 回复在哪都看见你
不错，准备实战去
这篇文章想说明什么呢？仁者见仁我从前做PHP，现在转向前端，配合asp.net 做开发，但是我觉得php 是将来WEB语言发展的趋势，可是做C#的跟我说，你学ASP.NET吧，这是将来web编程发展的趋势，就是这样的情况，人们总是喜欢坚守自己的政营。后来我懂得了，做什么时候就尽全力把该做的做好，该学的学好。
用Linux感觉就是速度快，我现在正在使用Ubuntu
用Linux总是觉得不顺手，请问各位高手，是不是应该找个培训班啊？
本人是从新浪围脖来的···
这是几时写的文章呀?nginex哪还不支持win的
话说，Nginx 4月份就已经有 windows 的官方版本了
原创好文章……
谢谢 Thanks very useful for me
这啥时候的技术了啊。。。唉，没东西更新了是吗？
nginx不支持php?
吼吼 沙发！
比较保守的方法就是学一门自己喜欢的语言然后学精它这样不错~
test中红红红红红ll 于
11:19:48 回复哈哈哈哈哈哈哈哈红红红红红红红红红红
终于有原创的了，
原来如此啊．．．
这张配图有问题吧？
还是喜欢apache+php，这个组合对于一般服务器足够了
原创好文。。。
正在努力学习LAMP~~~
我一直使用的是lamp，谢谢月光精彩分享。。。LAMP招聘 于
14:31:47 回复我公司在招聘LAMP开发人员，有意向可以联系我MSN:
看不懂这个了~~~
不错，总结的很好，近来由于项目的需求得看看php技术。谢谢。
讲的不错，给大家分享一个LAMP搭建全过程的文章讲的不zhuliangliang。org
这个wordpress是你自己的服务器么？
没有弄明白论点是什么
.xi2008wang
nginx早就支持windows了
企业网站生成静态是不错的选择，这时候用ASP+access也绰绰有余
都很厉害的说,收藏下
.SorryDreams
一如既往的普及文章。最近nginx流行。很适合追求效率的vps
适合我这样的新手的好文章
学习LAMP中。。。。。。
不错，不过貌似就是介绍了下没有具体搭建的教程
.落后的构架
这是一个落后的构架，因为他还在企图通过squid达到用硬盘做缓存的目的
不错，收下了
百度百科----Nginx 既可以在内部直接支持 Rails 和 PHP 程序对外进行服务，也可以支持作为 HTTP代理服务器对外进行服务。Nginx采用C进行编写，不论是系统资源开销还是CPU使用效率都比 Perlbal 要好很多
目前nginx + PHP（fastcgi） + eAccelerator + Mysql 中
呵呵，比较喜欢lamp架构，全部开源，自己可以随意修改，搭配。
.TylerNing
好文很久前还看到过一个类似官网的，讲的很多
Lamp架构不错，看来月光的博客有意向要转换系统了
赞助商广告
本站采用创作共用版权协议, 要求署名、非商业用途和相同方式共享. 转载本站内容必须也遵循“署名-非商业用途-相同方式共享”的创作共用协议.