处理上百万条的数据库如何提高处理查询效率_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
处理上百万条的数据库如何提高处理查询效率
上传于||文档简介
&&处​理​上​百​万​条​的​数​据​库​如​何​提​高​处​理​查​询​效​率
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
你可能喜欢如何解决线上百万行数据库需要修改表结构、或者防止数据误删除的情况？
当然用mongodb 可以避免修改表结构，误删除的数据可以从备份中恢复 或者 只做标志删除？
按投票排序
1.先备份，然后立刻使用新结构进行接下来的系统运营2.本地对历史数据做迁移并做人工对比。然后导入新的结构中。误删除是人为的原因。关键的是数据生成的逻辑和关联关系变动了，从而使迁移发生错误，所以需要人工不断的对比。少量的丢失，可以在后期的运营中修正。
可以做一个不服务线上的"从库"，从主库同步数据，那么此时可以对该从库随意加字段，更新兼容的字段类型，加减索引，完成后切换该从库为主库，服务线上
已有帐号？
无法登录？
社交帐号登录1.儿童节了，祝你像儿童一样活泼可爱，像儿童一样诚实善良，像儿童一样纯真好奇，像儿童一样天天向上。但是不能淘气，更不准夜
1、插入图片1）插入剪贴画定位光标；选择“插入→图片→剪贴画”，打开“剪贴画”任务窗口；在任务窗口中对各项设置进行选择；
六一是属于孩子们的节日，但是近几年成人也开始流行过儿童节。在六一这一天，很多成人可能会跟朋友吃顿饭、也可能看场电影，再或
说起创业，人们也许能够想到那种无止境的加班，一大堆各种各样的问题需要进行决策，还有面对瞬息万变的市场有一丝丝无力感。那么
&1．从一张白纸的中心开始绘制，周围留出空白。为什么？因为从中心开始，可以使你的思维向各个方向自由发散能更自由
在当今市场经济条件下，企业家都懂一个道理“得人者得天下，失人者失天下”。激烈残酷的市场竞争中，企业之间的竞争归根结底就是
很多人打算做HR，问要看什么书，以下是资深人士的回答：第一阶段：《人力资源概论》、《薪酬管理》、《绩效管理》、《劳动法》
报表，一个让我们会计人又爱又恨的“高冷”技能，玩的好的都是艺术家，玩的差的...咳咳...艾米说不下去了，接下来为大家搜
浏览(1220)
今天的主题是「标准的软件开发是怎样的」？其实我用文字阐述的再详细你们也很难理解，好在我在网上找到一张图，详细的阐述了标准
计算机软件产品开发文件编制指南
GB 8567-88& Guidelines for compu
浏览(1039)
为你提供了知识共享的一切
上班工作或学习时间，上优聚就是在工作
查找解决工作问题的知识、工具、资料
找能帮助解决问题的同事、同行沟通或提问
记录工作中得出的经验和参考资料，以后备用
把工作中各种收获记录下来，知识靠点滴积累
人人都可以参与，把有用的知识做的更精更好
所有职场智客共享自己的知识，互相帮助提升
与同公司同事沟通或找到同行一起提升解决问题
技术知识相关推荐
产品知识相关推荐
运营知识相关推荐
市场知识相关推荐
人事知识相关推荐
财务知识相关推荐
你的工作现在处于哪个阶段？
友情链接：
扫码关注微信公众号php 处理上百万条的数据库如何提高处理查询速度
字体：[ ] 类型：转载 时间：
php 处理上百万条的数据库如何提高处理查询速度
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id from t where num=0 3.应尽量避免在 where 子句中使用!=或&&操作符，否则将引擎放弃使用索引而进行全表扫描。 4.应尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num=10 or num=20 可以这样查询： select id from t where num=10 union all select id from t where num=20 5.in 和 not in 也要慎用，否则会导致全表扫描，如： select id from t where num in(1,2,3) 对于连续的数值，能用 between 就不要用 in 了： select id from t where num between 1 and 3 6.下面的查询也将导致全表扫描： select id from t where name like '%abc%' 若要提高效率，可以考虑全文检索。 7.如果在 where 子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描： select id from t where num=@num 可以改为强制查询使用索引： select id from t with(index(索引名)) where num=@num 8.应尽量避免在 where 子句中对字段进行表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如： select id from t where num/2=100 应改为: select id from t where num=100*2 9.应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如： select id from t where substring(name,1,3)='abc'--name以abc开头的id select id from t where datediff(day,createdate,'')=0--‘'生成的id 应改为: select id from t where name like 'abc%' select id from t where createdate&='' and createdate&'' 10.不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。 11.在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。 12.不要写一些没有意义的查询，如需要生成一个空表结构： select col1,col2 into #t from t where 1=0 这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样： create table #t(...) 13.很多时候用 exists 代替 in 是一个好的选择： select num from a where num in(select num from b) 用下面的语句替换： select num from a where exists(select 1 from b where num=a.num) 14.并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL查询可能不会去利用索引，如一表中有字段sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。 15.索引并不是越多越好，索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为 insert 或 update 时有可能会重建索引，所以怎样建索引需要慎重考虑，视具体情况而定。一个表的索引数最好不要超过6个，若太多则应考虑一些不常使用到的列上建的索引是否有必要。 16.应尽可能的避免更新 clustered 索引数据列，因为 clustered 索引数据列的顺序就是表记录的物理存储顺序，一旦该列值改变将导致整个表记录的顺序的调整，会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列，那么需要考虑是否应将该索引建为 clustered 索引。 17.尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。 18.尽可能的使用 varchar/nvarchar 代替 char/nchar ，因为首先变长字段存储空间小，可以节省存储空间，其次对于查询来说，在一个相对较小的字段内搜索效率显然要高些。 19.任何地方都不要使用 select * from t ，用具体的字段列表代替“*”，不要返回用不到的任何字段。 20.尽量使用表变量来代替临时表。如果表变量包含大量数据，请注意索引非常有限（只有主键索引）。 21.避免频繁创建和删除临时表，以减少系统表资源的消耗。 22.临时表并不是不可使用，适当地使用它们可以使某些例程更有效，例如，当需要重复引用大型表或常用表中的某个数据集时。但是，对于一次性事件，最好使用导出表。 23.在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。 24.如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先 truncate table ，然后 drop table ，这样可以避免系统表的较长时间锁定。 25.尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该考虑改写。 26.使用基于游标的方法或临时表方法之前，应先寻找基于集的解决方案来解决问题，基于集的方法通常更有效。 27.与临时表一样，游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效果更好。 28.在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ，在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。 29.尽量避免大事务操作，提高系统并发能力。 30.尽量避免向客户端返回大数据量，若数据量过大，应该考虑相应需求是否合理。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具利用net导入大量的txt数据到，如何导入？由于txt数据没有换行，导致导入到datatable时列数不够请问如何自定义换行符导入数据？？？？
--------------------------------------
那你怎么来区分你的文本有多少条数据的呢