cassandra的max heap table sizesize 可以超过8g吗

后使用快捷导航没有帐号?
查看: 1982|回复: 2
Cassandra 更改cluster名称后错误解决
金牌会员, 积分 1377, 距离下一级还需 1623 积分
论坛徽章:3
问题描述:
& &当你在Linux系统上安装好了Cassandra后,启动了Cassandra,数据库系统会根据./conf/cassandra.yaml 中默认的配置初始化。当你更改了配置文件(如,我将cluster name 更改成了Custer01),重新启动时,则会报如下错误:
ERROR 18:16:30,404 Fatal exception during initialization
org.apache.cassandra.exceptions.ConfigurationException: Saved cluster name Test Cluster != configured name Cluster01
& && &&&at org.apache.cassandra.db.SystemKeyspace.checkHealth(SystemKeyspace.java:475)
& && &&&at org.apache.cassandra.service.CassandraDaemon.setup(CassandraDaemon.java:227)
& && &&&at org.apache.cassandra.service.CassandraDaemon.activate(CassandraDaemon.java:443)
& && &&&at org.apache.cassandra.service.CassandraDaemon.main(CassandraDaemon.java:486)
复制代码问题原因:
& &在第一次启动Cassandra时,数据库会进行初始化操作,会将一些相关的配置序列化,其存贮的目录为 ./data和./comitlog 目录。
解决方法:
将数据目录和提交日志目录删除:
[root@h2 cassandra]# rm -rf data/
[root@h2 cassandra]# rm -rf commitlog/
[root@h2 cassandra]#
复制代码
重新启动成功:
[root@h3 cassandra]# ./bin/cassandra -f
xss =&&-ea -javaagent:./bin/../lib/jamm-0.2.5.jar -XX:+UseThreadPriorities -XX:ThreadPriorityPolicy=42 -Xms251M -Xmx251M -Xmn62M -XX:+HeapDumpOnOutOfMemoryError -Xss180k
INFO 18:24:22,901 Logging initialized
INFO 18:24:22,921 32bit JVM detected.&&It is recommended to run Cassandra on a 64bit JVM for better performance.
INFO 18:24:22,924 JVM vendor/version: Java HotSpot(TM) Client VM/1.7.0_17
INFO 18:24:22,925 Heap size: 7753088
INFO 18:24:22,925 Classpath: ./bin/../conf:./bin/../build/classes/main:./bin/../build/classes/thrift:./bin/../lib/antlr-3.2.jar:./bin/../lib/apache-cassandra-2.0.0.jar:./bin/../lib/apache-cassandra-clientutil-2.0.0.jar:./bin/../lib/apache-cassandra-thrift-2.0.0.jar:./bin/../lib/commons-cli-1.1.jar:./bin/../lib/commons-codec-1.2.jar:./bin/../lib/commons-lang-2.6.jar:./bin/../lib/compress-lzf-0.8.4.jar:./bin/../lib/concurrentlinkedhashmap-lru-1.3.jar:./bin/../lib/disruptor-3.0.1.jar:./bin/../lib/guava-13.0.1.jar:./bin/../lib/high-scale-lib-1.1.2.jar:./bin/../lib/jackson-core-asl-1.9.2.jar:./bin/../lib/jackson-mapper-asl-1.9.2.jar:./bin/../lib/jamm-0.2.5.jar:./bin/../lib/jbcrypt-0.3m.jar:./bin/../lib/jline-1.0.jar:./bin/../lib/json-simple-1.1.jar:./bin/../lib/libthrift-0.9.0.jar:./bin/../lib/log4j-1.2.16.jar:./bin/../lib/lz4-1.1.0.jar:./bin/../lib/metrics-core-2.0.3.jar:./bin/../lib/netty-3.5.9.Final.jar:./bin/../lib/servlet-api-2.5-.jar:./bin/../lib/slf4j-api-1.7.2.jar:./bin/../lib/slf4j-log4j12-1.7.2.jar:./bin/../lib/snakeyaml-1.11.jar:./bin/../lib/snappy-java-1.0.5.jar:./bin/../lib/snaptree-0.1.jar:./bin/../lib/thrift-server-0.3.0.jar:./bin/../lib/jamm-0.2.5.jar
INFO 18:24:22,929 JNA not found. Native methods will be disabled.
INFO 18:24:22,949 Loading settings from file:/var/lib/cassandra/conf/cassandra.yaml
INFO 18:24:23,328 Data files directories: [/var/lib/cassandra/data]
INFO 18:24:23,329 Commit log directory: /var/lib/cassandra/commitlog
INFO 18:24:23,330 DiskAccessMode 'auto' determined to be standard, indexAccessMode is standard
INFO 18:24:23,330 disk_failure_policy is stop
INFO 18:24:23,339 Global memtable threshold is enabled at 81MB
INFO 18:24:23,535 Not using multi-threaded compaction
INFO 18:24:23,845 Initializing key cache with capacity of 12 MBs.
INFO 18:24:23,858 Scheduling key cache save to each 14400 seconds (going to save all keys).
INFO 18:24:23,859 Initializing row cache with capacity of 0 MBs
INFO 18:24:23,873 Scheduling row cache save to each 0 seconds (going to save all keys).
INFO 18:24:23,987 Initializing system.schema_triggers
INFO 18:24:24,018 Initializing system.batchlog
INFO 18:24:24,023 Initializing system.peer_events
INFO 18:24:24,027 pactions_in_progress
INFO 18:24:24,030 Initializing system.hints
INFO 18:24:24,033 Initializing system.schema_keyspaces
INFO 18:24:24,037 Initializing system.range_xfers
INFO 18:24:24,040 Initializing system.schema_columnfamilies
INFO 18:24:24,043 Initializing system.NodeIdInfo
INFO 18:24:24,046 Initializing system.paxos
INFO 18:24:24,088 Initializing system.schema_columns
INFO 18:24:24,094 Initializing system.IndexInfo
INFO 18:24:24,097 Initializing system.peers
INFO 18:24:24,100 Initializing system.local
INFO 18:24:24,515 Couldn't detect any schema definitions in local storage.
INFO 18:24:24,517 To create keyspaces and column families, see 'help create' in cqlsh.
INFO 18:24:24,598 Enqueuing flush of Memtable-local@/146 serialized/live bytes, 6 ops)
INFO 18:24:24,602 Writing Memtable-local@/146 serialized/live bytes, 6 ops)
INFO 18:24:24,854 Completed flushing /var/lib/cassandra/data/system/local/system-local-ja-1-Data.db (175 bytes) for commitlog position ReplayPosition(segmentId=3, position=414)
INFO 18:24:24,878 Initializing system_traces.sessions
INFO 18:24:24,880 Initializing system_traces.events
INFO 18:24:24,891 No c skipping replay
INFO 18:24:25,373 Cassandra version: 2.0.0
INFO 18:24:25,373 Thrift API version: 19.37.0
INFO 18:24:25,377 CQL supported versions: 2.0.0,3.1.0 (default: 3.1.0)
INFO 18:24:25,456 Loading persisted ring state
INFO 18:24:25,458 Starting up server gossip
WARN 18:24:25,482 No host ID found, created e36e-4b81-a1fa-1dd (Note: This should happen exactly once per node).
INFO 18:24:25,489 Enqueuing flush of Memtable-local@/320 serialized/live bytes, 12 ops)
INFO 18:24:25,491 Writing Memtable-local@/320 serialized/live bytes, 12 ops)
INFO 18:24:25,507 Completed flushing /var/lib/cassandra/data/system/local/system-local-ja-2-Data.db (300 bytes) for commitlog position ReplayPosition(segmentId=3, position=80531)
INFO 18:24:25,591 Starting Messaging Service on port 7000
INFO 18:24:25,709 Generated random tokens. tokens are [5957575, -33, -46, 0563450, -05987, -144869, -07120, -2030505, -1341361, -87, 4040627, -3742986, -1125788, -9669032, -6381924, -78010, -48, -9406863, -939474, -1118982, -5934952, -9265877, -21805, -19, 15486, -2422425, -1562002, -2171723, -7473052, -9141335, -71170, -7413, -0623870, -9173649, -33118, -8207487, -1643247, -13, -98378, -6328007, -15, -67262, -9, -82, 9193234, -49687, -5564441, -78307, -04016, -8099740, -9149925, -2, -50, 7244593, -8891618, -, -45, -71, -3979488, -5741669, -14180, -2040328, -67676, -3023063, -4975370, -8472464, -5003053, -7295035, -82, 4629, -98, 6565065, -9874220, -44, -0936403, -0, 0645578, -13886, -08, -0048770, -5956557, -6081821, -60, -5205888, -9981641, -61553, -1112168, -0, 4900910, -62165, -47276, -12, -87, 7809252, -5021114, -76, 3847124, -1, 50127, -8226409, -37, 9677304, -1285394, -8, 6723154, -4053163, -61, 46941, -40, 792874, -4, -08090, -29, 9, 93394, -192972, -5144584, -08, 0890, -18, -10, -1916002, -33715, -7392575, -6142916, -22176, -4790859, -48, -77424, -05128, -23881, -00910, -75, -0633948, -1701094, -8124127, -52892, -5809098, -1269723, -27871, -8062498, -8338969, -45, 30, 2244031, -3791259, -5318773]
INFO 18:24:25,713 Enqueuing flush of Memtable-local@/84 serialized/live bytes, 4 ops)
INFO 18:24:25,715 Writing Memtable-local@/84 serialized/live bytes, 4 ops)
INFO 18:24:25,728 Completed flushing /var/lib/cassandra/data/system/local/system-local-ja-3-Data.db (115 bytes) for commitlog position ReplayPosition(segmentId=3, position=80790)
INFO 18:24:25,751 Enqueuing flush of Memtable-local@93/10093 serialized/live bytes, 257 ops)
INFO 18:24:25,752 Writing Memtable-local@93/10093 serialized/live bytes, 257 ops)
INFO 18:24:25,802 Completed flushing /var/lib/cassandra/data/system/local/system-local-ja-4-Data.db (5298 bytes) for commitlog position ReplayPosition(segmentId=3, position=92784)
INFO 18:24:25,815 Compacting [SSTableReader(path='/var/lib/cassandra/data/system/local/system-local-ja-4-Data.db'), SSTableReader(path='/var/lib/cassandra/data/system/local/system-local-ja-2-Data.db'), SSTableReader(path='/var/lib/cassandra/data/system/local/system-local-ja-3-Data.db'), SSTableReader(path='/var/lib/cassandra/data/system/local/system-local-ja-1-Data.db')]
INFO 18:24:25,856 Node /192.168.1.180 state jump to normal
INFO 18:24:25,861 Startup completed! Now serving reads.
INFO 18:24:26,390 GC for ParNew: 543 ms for 2 collections,
INFO 18:24:26,482 Compacted 4 sstables to [/var/lib/cassandra/data/system/local/system-local-ja-5,].&&5,888 bytes to 5,720 (~97% of original) in 636ms = 0.008577MB/s.&&4 total rows, 1 unique.&&Row merge counts were {1:0, 2:0, 3:0, 4:1, }
INFO 18:24:26,688 Starting listening for CQL clients on /192.168.1.180:9042...
INFO 18:24:26,720 Binding thrift service to /192.168.1.180:9160
INFO 18:24:26,830 Using TFramedTransport with a max frame size of
INFO 18:24:26,886 Using synchronous/threadpool thrift server on 192.168.1.180 : 9160
INFO 18:24:26,887 Listening for thrift clients...
复制代码
论坛徽章:13
我也也后同样的问题比特客户端
您的位置:
详解大数据
详解大数据
详解大数据
详解大数据
Cassandra三大更新杀回数据库排行Top10
关键字:Cassandra 前沿
  Cassandra由开发,以Amazon专有的完全分布式Dynamo为基础,结合了 BigTable的列类型,很多方面称之为Dynamo 2.0,而后又成为Apache顶级项目。曾经风靡一时,但是不久便沉寂下去。在9月份最新的数据库排行中,Cassandra重新杀回Top 10,这与其2.0版本的发布及三大级更新是分不开的。
  在被收购后,业内对这个开源数据库的议论就从未停止,对于PostgreSQL将取而代之成为最人气开源数据库的声音也从未停歇。然而从DB-Engines排行榜来看,PostgreSQL与MySQL之间的差距远不只是“几层楼”那么高(PostgreSQL得分不到 MySQL的零头)。着眼整个排行榜上的193个数据库,我们会发现NoSQL数据库已占大半江山,榜上有名的传统管理系统仅余75个。
  上图为9月份最新的排行,在Oracle稳坐头把交椅的同时,MySQL与的2、3之争也从未停止。然而撇开关系型数据库,我们会发现NoSQL的人气已获得长足增长――在2013年1月,MongoDB的得分还不 到100,Cassandra的得分也只有30多,同时Cassandra更是阔别了几个月后再临前10!
  Cassandra最初由Facebook开发,以Amazon专有的完全分布式数据库Dynamo为基础,结合了Google BigTable的列存储类型,很多方面都可以称之为Dynamo 2.0,而后又成为Apache顶级项目。Cassandra开源不久后,就得到了众多公司的亲睐,其中
  甚至包括了这样的重量级用户,然而在不久后却消失在Twtter,甚至是原作者Facebook的主流产品中。
  即使一度被拉下神坛,Cassandra仍然有众多的支持者,其中更包括了著名数据开源软件公司DataStax,而Cassandra能一直稳压HBase(高贵的血统,与天然集成)长期霸占列存储第一更是其优越性的强有力证明。
  Cassandra能重回Top 10与其2.0版本的发布完全是分不开的,DataStax兼联合创始人Jonathan Ellis对其做出了总结:
  三大重量级更新
  轻量级事务:轻量事务可以确保类似关系型数据库提供的序列化隔离级别的操作线性一致性,防止并行请求之间发生冲突。
  CQL提升:CQL(Cassandra Query Language)增强游标等功能,加强了索引支持。
  支持触发器:触发器可以将性能关键代码推动到接近它所处理数据的地方,简化与Storm这样事件驱动型框架的集成。
  其它相关更新
  性能优化
  在集群列上的追踪统计允许清除读路径中不必要的SStable
  Single-pass compaction大致可以让大型分片压缩速度翻倍,同时还会减少JVM heap与GC上的影响
  在压缩性能下降时,分级压缩会执行L0上的size-tiered压缩。可以抑制性能上升之前的读性能恶化,同时新版本还显著的提升了LCS SStable体积
  对于仍然使用Thrift的应用程序,基于LMAX Disrupto的半异步及半同步将大幅减少Thtift的开销
  通过提高堆外内存性能实现更快的partition index查询及缓存读取
  通过从CRC32切换到Adler checksums实现更快速的压缩数据读取
  堆外分派的JEMalloc支持
  移除partition级别的布隆过滤器提升性能――消除布隆过滤器在每个操作上的反序列化和减少GC翻滚。
  大扫除
  取消对pre-1.2.5 SStable及pre-1.2.9模式的兼容,已更新到最新版本的1.2.9
  取消SuperColumns,通过复合组成替代。SuperColumn API被保留,经转换后被透明的反向兼容
  潜在风险countPendingHints JMX调用被Hints Created标准取代,既高性能而且能被定期的监控,同时还消除了OOM节点的可能
  堆内分片缓存被移除,只余下堆外选项
  默认Vnode,为非vnode集群提供的旧token范围代码消失。当不使用vnode节点时,手动的指定一个token或者是随机选取。
  移除备用内存负载逻辑。这一点是让运营人员有适当的动手空间,来应对不适当架构导致的堆负载,但是它永远都不可能如我们所想的那么可靠。而当下这个重要的存储引擎元数据被移到堆外,内存不足可能会提前爆发。
  操作关注
  需求Java7
  分级压缩的分级信息被保存到sstable的元数据中――每个SStable都清楚信息的所在,因此不再需要单独的列表。这将让分级压缩更稳定,并且更简单。
  通过可选的row preheating来避免核心页面缓存丢失
  为了更稳定及透明,流被重写
  流支持旧版本的SStable意味着在修复前不需要手动跨集群运行upgradesstables,从而你可以批量的加载快照。
[ 责任编辑:杨瑷嘉 ]
去年,手机江湖里的竞争格局还是…
甲骨文的云战略已经完成第一阶段…
软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。
微信扫一扫
关注Chinabyte2676人阅读
nosql(11)
1.配置脚本文件cassandra-env.sh
MAX_HEAP_SIZE& #java 堆总大小,cassandra是运行在java环境下的,java heap size&是cassandra
运行起来后内存的总大小
HEAP_NEWSIZE #heap size 初始化值
java gc 配置: JVM_OPTS=&$JVM_OPTS -XX:CMSInitiatingOccupancyFraction=70&& #当使用内存达到heap size的 70%时就执行java gc操作(垃圾回收)
2.cassandra.yaml 配置文件
memtable_total_space_in_mb& #cassandra运行导入时会先将数据放在内存中一个叫memtable的结构中,当数据量达到memtable_total_space_in_mb*flush_largest_memtables_at& 大小时,cassandra会将内存中的数据flush到磁盘中。
flush_largest_memtables_at& #定义flush的阀值(如0.75),即当内存中的数据量达到memtable_total_space_in_mb的75%时,将内存中的数据flush到磁盘。
commitlog_total_space_in_mb #cassandra在运行导入数据的同时会记录相关日志,如果flush_largest_memtables_at 机制没有生效,则会执行commitlog机制:当日志大于commitlog_total_space_in_mb 时也会执行flush操作。
key cached& #cassandra运行查询时,会将本次查询的key保存在一块内存中,以便下次查询同一key时,可以直接在内存中取到key,这样可以加快查询速度。Defines how many key locations will be kept in memory per SSTable
参考知识库
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
访问:340193次
积分:3136
积分:3136
排名:第8042名
原创:52篇
转载:19篇
评论:44条
(1)(1)(1)(2)(1)(1)(2)(1)(6)(3)(6)(4)(8)(2)(2)(1)(11)(2)(16)打赏支付方式:
您看完此文章的心情是
已有人发表评论
当前热门文章
阅读更多:
阅读更多:
阅读更多:
看过本文的人还看过
一个文化艺术垂直电子商务网站。
一个文化艺术垂直电子商务网站。
一、系统环境:rhel6.5selinuxandiptablesdisabled物理主机:172.25.44.250&..
近期zabbix出现一个漏洞。zabbix的jsrpc的profileIdx2参数存在insert方式的SQ
近期zabbix出现一个漏洞。zabbix的jsrpc的profileIdx2参数存在insert方式的SQ
CopyRight (C)
网站名称 版权所有. All Rights Reserved.备案号:

我要回帖

更多关于 android heap size 的文章

 

随机推荐