流量不小心充了500还能退吗1771?

通过将阿里云日志服务与ELK Stack进行全面对比,帮助您更好的了解阿里云日志服务的主要功能和优势。

提到日志实时分析,很多人都会想到基于ELK Stack(Elastic/Logstash/Kibana)来搭建。ELK方案开源,在社区中有大量的内容和使用案例。

阿里云是阿里巴巴集团对日志场景的解决方案产品,前身是2012年初阿里云在研发飞天操作系统过程中用来监控和问题诊断的产物,但随着用户增长与产品发展,慢慢开始向面向Ops(DevOps,Market Ops,SecOps)日志分析领域发展,期间经历双十一、蚂蚁双十二、新春红包、国际业务等场景挑战,成为同时服务全球的产品。

Apache Lucene是Apache软件基金会一个开放源代码的全文检索引擎工具包,一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎、部分文本分析引擎。2012年Elastic把Lucene基础库包成了一个更好用的软件,并且在2015年推出ELK Stack(Elastic Logstash Kibana)解决集中式日志采集、存储和查询问题。Lucene设计场景是Information Retrival,面对是Document类型,因此对于Log这种数据有一定限制,例如规模、查询能力、以及智能聚类LogReduce等定制化功能。

Log Service提供日志存储引擎是阿里内部自研究技术,经过3年万级应用锤炼,每日索引数据量达PB级,服务万级开发者每天亿次查询分析。在阿里集团内阿里云全站,SQL审计、鹰眼、蚂蚁云图、飞猪Tracing、阿里云谛听等都选择Log Service作为日志分析引擎。

而日志查询是DevOps最基础需求,业界的调研也验证了这一点,tar排名第一、Grep排名第二,由此可见日志查询对程序员的重要性。

在日志查询分析场景,以如下点对ELK与Log Service做一个全方位比较。

  • 易用:上手和使用的便利程度。
  • 功能:主要针对查询与分析。
  • 性能:对于单位大小数据量查询与分析需求,延时如何。
  • 规模:能够承担的数据量、扩展性等。
  • 成本:同样功能和性能,使用分别花多少钱。

对日志分析系统而言,有如下使用过程。

  • 采集:将数据稳定写入。
  • 配置:如何配置数据源。
  • 扩容:接入更多数据源,更多机器,对存储空间,机器进行扩容。
  • 使用:这部分在功能这一节介绍。
  • 导出:数据能否方便导出到其他系统,例如做流计算、放到对象存储中进行备份。
  • 多租户:如何将数据分享给其他人使用,使用是否安全等。
提供Index概念用以区分不同日志。

提供两层概念,Project相当于命名空间,可以在Project下建立多个Logstore。

  • 通过配管系统应用机器。
  • Logstash在Beta版本中已经提供中心化配置功能。
控制台或API操作,无需配管系统。
通过配管系统控制,将配置和Logstash安装到机器组。 控制台或API操作,无需配管系统。
原生提供账号与权限级管理。
  • ELK有非常多的生态和写入工具、安装、配置等都有较多工具可以使用。
  • Log Service是托管服务,从接入、配置、使用上集成度非常高,普通用户5分钟就可以接入。
  • Log Service是SaaS化服务,在过程中不需要担心容量、并发等问题。弹性伸缩,免运维。

查询主要是将符合条件的日志快速命中,分析功能是对数据进行统计与计算。

例如我们需要所有状态码大于200的读请求,根据IP统计次数和流量。这样的分析请求可以转化为两种操作。

  • 查询到指定结果,对结果进行统计分析。
  • 不进行查询,直接对所有日志进行分析。

针对IP地址、手机等内容,内置地理位置函数方便分析用户来源。

  • IP:国家、省市、城市、经纬度、运营商。
  • Mobile:运营商、省市。
  • 依托全球白帽子共享安全资产库,提供安全检测函数,您只需要将日志中任意的IP、域名或者URL传给安全检测函数,即可检测是否安全。

  • 新增机器学习与智能诊断系列函数。

    • 根据历史自动学习其中规律,并对未来的走势做出预测。
    • 实时发现不易察觉的异常变化,并通过分析函数组合推理导致异常的特征。
    • 结合环比、告警功能智能发现/巡检。该功能适用在智能运维、安全、运营等领域,帮助更快、更有效、更智能洞察数据。
    • 预测:根据历史数据拟合基线。
    • 异常检测、变点检测和折点检测:找到异常点。
    • 多周期检测:发现数据访问中的周期规律。
    • 时序聚类:找到形态不一样的时序。
  • 模式分析函数能够洞察数据中的特征与规律,帮助快速、准确推断问题。

    • 定位频繁集。例如:错误请求中90%由某个用户ID构成。
    • 定位两个集合中最大支持因素。
      • 延时>10S请求中某个ID构成比例远远大于其他维度组合。
      • 并且该ID在对比集合(B)中的比例较低。

针对相同数据集,分别对比写入数据及查询,和聚合计算能力。

      3(默认配置,对用户不可见)
      • 以上字段完全随机(测试日志样例如下)。
      • 原始数据大小:50 GB。
      • 日志行数: (约为1.6亿条)。

      以上字段完全随机,如下为一条测试日志样例:

    膨胀率:数据量/原始数据大小

    说明 日志服务产生计费的存储量包括压缩的原始数据写入量(23 GB)和索引流量27 GB,共50 GB存储费用。

    • 空间:原始数据50 GB,因为测试数据比较随机,所以存储空间会有膨胀(大部分真实场景下,存储因压缩会比原始数据小)。ES胀到86 GB,膨胀率为172%,在存储空间超出日志服务58%。这个数据与ES推荐的存储大小为原始大小2.2倍比较接近。
  • 读取(查询+分析)测试

      选取两种比较常见的场景:日志查询和聚合计算。分别统计并发度为1、5、10时,两种case的平均延时。

  • 针对全量数据,随机查询日志中的关键词,例如查询value_126,获取命中的日志数目与前100行。
  • 从结果看,对于1.6亿数据量这个规模,两者都达到了秒级查询与分析能力。
  • 针对统计类场景(case 1), ES和日志服务延时处同一量级。ES采用SSD云盘,在读取大量数据时IO优势比较高。
  • 针对查询类场景(case 2), LogAnalytics在延时明显优于ES。随着并发的增加,ELK延时对应增加,而LogAnalytics延时保持稳定甚至略有下降。

    • 日志服务一天可以索引PB级数据,一次查询可以在秒级过几十TB规模数据,在数据规模上可以做到弹性伸缩与水平扩展。
    • ES比较适合服务场景为:写入GB-TB/Day、存储在TB级。原因如下:
      • 单集群规模:比较理想为20台左右,据了解业界比较大为100节点一个集群,为了应对业务往往拆成多个集群。
      • 写入扩容:shard创建后便不可再修改,当吞吐率增加时,需要动态扩容节点,最多可使用的节点数便是shard的个数。
      • 存储扩容:主shard达到磁盘的上限时,要么迁移到更大的一块磁盘上,要么只能分配更多的shard。一般做法是创建一个新的索引,指定更多shard,并且rebuild旧的数据。

    用户案例(规模带来的问题)

    客户A是中国的最大资讯类网站之一,有数千台机器与百号开发人员。运维团队原先负责一套ELK集群用来处理Nginx日志,但始终处于无法大规模使用状态:

    • 一个大Query容易把集群打爆,导致其他用户无法使用。
    • 在业务高峰期间,采集与处理能力打满集群,造成数据丢失,查询结果不准确。
    • 业务增长到一定规模,因内存设置、心跳同步等节点经常内存失控导致OOM 不能保证可用性与准确性,开发最终没有使用起来,成为一个摆设。

    在2018年6月份,运维团队开始运行日志服务方案。

    1. 使用Logtail来采集线上日志,将采集配置、机器管理等通过API集成进客户自己运维与管控系统。
    2. 将日志服务查询页面嵌入统一登录与运维平台,进行业务与账户权限隔离。
    3. 通过控制台内嵌方案满足开发查询日志需求,通过Grafana插件调用日志服务统一业务监控,通过DataV连接日志服务进行大盘搭建。
    • 每天查询的调用量大幅上升,开发逐步开始习惯在运维平台进行日志查询与分析,提升了研发的效率,运维部门也回收了线上登录的权限。
    • 除Nginx日志外,把App日志、移动端日志、容器日志也进行接入,规模是之前10倍。
    • 除查询日志外,也衍生出很多新的玩法,例如通过Jaeger插件与控制台基于日志搭建了Trace系统,将线上错误配置成每天的告警与报表进行巡检。
    • 通过统一日志接入管理,规范了各平台对接总线,不再有一份数据同时被采集多次的情况,大数据部门Spark、Flink等平台可以直接去订阅实时日志数据进行处理。

    以上述测试数据为例,一天写入50 GB数据(其中23 GB为实际的内容),保存90天,平均一个月的耗费。

    • 日志服务(LogSearch/LogAnalytics)计费规则参见,包括读写流量、索引流量、存储空间等计费项,查询功能免费。
      存储空间(保存90天)
    • ES费用包括机器费用,及存储数据SSD云盘费用。
      • 云盘一般可以提供高可靠性,因此我们这里不计费副本存储量。
      • 存储盘一般需要预留15%剩余空间,防止空间写满,因此乘以一个1.15系数。

      同样性能,使用LogSearch/Analytics与ELK(SSD)费用比为13.6%。在测试过程中,我们也尝试把SSD换成SATA以节省费用(LogAnalytics与SATA版费用比为34%),但测试发现延时会从40 ms上升至150 ms,在长时间读写下,查询和读写延时变得很高,无法正常工作了。

    除硬件成本外,日志服务在新数据接入、搭建新业务、维护与资源扩容成本基本为0。

    • 支持各种日志处理生态,可以和Spark、Hadoop、Flink、Grafana等系统无缝对接。
    • 在全球化部署(有20+Region),方便拓展全球化业务。
    • 提供30+日志接入SDK,与阿里云产品无缝打通集成。

    日志服务采集和可视化可以参见如下文章,非核心功能不展开做比较。

ES支撑更新、查询、删除等更通用场景,在搜索、数据分析、应用开发等领域有广泛使用,ELK组合在日志分析场景上把ES灵活性与性能发挥到极致;日志服务是纯定位在日志类数据分析场景的服务,在该领域内做了很多定制化开发。一个服务更广,一个场景更具针对性。当然离开了场景纯数字的比较没有意义,找到适合自己场景的才重要。

基于战略与管控的财务分析 汤谷良 院长 讲 题一、会计报表与财务战略概论二、现金周转期与商业运营资源挖掘三、自由现金流与企业战略能力四、内部资本市场与资本资源配置一、会计报表与财务战略概论李嘉诚:《管理的艺术》 (商务周刊,2005年9月) 管理人要赋予企业生命—— 我年轻的时候,最喜欢翻阅的是上市公司的年度报告书,表面上挺沉闷,但是别人会计处理的方法的优点和流弊,方针的选择和公司资源的分布有很大的启示。 对我而言,管理人员对会计知识的把持和尊重,正现金流的控制,公司预算的掌握,是最基本元素。 还有两点不要忘记:第一,管理人员特别要花心思在脆弱环节;第二,在任何组织内优柔寡断者和盲目冲动者均是一种传染病毒,这两者均可以使企业在一夕间造成毁灭性的灾难。 资 产 负 债 表单位: 年 月 日 金 额 资 产 负债与股东权益金 额 流动资产流动负债 短期借款 应付帐款货币资金短期投资长期负债应收帐款存货股东权益长期投资股本资本公积盈余公积未分配利润固定资产固定资产净值在建工程无形资产合 计合 计轻资产战略?利 润 表 本期(年) 上(年)同期一、营业收入 减:营业成本 营业税金及附加 销售费用 、管理费用、财务费用 资产减值损失 加:公允价值变动收益(损失以“-”号) 投资收益(损失以“-”号填列)二、营业利润(亏损以“-”号填列) 加:营业外收入 减:营业外支出三、利润总额(亏损总额以“-”号填列) 减:所得税费用四、净利润(净亏损以“-”号填列)归属于母公司所有者的净利润 少数股东损益权责发生制 与 收付实现制商品销售发货: 借(增):应收帐款500 万元 贷( 增):销售收入 500 万元 借 (增): 销售成本400 万元 贷(减): 存货400 万元财务理念: CASH IS KING(现金至上) 项 目金 额一、经营活动产生的现金流量 经营活动现金流入 经营活动现金流出经营活动产生的现金流量净额二、投资活动产生的现金流量 投资活动现金流入 投资活动现金流出投资活动产生的现金流量净额三、筹资活动产生的现金流量 融资活动现金流入 融资活动现金流出筹资活动产生的现金流量净额四、汇率变动对现金的影响五、现金及现金等价物净增加额现金流量表结构 输 血经营现金净流量投资现金净流量 造 血流 血筹资现金净流量资产计价(估值): 帐面价值(历史成本计价) 可变现净值 与资产减值准备 (成本与市价孰低原则) 评估价值 成交价格 内含价值:未来收益(现金流)折现总值市场价格(MV)内涵价值(投资价值) ME账面价值(BV) 溢价16倍 华润总公司转让深国投房产49%股权 来源:上海证券报 作者: 彭飞 28日华润总公司在上海联合产权交易所挂牌转让深圳深国投房地产开发有限公司49%股权,挂牌价格8.2亿元。 深国投房产成立于1996年4月注册资本34010万元,深圳市盛兴信息咨询有限公司持有其51%股权,华润总公司旗下华润深国投投资有限公司持有其49%股权。 2008年深国投房产实现营业收入5.82亿元,净利润5298万元,2009年,实现营业收入20.9亿元,净利润2.23亿元。截至2010年5月31日,公司实现营业收入2257万元,净利润亏损824万元。 记者注意到,不同审计机构出具的数据出现了较大出入。根据深圳振兴会计事务所出具的年度审计报告,公司2009年度资产总计58.7亿元,负债总计51.1亿元,所有者权益7.61亿元。 此次挂牌,评估基准日也是2009年12月31日,但毕马威华振会计深圳分所的审计数据却显示公司资产总计11.5亿元,评估值26.1亿元;负债总计10.6亿元;净资产9207万元,评估值15.6亿元,溢价约16倍。据此,标的股权对应评估值7.67亿元,挂牌价格8.2亿元较评估值又溢价5600万元。 二、现金周转期与商业运营资源挖掘 流动比率 = 流动资产 ÷ 流动负债 (正常值:1.5 -- 2.0 ) 资 产 负 债 表单位: 年 月 日 金 额 资 产 负债与股东权益金 额 流动资产流动负债 短期借款 应付帐款货币资金短期投资长期负债应收帐款存货股东权益长期投资股本资本公积盈余公积未分配利润固定资产固定资产净值在建工程无形资产合 计合 计现金周转天数=营业周期 — 应付(预收)款周转天数=存货周转天数 + 应收款周转天数— 应付(预收)款周转天数现金净需求=存货 + 应收款— 应付(预收)款苏宁电器股份公司营运资本分析表 (

一、常见的操纵财报手法

1、虚构收入:虚假交易、虚增成交金额、将非营利交易确认收入、显失公平的关联交易

2、借助一次性行为夸大收入

(1)将出售业务部门或资产所得转化为营业收入

第一步:将出售业务部门或资产低价出售

第二步:由买家将成交价与公允价格之间的差额,购买上市公司产品或服务,或者买家低价向上司公司提供产品或服务

目的:增加营业收入或降低营业成本

(2)将收购支出转化为营业收入

第一步:上市公司高价收购其他公司的业务部门或资产

第二步:卖家将超过公允价格的部分,用来采购上市公司产品或服

务,或者卖家低价向上司公司提供产品或服务

目的:增加营业收入或降低营业成本

(3)将亏损打包进一个子公司或部门,然后出售

第一步:将上市公司日常经营亏损集中在一个子公司或部门

第二步:高价出售该子公司或部门

第三步:上市公司通过借款、担保、项目合作、并购费用等补偿买家付出的高价

(4)进行互换贸易,夸大收入

高价出售商品或服务的同时,高价收购对方的商品或服务

(1)确认尚未开始提供产品或服务的收入

a、以优惠价格要求客户一次性购买多年服务,将总额确认为当年的营业收入中;

b、年底前签合同收款,在合同约定义务尚未履行前将合同款项确认为当年收入;

c、房地产公司以工程完工验收、收到房款确认收入。

(2)买家没有明确承担付款义务时确认收入

b、向没有要求的客户发货;

c、答应客户可以无条件退货情况下,在退货期限内确认收入;

d、向根本没有付款能力的客户大幅延长信用期的情况下发货。

1、将本期费用推至未来

(1)延长折旧摊销年限

(2)漠视已经形成损失的坏账

(3)不适当使用费用资本化手段

(4)不对受损资产或过时存货提取减值准备

(5)将费用暂时挂在应收账款或预付款科目

(6)推迟在建工程转为固定资产,甚至将日常费用收入在建工程

(7)通过临时资金冲抵,将长时间坏账化妆成刚形成的应收款

3、洗大澡——利用财务技巧,有意将公司经营和资产情况恶化

a、注销资产或存货,以减抵未来折旧或增加未来盘盈

b、大额计提应收账款或存货差值损失,以便于未来转回

c、将经常性费用归为一次性费用计提以减少未来费用

a、为了把以前虚增的利润冲掉——按需要发生

b、为了未来报表好看——通常发生在公司被收购后或管理层更换时;

在公司遭遇经营困难时,把不好业绩做的更差

1、增加经营活动现金流

(1)收购公司,让收购者付清应付款、制造应收款,从而获得收购对象的经营性现金流入;

(2)出售子公司或部门,作价的总额分为首付款和未来收入分账,收入分账部分将计入经营活动现金流;

(3)出售子公司或部门,剥离并保留应收账款;

(4)先销售存货给出借方(银行或财务公司),到期再加价回购,创造本期经营活动现金流入;

(5)互换贸易,我买入你的设备,你买入我的产品;

(6)你买入我的产品,我帮你担保融资贷款。

(1)将某些经营活动现金支出归入投资活动或筹资活动:购买电影电视版权、租入网络宽带、以融资租赁代替租赁;

(2)以承兑汇票采购,减少当期经营活动现金流出。到期偿还时,记录为债务偿还,归入筹资活动现金流出。

3、一次性行为美化经营活动现金净额

(1)通过银行保理业务打折出售应收款,甚至伪造应收款出售并承担连带还款责任,夸大当期经营活动现金流入;

(2)给出高额折扣,刺激客户或在账期末到期付清应收款,或提供付款采购;

(3)拖欠供货商货款或减少正常采购,增加当期经营活动现金流量净额。

(1)高毛利产品销售收入大幅增加,公司正常产品销售结构扭曲,导致毛利率显著提升;

(2)销售以往没有生产或经销的产品;

(3)与某个以往财报中不存在的大客户进行大额交易,交易对该客户不具有合理用途,或者交易价格明显偏离正常价格;

(4)运费或装卸费增长比例显著低于销售收入增长比例;

(5)公司出口收入与海关费用之间变化趋势为反向变动;

1、经营活动现金流量净额

(1)持续优于同行,投资活动现金净额持续为大额负数;

2、收到其他与经营活动有关的现金——应该偏小,突然增大,没有合理解释

3、筹资活动现金流中的利息支出

(1)借债利率比较高;

(2)高息借来债务,只是在银行存款或理财等明显低于借债利率的使用上;

(3)财报显示公司货币资金充足,又在高息借债。

(1)大幅增长,增幅超过同期收入增幅;

(2)应收账款周转率低于同行水平,且呈明显下降趋势。

2、其他应收款:这个科目大的公司,先把它当做坏人

(1)大幅增加,尤其是预付工程款或预付专利或非专利技术的采购款大幅增加;

(2)预付账款挂帐时间长,超过一年。

4、应收账款和应付票据——科目数额增大说明公司在商业链条上的地位更加强势或者公司资金链出现问题,拖欠供应商货款了

(1)数量和价值不易确定的存货大幅增加,且增长幅度超过同期营业成本的增长;

(2)存货周转率低于同行水平,并呈下降趋势;

(3)存货周转率明显下降,却同时伴生着毛利率显著上升。

(1)在建工程大幅增加,尤其是和生产经营规模和发展规划不相适应的大幅增加;

(2)在建工程迟迟不转固定资产;

(4)刚转固定资产不久,又需要大修或技改。

7、长期待摊费用——该科目大增,是不恰当使用费用资本化手段的信号

(1)如专利或非专利采购的数额较大,需要确认技术是否与公司生产经营紧密相关;

(2)如公司经常进行收购活动并产生大额商誉,有必要将商誉还原成资产,按照资产折旧规则,重新考虑公司价值。

9、应付职工薪酬——余额波动较大,递延所得税资产数额增加大,说明税务局不认可这笔职工薪酬

(1)计提比例显著低于同行业竞争对手;

(2)不考虑账龄因素、不公布账龄结构,统一按固定比例提取坏账准备。

2、更换或再次更换会计师事务所

6、主要供应商或销售商可疑

7、经常跨行业收购,且主要依赖发行股票支付收购款

本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击。

我要回帖

更多关于 睫毛不小心被拔了还会长吗 的文章

 

随机推荐