网易云立足于iOS系统的设计原则:统一化,凸显内容,适应化,层级性,易操作性?

  【PConline 评测】「奇怪的不是熊跳得好不好,而是它竟然在跳舞。」

  交互设计之父Alan Cooper把那些「有用」、「能用」的产品比喻成「会跳舞的熊」,尽管这只熊跳得很蹩脚,但观众们仍然不得不享受其中——事实上,在定制ROM发展的初期,绝大部分ROM都存在这种情况,

  如今的国内定制系统已经高度成熟,用户需求已经发生了根本性的变化——一个成功的ROM产品应当在保证基础体验的前提下,对视觉设计、交互以及易用性做出提升,就像「会跳舞的熊」一样,不仅跳得不错,甚至还穿上了芭蕾舞裙子。

  比如说魅族的Flyme 7。

  Flyme经过这么多个版本的更迭,尽管现在看来和早期的版本相比已然大相庭径,但整体的视觉设计还是保持了相当统一的风格,简约的ICON设计、克制的配色管理、恰到好处的细节呈现……这大概就是为什么即使这些年来Flyme有过不少争议,但其视觉设计却从来没有成为过一件有争议的事情。

  Flyme 7和Flyme 6的UI区别并不大,差不多可以总结为这几个词:更细腻的ICON、更鲜明的配色、更分明的层级以及更灵动的动画。

  早期的Flyme系统,ICON风格可以说棱角分明,方即是方,圆即是圆,而随着版本的更替,Flyme的ICON逐渐向圆润化过度。

  当然,这种「圆润化」还是很克制的,没有粗暴地效仿苹果采用大半径的圆角矩形图标,而是在ICON的边角进行了小弧度处理,并在配色上进行了略微的渐变,使其看起来更加细腻和精致。

  值得一提的是,Flyme对于第三方ICON终于不是简单地裁切成方形了,而是同样做了「圆润化」的处理,和整体界面能够和谐地融入到一起。

  配色方面,以往的Flyme系统极少采用高饱和度、高对比度的色彩体系,而是采用清新淡雅的配色,这就是为什么在用户心目中Flyme一直是小清新的代名词。

  在Flyme 7上,魅族开始采用了更大胆和鲜明的配色,例如生活助手、主题美化等ICON均搭配高饱和度的亮色,但即便如此,Flyme 7对于色彩的应用在该克制的地方还是比较克制的,称得上恰到好处。

  层级在UI设计中是一个非常重要的概念,它能够处理好信息界面的优先级,让ROM的易用性变得更好。

  Flyme 7继承了Flyme 6中常用的阴影元素,例如ICON、banner等,这个做法的好处在于增加了「Z轴」的概念,能够表现UI的立体感,以及更为有效地区分层级关系。

  其次,Flyme 7大量地采用了卡片设计:下拉通知栏、上滑负一层……这些设计更好地区分了信息层级。举个例子,Flyme 6的通知栏和Flyme 7的通知栏,前者信息和背景完全融入到一起,后者则利用大卡片设计形成了一个明显的层级,用户注意力会更加集中到信息卡片的内容上。

  多数情况下,动画效果系统中更多地承担「点缀」的作用,有趣、灵动的动画效果更能吸引用户,但这并不能成为用户选择的关键因素,用俗话说就是——痒点。

  Flyme 7的动画运用了大量的「缓入缓出」效果,如果你熟悉Premiere Pro这个剪辑软件,那么应该知道两个关键帧之间能够创建一条贝塞尔曲线,最终得到的效果就是「缓入缓出」。

  文字描述可能没那么清晰,我们看GIF:

  当然,还有Flyme 6版本中的「Action View」在Flyme 7中也得到了保留,所谓「Action View」,即「通过动态的方式去展示内容」,能在一定程度上增强界面的活力和趣味性。

  和视觉设计不同,交互上的任何改变,都会极大地影响用户的使用体验,而魅族在人机交互上的探索,几乎一直走在其他厂商的前面——虽然这也是Flyme存在争议的地方。

  首先惯例吹一吹mBack。

  从SmartBar到小圆圈,从小圆圈再到mBack,围绕着Android导航键的交互改变,几乎见证了Flyme系统的发展历程,而尽管mBack推出至今已经很长一段时间了,但用户对这个交互的认可程度却从未降低——如果不是全面屏时代的来临,或许它会是Android的终极交互方案。

  Flyme 7在交互上没有革命性的改变,而是针对一些小的使用场景提供新的交互方案,这些改变不足以刺激用户的购买/升级欲望,它只是让你的体验变得更舒适而已——我们往往称之为「痒点」。

  APP索引并不是一个新颖的功能,这种滑动索引的方式在原生Android的AppDrawer中就能体验到,主要是方便用户在Drawer中快速找到自己需要的APP,但在桌面做这类APP索引的并不多见。

  但正如前文所说,这只是一个痒点功能,使用频率并不高。有趣的是,如果你手中的是魅族15或15 Plus,那么你应该会很享受滑动时的震感,Taptic Engine所带来的触觉反馈是其他震动马达所无法比拟的。在安卓手机中,能做到和iPhone震动反馈相类似的,目前也只有魅族15系列。

  气泡模式指的是全屏场景下,微信、QQ等消息通知会以「气泡」的形式弹出,由于「气泡」占据的空间并不大,在全屏模式下基本不会影响使用体验。

  小窗模式和气泡通知是相辅相成的关系,通过点击「小窗打开」按钮,微信或QQ等聊天工具会以「小窗口」的形式弹出并悬浮在界面上,方便用户快速回复消息。

  全局夜间模式,一键开启,夜猫子们从此以后可以更开心地躲在被窝里玩手机了。

  值得一提的是,这是个「真·全局夜间」模式,以淘宝为例,淘宝主页以及商品详情页都会自动将白色背景色转成黑色,而字体则由黑色转为白色,在光线不足的夜间,这个模式能让眼睛更舒服。

  温馨提醒一句:为了保护视力,睡觉的时候还是少玩手机好点。   

  这个功能在实验室中可以开启,主要用于对人像拍摄进行回放,用户能够根据喜好自由选择不同定格下的人脸,展现最美(误)的自己:

  保存好后的样张是这样的:

  Flyme 7提供了四种不同的音效,包括3D声效、超重低音、纯净人声以及现场乐动,不过对于木耳的我来说,顶多能够听出哪里不同,而难以评价孰优孰劣。当然,这种玄学一向跟个人口味有关,遇上对的音效,无论怎么听都会喜欢的不得了。

  目前,Square Sound音效仅支持自带音乐播放器和网易云音乐,其他诸如QQ音乐、虾米等还未支持。

  唯一的问题是,开启3D声效后听音乐会有一定程度的底噪,估计和测试版有关。

  「AI」一词到底有多火?这年头好像不提「AI」就会显得自己跟不上潮流似的。

  忘却那些营销用词 吧……什么智能识别,什么3D精准定位五官,什么美颜方案……消费者压根就不需要知道你的技术是什么样的,只要你的美颜效果能让我满意就行了。

  我用魅族15找小姐姐拍了几张,看起来还是不错的,按照小姐姐的说法:美颜效果比较自然,不存在浓妆淡抹之感。

  当然,除了简单的美颜之外,你还能尝试一下「魅族趣拍」+滤镜模式,滤镜上的图案素材,都会随时按照时间节点随时更新,基本不需要后期调教或者再下美颜滤镜应用,好看又好用。

  毫无疑问,Flyme 7是迄今为止最好用的Flyme系统,更精致和细腻的UI、更大胆的色彩运用、新的交互体验,以及一些趣味功能上的更新,都表明了Flyme 7并不仅仅是魅族在刷版本号而已。

  虽然此次在老机型上也加入了人脸识别,让大家过了一把全面屏手机解锁的瘾,在一定程度上能够吸引老用户更新系统。然而,由于缺乏重磅的功能改进/革新,Flyme 7更像是Flyme 6的「锦上添花」版,或许用「好用」来描述会准确一些。

魅族15系列评测:不服咱们比拍照,@同价位小伙伴

大家好,我是Karl,一个电脑数码爱好者。

自入坑NAS以来,折腾了几台NAS,和大家做过一些评测分享,也写过一些硬盘选购、玩法教程的文章,但是想想还真从未把这些东西进行过整合,东一榔头西一棒子的着实不好。

NAS这个东西确实是个很有意思的玩意,它使我的文件存储不再碎片化、重要文件不再淹没于数据垃圾,它使我可以轻装上阵,不担忧32GB的ipad装不了多少视频,也不再苦恼设备之间的文件同步和传输。这么有意思的玩意,是完全值得多讲讲的。

值此双十一将近之际,我为大家准备了一份比较全面的入坑指南,从NAS的简介说起,到NAS的选购、硬盘的选购,再到简单玩法和进阶玩法,有四大模块和几个小节。本文是对我过往NAS、硬盘折腾经验的一个汇总,也是一份覆盖面比较广泛的攻略,相信它可以为大家提供一些参考和帮助。

注意:文章很长,请先收藏再看,请善用目录跳转和Ctrl+F快捷键

本文共20,000余字,包含以下内容:

NAS的全名是Network attach storage,直译是网络附加存储,是一台可以挂载在网络中的私人存储设备,不论是放在家里或者办公室,用户都可以通过浏览器或应用,随时随地访问、存取和管理储存在NAS中的文件、照片、视频或应用,NAS也就是【私有云】。

NAS 可以看作“简化版”私人服务器,可以将它看作是一种专用数据存储服务器。但是其成本远远低于使用服务器存储甚至是低于网盘(大容量时),而效率却远远高于后者。NAS以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。

NAS不只是网络存储,它也可以看作是一台电脑或一个平台,厂商为此精心打造了操作系统和配套应用,用户在这台电脑上可以安装应用和虚拟机,可以更换内存、硬盘甚至网卡,它可以作为软路由、网站服务器甚至办公和影音娱乐主机使用。

NAS支持windows、mac、linux和web等多种平台,NAS在个人/家用、内容创作者/电竞玩家、企业商用等领域都具有重大意义:

  • NAS 能安全地存储大量不同类型的数据,其总存储空间取决于配置的硬盘 (HDD) 或固态硬盘 (SSD) 容量而不是月费,数据存储于私有硬盘,不再“上云容易下云难”

  • NAS的带宽取决于具体的网络环境和硬件配置而不是月费,远程存取数据无需按流量计费,同时可享有与云端服务相同的数据存储功能。

  • NAS可以集中管理所有数据,它可以在各种平台之间 (包含 Windows、Mac、iPhone 和 Android) 进行文件同步、访问和管理,手机及计算机上的数据将可快速地备份至您的 NAS;NAS还可以连接到各路网盘,所需数据真正alway online。

  • NAS可以进行照片管理、视频管理、音乐管理,可以进行串流,轻松构建家庭媒体中心

  • 进阶玩法还有建站、虚拟机、监控平台等,在NAS这个成熟而广大的平台上,玩法多样

要获得一台NAS有很多方法,从硬件和系统上来看大概可以分为三类:

  • 已有硬件兼任NAS:路由器插优盘或移动硬盘、Windows开samba、Mac装Brew等

  • 自行DIY专用NAS:并安装Windows server、NAS开源系统、群晖系统和威联通系统等,后两者分别称为黑群晖和黑威联通

  • 购买威联通、群晖、华芸(爱速特,Asustor)、极空间等硬件厂商推出的成品NAS

这三类方法各有其特点,已有硬件兼任的成本门槛最低,自行DIY的可玩性最强,考虑到功耗、功能、易用以及数据安全性的话,购买成品NAS则是最合适的选择,NAS厂商们推出了大量机型,也发布了大量配套的应用。

目前市面上的NAS厂商两大巨头是群晖和威联通,华硕旗下的华芸(爱速特,Asustor)也蛮好,极空间算是新兴品牌,以我浅薄的直接经验和间接经验来看:

  • 群晖的设置上手容易些但是硬件上溢价多点

  • 威联通的价格门槛低、盘位丰富、性价比高但是设置选项多

  • 华芸和极空间NAS的易用性蛮好,本地化做的不错

NAS是一个平台,平台的核心(处理器)决定了平台的强弱,也决定了平台的宽广程度。NAS处理器的核心虽然有多种厂商可选,但可分为两类:

如果只是存储管理数据资料,外网访问以及分享,不深入玩 Docker、虚拟机等,低功耗的 ARM 机器可以考虑;如果要玩的很花哨或深入,对性能有所要求,那么请选择 X86 架构。

以我自己的经验来看,只是常见需求、不喜欢折腾的话arm架构的NAS其实也足够了,X86是带来了更多可能性。我用过威联通TS-532X和华芸的AS3302T都是arm架构,我觉得也都蛮好用的,感兴趣的朋友欢迎移步我之前的文章。

务必明确需要NAS来做什么,明确自己需要存储多大体积的数据,对数据的安全性和对NAS的性能有何要求:

  • 打算玩玩docker和虚拟机的话,建议选择X86架构4核处理器及以上的NAS,记得自己再加一下内存;对docker和虚拟机没啥需求的话,ARM架构的NAS就挺好,近来推出的NAS基本都可以硬解4K了

  • 存储的数据不很多的话,双盘位机器可以了,入门价格很低

  • 存储数据较多而且数据量增长迅速的话,建议选购多盘位机器并预留盘位

  • raid是个好东西,提升性能和安全性,数据存储更可靠

务必明确预算,这里的预算要综合考虑以下几个方面:

  • NAS的价格,多盘位的NAS一般贵一些,性能强的NAS一般贵一些

  • 硬盘的价格,大容量机械盘并不便宜,需要SSD缓存加速的话预算更得仔细些

  • 网络设备的价格,目前千兆设备已经基本普及,但是有就能外网访问,域名绑定IP地址会自动更新,速度是宽带的上行速度。下面是详细的。明确需求一直在值得买看sinishell2019|

照着实现了一波,速度并没有跑到我的带宽速度级别,但是也还不错了

手机端使用Qfile进行上传可以有1.2MB/s的速度

手机端使用Qfile进行下载可以有1.8MB/s,算不得快,但是也还不错了,毕竟我的宽带上行也就几MB/s

文件备份是我使用NAS的核心需求之一,也是各家都会努力做好的核心功能。

以我最熟悉的威联通为例,威联通提供了多种方式进行备份和还原:

  • 文件自动备份方面,在 Windows 安装 NetBak Replicator,即可将个人计算机数据备份到 QNAP NAS; macOS可使用内置的「时光机」(Time Machine) 将资料妥善保存至 NAS 中;移动设备可以安装app实现文件备份和下载。

  • 外置存储内容备份上,存储设备连接到 QNAP NAS 前方的 USB 端口,再按下「COPY」按钮,就可将外接设备内的所有文件备份到 NAS。

  • 云存储空间同步方面,Qnap的Hybrid Backup Sync 可存取超过 20 个云存储服务中的文件及数据,并将其安全备份于 QNAP NAS 中,确保您的数据不受网络断线或服务终止的影响。还可以安装虚拟机实现更多、更强的同步和管理。

手机端进行文件上传下载为例,使用Qfile在手机端进行文件上传和下载,网速一兆多点,作为一个移动宽带用户+百度网盘白嫖专业户,我对此已经很满意

QuMagie对图片进行集中管理

使用NAS可以对照片进行备份和集中管理,而后随时随地进行访问。Qnap为NAS开发了QuMagie软件,整合 AI 影像辨识技术,提供更快和准确的人脸和对象识别、提供智能分类,于是我准备了个素材库,找了几百张照片来挑战一下,亲测效果还成,照片信息识别还比较准确,下图是我存放的几百张照片中的部分,可以看到对相机、主题的明确识别。

可以将NAS上的共享文件夹映射到电脑上来,得益于NAS强大的带宽和性能,挂在的这个网络硬盘将至少有机械硬盘性能,使用上和内置的硬盘区别不大,可以像本地磁盘一样随意使用。

在Qfinder pro里面点击【网络驱动器】

点击确定按钮后,弹出下面对话框

输入nas的账号和密码后即可登入,将显示nas上账号权限内的所有共享文件夹

选中一个文件夹然后右键,选择【映射网络驱动器】

随后弹出下面的对话框,可以自行更改【驱动器】的盘符什么的

点击【完成】按钮后,驱动器就挂载成功了,会自动弹出一个窗口显示这个挂载好的共享文件夹的内容

回到【此电脑】页面,已经可以在【网络位置】栏目下看到这块新的【磁盘分区】了。顺便说一句:我的C盘有229GB,浏览器下载文件、安装软件都在这,一般不考虑清理C盘的事

NAS的功耗相比台式电脑要低很多,数据管理和分享也很方便,使用NAS进行挂机下载是一个很常见的应用场景。

NAS厂商一般内置了专门的下载app,比如威联通内的download station,但是这些软件并不能满足复杂的下载需求,好在有很多第三方下载工具可选。先简单说下BT和PT是什么吧。

BT(Bit torrent)是一种互联网P2P传输协议,对应公开网站资源,客户端解析torrent文件得到tracker地址,连接tracker服务器,服务器分配其他下载者ip,下载者之间互通有无进行下载,不需要服务器进行中继。下载同一文件且下载完成后维持上传状态的用户越多,下载速度越快,但是很多人只下载不分享、下载过程中限制上传速度甚至下载时修改下载线路,导致BT下载效果往往一般。

PT(Private Tracker)其实也是BT的一种,但是它做了一些改进:

  • 私密不公开、小范围下载

  • 进行流量统计,依据上传贡献分配下载额度

  • 由于其特点,PT大站往往采用邀请制。

目前,威联通NAS下载的常用工具有四个:

玩物则已经和威联通签订合约,可以直接在【APP Center】中下载。玩物下载加速由迅雷提供技术支持,支持HTTP、BT、电驴、磁力链接、迅雷等主流下载格式。玩物下载的另一个亮点是支持微信远程(由于TS-551为新机,此处无任务)。

详细安装教程请移步@加勒比考斯 的文章:

    3个NAS下载软件,PT、BT一网打尽,全程图示,看完就会创作立场声明:本人为科技领域从业人员,有机会学到一些专业知识。然而每个人站在不同立场,内容就会有所偏重,客观与否还请大家指正,期待深入探讨交流。大家好,我是加勒比考斯,是一个NAS领域的老司基。以前是负责NAS板块的小编一枚,有幸玩过众多品牌的NAS,包括有群晖、威联通、华硕、铁威马以及Drobo等加勒比考斯|

下载了视频文件,自然应该对其进行管理在威联通中配置流媒体管理软件,不少大佬推荐的是Emby,它安装和使用简单,功能丰富,简单部署NAS端后,客户端即可轻松访问NAS端的所有媒体文件。

设置好媒体库和账户信息后,即可看到整齐的电影墙了。不过我nas里放的其实大都是小姐姐视频,满满的爱与激情、过错与救赎,不宜放图、不能多说,不然我号没了。

在威联通NAS上实现PLEX多媒体服务器的搭建也很简单,只需要几分钟不仅能让你在 NAS 上建立精美的影片库、照片库和音乐库,还可透过串流播放装置(如:Roku、Apple TV、Chromecast、Fire TV 等)让您使用手机、平板与高画质电视欣赏存储于 NAS 中的影音收藏。直接从威联通APP center下载Plex,点开即可按照指示完成搭建。

有些x86架构NAS自带HDMI 接口、支持4k输出,完全可以使用HDMI线缆直连显示器,立即拥有家庭影院、多种 PC 使用场景与实时影像监控等多元应用。

软路由就是利用自由硬件搭配路由器系统,绝大部分基于Linux/bsd的免费软路由功能并不比商业的差,比商业的功能可能还要强大。软路由大都支持各种插件,具有各种玩法,一般的较为出名的软路由有有LEDE,梅林固件,爱快等。

一般软路由具有广告过滤koolproxy、adbyby、Ngrok、webshell、dnspod、aliddns、cloudxns、aria2、硬盘自动休眠、单wan多拨、多线负载均衡、多ISP策略路由、USB打印服务器、家长管理、miniDlna、定时唤醒、百度网盘同步、行为控制等功能。

那么,部署软路由需要什么条件?

1、NAS要有双网卡(单网卡需要做单线复用、划分Vlan十分麻烦);

2、NAS支持虚拟机功能;

3、NAS有多余的内存分配,最起码要2 GB。

以丐丐的TS-551为例,得益于威联通多出来的那一个网络接口和HDMI接口,我们可以玩点花活——软路由。软路由是使用PC+网卡DIY组建路由器系统,NAS刚好具备这一条件。威联通NAS通过【网络与虚拟交换机】管理NAS的连接状况,在此APP内,物理网卡与虚拟交换机,网络现状和使用情况、接口网络布局一目了然。

使用NAS搭建软路由,需要在【virtualization station】内创建虚拟机,分配NAS网口;然后在虚拟机上安装软路由,设置广告过滤、KMS激活、解锁网易云灰色歌曲以及某些不便多说的功能。目前比较流行的OpenWrt,它功能丰富、组件众多,很多站内大佬都是用的它。

了解更多欢迎移步大佬@云栖隐者 的好文

    我全都要!威联通TS-551上实现NAS 、软路由、HTPC一体机前言有些人喜欢搞一体机,有些人喜欢专机专用。但是,作为一名垃圾佬,没有折腾过一体机的人生总觉得是不完整的。对我而言,将NAS、软路由、HTPC整合到一台机器里,不但可以节约空间,还能充分利用机器的性能。从成本考虑,自己组装一台电脑肯定会划算一些,但是又不想太麻烦。直接购买成品NAS是个不错的选择。为云栖隐者|

Qnap官方提供了新一代安全监控解决方案 QVR Pro,支持8个内置摄影机频道,可以直接在应用商店点击安装即可使用,无须额外安装任何软件。QVR PRO 支持多种摄像头设备、支持具体到通道--用户的权限设置。

要进行监控录像的播放和回看,则需要使用QVR Pro Client客户端。在客户端内可以查看实时录像,极速回放、 进行多种事件通知。

可以设置重点监看区域、调整监控频道所占比例和位置,满足各种监控场景需求。

威联通也提供了移动端app,可以同时查看多个频道,支持不同带宽模式查看,支持ios和安卓平台,支持远程遥控、事件通知功能等。

  • QVR Pro对内存有一定要求,官方建议使用8GB以上内存,以获得流畅的影像监控体验,因此建议大家升级一下内存。

大佬@云栖隐者 使用TS-551搭建了基于QVR PRO的家用监控平台,并讲解了使用surveillance station进行视频监控集成,详情请移步

    NAS家庭监控教程丨随时远程,300天回放 威联通TS-551超细演示,一看就会!前言去年有了孩子之后,在家里装了两个萤石C6C网络摄像头。不得不说,真的很好用,简直是看娃神器。萤石摄像头有他们自己的移动端和PC端客户端。刚买来的时候,每个摄像头会赠送一个月的云存储,支持七天内的录像存储和回看。云存储过期后,需要额外购买云存储,否则就只能用存储卡存储了。但是,存储卡容量有限,可以云栖隐者|

QNAP Virtualization Station 能让用户在 QNAP NAS 上执行虚拟桌面操作。将计算服务器与存储服务器整合为一可以简化 IT 基础架构,在 QNAP NAS 上运行虚拟机可以增加可用的应用程序和功能。

建立虚拟机之前请注意:至少需要4GB的内存,否则会运行失败,此外建议最好8GB及以上内存再尝试虚拟机。

有了windows虚拟机后,在里面可以安装百度云、115与迅雷等工具,通过这些工具来操作NAS,来实现一些docker做不动的事,比如设置多种版本操作系统进行测试、并行多个客户端、搞点轻度的办公(从这角度讲,NAS确实是一台电脑)。

目前各家NAS厂商均提供了网盘同步app,但是各家的支持网盘有所区别,实际使用体验也有所不同,以我亲身使用过的威联通和华芸来说:

威联通原生应用Hybrid Backup Sync 支持数十种常见网盘,不过,不支持百度网盘

除了NAS系统内的app,还可以使用Docker进行网盘同步,docker实际上是个虚拟化解决方案。话说回来,很多大佬分享过使用docker进行网盘同步的好文,比如奶爸大佬

    篇二十二:可能是NAS党使用百度网盘(白嫖朋友会员)的最佳姿势——docker下baidunetdisk创作立场声明:多一个docker运行的百度网盘,就会少一台为了以80kb/s的速度下载资源而长期开着的电脑。精打细算都是为了长远打算,节约用电从docker版百度云开始。由衷的希望百度能开发一个官方的docker版百度云。写在前面:为什么要在nas上部署docker版的百度网盘1、电脑版的百度网盘扫晋升奶爸的垃圾佬|

不追求一站式管理网盘同步的话,私以为还有个更简单、效果更好的方法:装个windows虚拟机,然后使用各家网盘的windows客户端进行同步。

万兆NAS指的是具备万兆带宽(10Gbps)接口的NAS,我用过威联通的TS-532X,亲测速度喜人,基本可以满足视频工作者、摄影工作者的使用需求。

不过,万兆虽好,也需要相应硬件支持:

  • 首先,NAS应该具有万兆接口,加万兆网卡(需要有PCIE接口)或使用转换器(原生接口带宽不得低于万兆)

  • 其次,线缆应具备万兆传输能力

  • 使用交换机链接的话,交换机需要满足万兆

  • 最后,PC端应有万兆接口

注意,上述硬件支持只是搭建了一个外部框架,能否实现万兆速度还要看NAS内RAID阵列、缓存SSD、NAS处理器、内存容量、磁盘卷/存储池的状态性质。以我自己532X实现万兆为例,大家可以参考。

万兆的实现必须要有万兆线缆和万兆网卡,一根万兆线缆=两个SFP+光模块 + 一根光纤跳线。我用的是Mellanox模块的,淘宝和咸鱼上大约一米线30块钱包邮。

台式机上可以淘宝买个杂牌万兆网卡,插PCIE插槽,东西便宜的很:

笔记本的话需要自带雷电3/雷电4接口,以满足带宽需求。我的电脑接口实拍如下,下图中typec接口旁边有闪电标志的就是我电脑上的雷电3接口

还需要雷电3接口转万兆网卡,威联通有官方配件可以用,型号是T310G1S,附送一根雷电3线,价格1300出头,正面印有Qnap的logo,标注支持Thunderbolt、10GBE接口,使用SFP+万兆接口

使用雷电接口和电脑相连,标配有一根雷电线。这个转换器是金属外壳的,而且有不少散热孔,实测运行时仅仅是有点温,丝毫不烫

带有雷电3接口的电脑一般自带有雷电3控制器和Thunderbolt 软件,下图为我的Latitude 7390 官方雷电接口驱动程序:

雷电3转万兆转接器在Mac下是免驱的,但是在windows下需要专门的驱动,不然会无法识别设备,转换器和NAS上的指示灯也不会亮。官网虽然给出了一个驱动地址,但是驱动下载不便,我联系Qnap天猫官方旗舰店客服要的驱动,转存了一下,用者自取。

安装好驱动后需要重启一下,会提醒是否连接雷电设备,随后在Thunderbolt软件里就可以看到挂载的雷电3设备了

要想体验万兆带宽,不只是需要安装驱动,还需要在nas里面进行设置,打开控制台,找到【网络与虚拟交换机】

然后将可以看到目前NAS上的接口连接

找到万兆接口,点击设定,设置巨帧封包MTU为9000

也需要在PC里设置,首先打开设置,点击【网络和Internet】,点击【以太网】,点击【更改适配器选项】,在下图中选中QNA-T310G1S的那一项

右键然后单击属性,再弹窗中单击配置,在窗口的【高级】选项卡下,设置【Jumbo Packet】这一项的值为9014Bytes

至此,软硬件准备和设置工作才算完成。

使用Blackmagicdesign公司出品的Disk speed test软件,可以对网络位置硬盘进行测试,软件会给出磁盘性能——视频处理需求的对应。下图可见,这块“硬盘”的连续读写表现已经足够应对4K@60帧的视频处理了。

大家有使用问题的话可以先翻下社区,很多大佬分享了很棒的文章。如果有问题的话可以联系威联通Qnap的客服。

随后将进入下面页面,页面上可以获得常见问题的解决方案、专业客服的在线支持:

威联通天猫旗舰店的售后客服人也很棒、很负责,我刚开始用NAS时候一堆无厘头的问题,人家耐心细致解答还远程协助;我找不到雷电3转万兆驱动器的驱动,客服直接给我给我传了个过来,服务很棒!

NAS是一个很好玩的玩意,它是一个平台,平台上的软件(应用、虚拟机等)和硬件(硬盘、网络设备等)决定了它的能力,值得称道的是目前有太多玩法。

矿潮退却又时值双十一购物季,搭建NAS的成本已经可以降到很低,对NAS有兴趣的朋友不妨入手了玩玩,实在不济咸鱼见也不会亏多少(NAS还比较保值)。

本文主要其实是覆盖面广,基本总结了我的NAS折腾经验,也总结了几位好友的建议,俺觉得一般的问题基本可以得到解答。

不过,这篇文章的篇幅长主要由于覆盖范围广,很多具体玩法细节没有说仔细明白,这一点我很抱歉!超级长文我写的不多,在结构和细节把握上、素材管理上还有所不足,俺后续继续努力,也欢迎各位同好前来交流。

在过去的2020年,网易严选在数据任务治理方面存在一些迫切希望改善及提升的点,2020年初在部门负责人和杭研数科领导的带领下,正式组建团队以“共建”的方式来解决这些希望改善或提升点,经过这一年的项目共建,在解决严选数仓实际问题的同时,沉淀了几个比较好的产品和比较有亮点特色的建设思路及经验。

在号DataFunTalk年终大会中作为嘉宾分享了《网易严选数据任务治理实践》,总结了一下分享给大家,希望对大家有一定的启发和帮助。在严选数仓建设过程中,会陆续面对新的挑战,这些挑战促进了严选数仓逐渐向更成熟和更好的方向演进,那么2020年严选数仓面对哪些挑战呢?(如:任务及时准确稳定产出、减少报警且报警后可干预、具备任务链路感知能力、降低资损事件发生、重大事故快速恢复等),面对这些挑战又是如何来解决的?本文会以事前>事中>事后的思路和大家一起分享这些建设经验。背景
在过去的2020年,网易严选在数据任务治理方面存在一些迫切希望改善及提升的点,2020年初在部门负责人和杭研数科领导的带领下,正式组建团队以“共建”的方式来解决这些希望改善或提升点,经过这一年的项目共建,在解决严选数仓实际问题的同时,沉淀了几个比较好的产品和比较有亮点特色的建设思路及经验,此项目在集团获得了2020年度“技术共享共建奖”,在此感谢两位领导大力支持和平时沟通及指导,同时也为两个团队成员保质保量高效执行的优秀表现点赞。严选数仓在2020年有哪些希望待改善和提升点?

  • 希望在模型设计开发方面有更多的规范、制度、知识沉淀。

  • 任务运维希望任务能及时、准确、稳定产出,同时出现问题可以快速定位问题、影响评估和辅助解决问题。
  • 报警优化减少晚上值班由于任务出错或异常报警次数,并有一些干预措施。
  • 链路感知任务血缘(任务之间的依赖)复杂,希望有一些链路感知能力(某一任务变更对上下游任务有提示及流程管控能力),此链路感知目前用于减少资损事件发生场景。
  • 测试卡点在建设之前严选数仓还没有相应的测试环境,也没有测试辅助功能来协助数据开发进行测试,希望有测试环境及相关辅助测试功能,同时QA同学可以对核心或重点任务进行测试卡点及审核,从而提升任务和数据的质量。
  • 重大事故快速恢复严选一些核心任务或源头数据出现问题后,在项目建设之前恢复可能需要1~2天左右时间,严重影响了数据的正常使用,希望可以从技术层面来协助快速解决,从而提升用户体验。

1 事前——模型上线前第一道防线模型上线前的第一道防线主要总结为5个保障,分别为流程保障、模型设计保障、数据质量保障、测试保障、链路感知保障,这些保障中有些是原来存在的,有些做了一些补充完善,有些是新增的,便于大家能从整体上对于事前保障有所了解,所以会整体说明。1.1 流程保障严选数仓研发一直有比较好的研发流程和规范,本次进行了一些补充,主要有以下三个阶段组成,下面对这三个阶段做一些说明,如下:第一阶段为需求阶段,目前需求来自业务人员、分析师、产品经理等,并通过jira的形式来管理,需求阶段会明确需求背景、主要内容(如:涉及指标口径)、产出价值、希望完成时间等。需求阶段会完成需求评审,评审时再次明确相关指标口径,没问题后由产品经理录入到指标管理系统(仓颉)中。第二阶段为研发阶段,在需求评审后数仓开发依据需求内容进行模型设计并形成模型设计文档,会组织一次模型设计评审会议,此次会议中会再次明确在模型设计中有异议的指标和问题,并重点给出后端开发时使用模型的注意事项(例如:模型粒度、不可累加性指标如何计算,如何关联模型汇总数据等),模型设计后会将模型设计通过模型设计中心进行相关设计沉淀;接下来是任务开发,数据开发有一些公共的规范约定,如:要求单任务产出单模型,任务名和模型名要一致,如果任务存在需要将模型数据同步传输到其它DB(如hbase,mysql,kylin,es等)供统一服务来对外部系统提供服务,则要求与同步任务分开(避免同步任务耗时过久造成后续依赖任务等待)设计,还有很多规范在此不做阐述;任务开发之后便进入了测试阶段,目前在测试阶段会有工具来辅助形成测试报告,后续会详细讲解;测试之后由需求提出方来进行验收(明确没问题后在jira中确定验收通过),自此研发阶段基本完成。第三阶段为生产阶段,生产阶段主要核心内容为数据质量稽核配置和任务运维,数据质量稽核是由数仓开发在数据质量中心对待稽核表或字段进行稽核规则配置(说明:稽核规则配置实际执行时可以在研发阶段或者上线后配置,本文中暂时归到生产阶段);生产阶段中任务运维相关事项由任务运维中心来承载,主要包括任务异常报警通知处理、补数据、重跑、问题处理及复盘,若发生重大事故还会进行事故定级定责等,同时也会有相关考核指标对生产阶段任务稳定性和值班情况进行监控考核。1.2 模型设计保障严选数仓关于模型设计有一个很好的设计理念:先设计后开发,首先会有相应的数仓主题域和数仓架构层次(rdb>dwd>dws>dm)划分,主题域中由相应的业务过程组成,模型的维度、维度属性、度量、指标、最细粒度等相关信息都可以在模型设计中心沉淀,模型设计之后通过模型跨层依赖率指标(是指上层计算指标或应用时,需要取主题域的dwd模型,此时可能来不及通过rdb设计生成dwd模型而直接引用rdb模型)来评估模型设计质量,对于短期来不及设计生成dwd模型的情况可以暂时直接使用rdb模型,数仓主题域开发负责人会尽快设计dwd模型并推动下游任务由rdb引用切换到dwd模型,模型的评估指标也在不断的建设完善中,例如评价模型使用指标模型热度;在模型设计过程中有时发现大家对于数仓层次定位及职责并不是很清晰,或者出现过度冗余设计的问题,有时也会听见同事说”没有需求我怎么设计dwd模型?业务单据中哪些应当设计成维度?”,在此给大家再明确一下,如下图

  • rdb:数据源,保持和业务系统一致。
  • dwd:面向业务过程设计,不需要需求输入,通常由业务过程中单据组成,dwd包含维度及度量(通常来自业务系统数值型字段,例如数量及金额等),定位职责为维度设计(如角色维度、层级维度、缓慢变化度、杂项维度、微型维度、桥接表等)、事实设计(如事物事实、周期快照事实和累积事实等)、代理键设计、数据集成(如严选多交易系统数据集成)、数据清洗(如来自采购库存数量及库存中心库存数量,最终明确使用哪个度量确定唯一来源)、异常值处理(如空值、时间、明确规则的替换)等,相关指标不要在此层设计沉淀,跨主题域相关数据不要进行冗余。
  • dws:面向需求设计,可以是单业务过程、单主题域内多业务过程或者跨主题域多业务过程,核心指标沉淀在此层,通常会做明细和汇总设计。
  • dm:面向需求设计,定位为数据应用及相关数据集市(如从分析维度可以建设用户集市、商品集市等,从业务线划分可以建设营销集市、服务集市等),不做核心指标沉淀,可以做部分非核心指标沉淀,建议指标统一沉淀到dws层。
  • 维度提炼:在维度提炼的过程中,通常从业务过程或单据中相关的who、where、when、how、what、why的角度来提炼,详情参考《维度建模权威指南第3版》。

数据质量保障在数据质量保障方面,严选数仓也沉淀了比较好的建设经验,相关需求以产品功能的形式在数据质量中心落地。数据质量中心从数据的完整性、唯一性、有效性、一致性、精确性出发通过稽核规则的形式来实现,稽核规则粒度到表级和字段级,同时区分强规则和弱规则,强规则任务执行稽核规则不通过任务会阻塞,阻塞后会多种形式(如电话、短信、邮件、网易内部popo等)通知到负责人或值班人员,弱规则任务执行稽核规则不通过会继续执行,同时也会收到相关的通知;稽核规则的配置也可以通过sql方式灵活实现,便于对复杂稽核规则的配置(如指标波动、多表关联等);在数据质量中心也提供了相应的质量大盘、质量排行、质量评分等功能模块,可以对大家的任务进行排行和打分,这些也促进了大家积极的配置稽核规则;在下图虚线框内容关于问题分类、发起问题工单、问题处理、知识沉淀、流程优化以及沉淀知识反哺问题处理等功能还未实现,未来是希望由数据质量中心或任务运维中心来承载。

测试保障测试中心也是今年项目落地的一个产品,定位于QA在任务上线前对任务及数据测试卡点,分为两个阶段,第一阶段为严选数仓测试环境搭建,第二阶段为上线测试中心相关功能并推动使用。第一阶段严选数仓测试环境搭建,在测试中心建设之前严选数仓还没有测试环境,数据开发在猛犸平台开发环境上开发自测没问题后直接提交任务到线上环境(开发和测试环境使用同一集群和DB),由于同一套DB则在开发的同时可能操作线上数据,这增加了数据的不稳定和不准确性,为此和杭研同事一起推动了严选数仓测试环境的搭建,严选的测试环境搭建核心点为测试环境和生产环境使用相同的元数据,同时对核心库(dwd、dws、dm、dim)创建测试库并以_dev结尾,测试环境可以读取线上环境的数据写入到测试库中,测试环境和生产环境中哪个做为数据源或目标库则可以通过“${库名}.模型名”灵活转换,测试环境搭建的过程中也遇到了很多兼容性问题,如部分自定义udf函数兼容、hive版本或spark版本不同带来的自身函数兼容性等。第二阶段上线测试中心核心功能,现阶段测试中心主要有两个核心功能,分别为数据比对形态探查,数据比对功能可以选择不同的模型,设置比对分区和比对字段等,比对后会从模型和字段两个粒度给出相关一致性统计指标数据,并可查看不一致明细信息;形态探查可以对模型的构成信息进行探查(如数量、字段长度、空值占比、最大最小值、枚举值等),测试中心的上线很好补充了整个研发流程测试环节的缺失(QA测试),也为后续测试在整个数据研发流程中更深入的参与及把控数据质量奠定了基础,提升了数据和任务的质量。1.5 链路感知保障首先解释一下什么是链路感知?如何设计链路感知流程?应用场景?链路感知:下图中从上到下分别是数据源层>rdb层>dwd层>dws层>dm层,则dwd层模型9变化后其下游模型(10、11、12、13)都会有相应感知。链路感知流程设计:首先提供末级模型(例如模型13)打标入口,在相应入口页面对末级模型进行打标,打标后任务中心根据模型血缘对上游模型整体打上相关标签,在上游模型对应任务变更提交时则会有相应提示或流程管控。应用场景:目前主要应用在防资损事件发生场景,举例说明:dm模型13是发红包或优惠券用户模型,模型13依赖模型9的数据,则模型9变更调整就需要重点关注,目前支持在模型9对应的任务提交时提示其影响资损模型13,同时发起QA审批流程,按照QA要求准备好相关内容(如需求jira,测试中心比对测试报告等)提交进行审批。

 2 事中——基于「基线」任务运维

关于任务运维,在项目建设前面临待改善的具体点有哪些呢?如下:

  • 任务配置多个报警,造成报警混乱对值班造成干扰。
  • 任务级别没有清晰划分,很难针对不同级别任务采取不同策略动作。
  • 任务完成考核指标需要细化,原考核指标为04:30完成90%任务数量。
  • 不能提前预警,例如在半夜01:00不能预测早上07:00任务完成情况,并给出相应预警提示。
  •  发现问题后由于任务依赖链路复杂而不能快速定位到问题,同时也需要给出一些影响评估信息。
  • 如何设计让整个值班流程(发现问题>报警>问题定位>问题影响评估与通报>问题处理)良性的运转起来?

基于以上这些具体待改善点,最终以功能产品的形式完成了任务运维中心建设,建设思路主要可以归纳为及时发现问题>快速定位问题>全面影响评估>辅助解决问题,在建设过程中提出了基线的概念,通过不同基线对任务级别进行划分,从而可以针对不同基线任务采取不同的策略动作(如:资源限制、优先级高的基线优先配置高优队列、优先级低的任务可以查杀、核心任务重点保障等),下面就任务运维中心一些比较核心的点进行讲解。
基线划分原则及目前基线配置情况基线划分原则主要从任务配置的必要性、重要性、需提前预警几个方面考虑的,目前基线划分的原则如下:基线上的任务为天调度任务,对于小时、分钟、周、月、季、年等任务暂不做基线配置。核心应用需要挂载到基线上,目前严选数仓核心应用主要有vipapp(管理层移动端看数应用)、有数(杭研BI报表工具)重点报告、易信等。核心指标对应的模型需要挂载到基线上(如gmv、用户数、pv、uv等)。预留破线时间buffer,首先针对基线设计了两个时间概念,一个基线预警时间,另一个是基线破线时间,例如07:30基线,预警时间设置为提前三分钟07:00,破线时间为07:30,则程序在01:00时(预估程序预估时间点和频次可配置)预估07:30基线在07:00是否可以完成,若不能完成给出相应的报警(报警方式、报警次数、报警间隔可配置,一般预警只做短信提醒),若在07:30时,07:30基线上的任务还未运行完成则代表破线了,破线会给出报警(此时一般会配置为电话报警)。严选数仓目前配置了如下几条基线,详情如下:

  • 02:30基线:一般dwd层模型对应的任务会配置到此基线上,定位为主题域层模型对应的任务做产出保障。
  • 04:30基线:一般dws层模型对应的任务会配置到此基线上,定位为对指标层模型对应的任务做产出保障。
  • 07:30基线:定位为核心产品应用对应的模型做产出保障(如vipapp)。
  • 09:30基线:定位为数仓全部主题域、指标、应用模型产出做保障。
  • 数仓默认基线:不重要的任务可以挂在默认基线上,若出现集群资源紧张情况,则可以对此基线任务进行查杀。

报警过多措施在前面有提到报警过多的原因主要是单任务可以配置多个报警导致的,以基线设计的运维中心上线后,任务挂到基线上,且任务归属于唯一的一条基线,这就自然的解决了任务报警配置混乱的问题;任务中心在设计报警时,将报警分为两类:一类为基线上预计破线和破线报警,另一类为基线关联任务失败报警(若基线关联的上下游任务没有在基线上则不作报警处理);若收到报警则还可以对报警进行干预,目前可以设置免打扰时间,例如04:30基线收到报警,值班人员判断后续此基线是否在一定时间范围内不需要报警,若不需要则可以设置一个时间段不进行报警。经过上面的措施后为什么还存在报警过多的问题呢?原因是任务运行异常后一段时间内不进行处理会多次报警,此外如果一个任务例如在02:30基线上,破线时还未处理成功,则可能会影响后续基线上任务按时完成,后续基线上的任务会级联预警及破线报警,这就存在报警爆炸的风险,针对这些问题设计了一些报警策略:

  • 电话报警智能取消:20分钟内报警电话智能取消,例如02:00已经电话报警,则针对失败、预估破线等报警方式为电话的在20分钟内的报警智能取消。
  • 报警时间间隔调整:可通过在任务运维中心设置报警时间间隔和报警次数来减少报警,例如预估报警可以设置从凌晨12:00开始每1小时预估一次,如果预估破线则报警,也可以设置每2小时预估一次,这样就减少了报警次数,当然也增加了破线未提前干预的风险。
  • 重复报警整合:首先解释下重复报警,重复报警为任务失败后,报警间隔时间内检查一次任务状态,若未成功处理则进行第二次报警。经过和同事的沟通决定报警整合策略为第一次报警时间+报警间隔时间进行整合到下一个报警中,例如报警时间设置为00~24点,报警间隔时间为30分钟(00:00报警检查一次、00:30为第二次、01:00为第三次,以此类推),任务A 02:15失败则第一次报警,02:30的报警中不合并任务A的重复报警,会在03:00报警,这样做降低了重复报警的次数。

2.3 关键链路诊断关键链路诊断也是任务运维中心一个比较核心的功能点,在基线预警或破线时由于基线上可能配置成百上千个任务,是由于哪个任务运行异常(失败、运行时间延迟、运行完成时间延迟等)导致的基线预警或破线?人工定位是一件非常困难的事情,为此设计了此功能点,设计的关键点如下:

  • 计算逻辑:基线上耗时最长的任务链路。
  • 计算频次:每10分钟计算一次。
  • 两条曲线对比:下图中蓝色曲线为基线任务近14天平均运行完成时间,黄色曲线为今天的任务运行情况,若查看的时间点任务未产出则使用预估时间进行替换。

从下图箭头所指的地方可以看出来由于某一个任务运行的延迟导致了整条基线的延迟,这就很好的帮助了数据开发同学在基线任务异常时快速定位问题。

影响评估当发生问题后领导最常问的问题是影响有多大?什么时间可以恢复?这也是通过关键链路诊断功能确定问题后值班人员直接面对的问题,接下来就可以通过影响评估功能来解释这些问题。当一个任务运行异常或失败,根据任务依赖血缘会给出影响的任务,以及任务相关的应用,目前影响评估还只是到模型、任务、服务这些粒度,后续计划到指标粒度,一个任务失败可以快速告知评估者影响了哪些指标,对于影响的指标目前还是有些难度的,例如一个任务下游有100个任务并对应100个模型,每个模型按照5个指标计算就有500个指标,500个指标可能存在相互之间的关联关系,如何梳理清楚并清晰的展现需要接下来逐步实现。3、事后——报警干预措施及常态化机制3.1 干预措施报警后值班人员可以进行一定的干预,干预措施总结如下:

  • 对数仓默认基线任务进行查杀。
  • 值班免打扰设置(根据预估执行时间推荐免打扰设置时间范围)。
  • 关键链路诊断&影响分析:定位问题和评估影响。
  • 集群队列资源动态平衡:及时平衡集群队列资源,避免过多任务等待或由于任务资源不足造成的耗时增加,此条并没有完全实现,后续是希望能做到任务由于资源问题运行时间延长时可以随时动态增加资源,有待解决。
  • 问题处理知识库:通过问题日志,以及日常解决处理问题总结,给出异常问题的解决方法参考建议。

3.2 重大事故快速恢复如下图是一张任务执行的DAG图,若节点A和节点B执行的结果存在问题,需要重跑任务A和任务B,那么在新的任务运维中心建设之前存在哪些问题呢?如下:

  • 问题1:重复运行,例如分别重跑任务A和任务B以及两个任务的下游任务,此时任务C执行两次,耗费平台资源的同时且容易造成数据异常。
  • 问题2:停止异常任务及下游任务比较耗时且耗费集群资源,例如任务B执行结果数据异常,此时希望选择任务B然后执行停止操作,此操作可以级联停止下游正在运行或等待运行的任务,而不是下游任务手动一个一个选择然后进行停止操作,这样操作即耗时又消耗集群资源。

那么是如何解决的呢?在此引出了冻结池的概念,基本思路是这样的,首先会创建一个冻结池,然后为这个冻结池框选根源任务,例如上图中的任务A和任务B,然后执行冻结任务,执行任务冻结时程序会终止任务A和任务B及其下游正在运行中的任务,等待运行的任务不再运行,接下来执行解冻任务,解冻过程会进行任务的重跑,重跑的过程中可以设置任务执行的并行度,具体执行过程要比这复杂,在此不做累述。3.3 常态化事项在项目的建设过程中形成了比较好的常态化事项,在此列举下,相信对从事数据开发或运维的小伙伴有所帮助,如下:

  • 冷任务定级:冷任务定级(一级任务上线到当前一个月未被下游使用,二级任务上线到当前三个月未被下游使用,三级任务上线到当前六个月未被下游使用),针对不同级别的任务采取不同的策略(如一级通知,二级通知及开发邮件补充未下线理由,三级进行直接下线)。
  • 耗时任务优化:针对耗时任务进行排名、优化。
  • 引擎切换:计算引擎从Hive切换到spark,提升计算速度。
  • 任务长链路优化:针对几条任务依赖长链路(履约、营销玩法拆分等)进行任务拆解(运行慢指标逻辑部分拆分)、并优化后续依赖任务。
  • 维表设计优化:维度表中相关标签类指标进行拆分到相应的扩展表中(如商品维表中针对sku_id的首销时间、首销金额等)。
  • 任务报警兜底优化:对于任务运行或完成时间(后续时间可以配置)超过一定时间后,进行相应的报警。

监控复盘关于监控复盘,主要从两个角度设计的,一个是值班过程中,另一个是值班后。在值班过程中值班人员对于值班过程中发现的问题进行响应,依据响应的时间和响应次数等设计了如下指标:电话报警次数、有效响应次数、有效响应率、有效响应平均时长等,并在任务运维中心运维大盘中以图表的形式展现给值班人员;值班后在有数(杭研BI报表工具)上做了一些列监控报表,例如基线完成时间趋势图,基线预警及破线时未完成任务列表等,同时每周会在中心周会上针对一周任务运维出现的问题进行推进解决;通过这样的值班指标设计、一系列监控报表及周会复盘制度,很好的保障了任务及时、准确、稳定的产出。4 未来一些思考在后续还是有很多事情要做的,如下:

  • 关键链路诊断:目前是单链路或输入任务,后续可以考虑多链路排序展示,开发人员来选择多条链路分析。
  • 多基线任务问题联合定位:多条基线任务智能定位,发现单任务引起的多基线多报警问题,做智能取消处理。
  • 影响分析进阶:指标层面影响分析,多任务影响联合分析。
  • 报警配置优化:值班组报警配置向基线报警配置优化、报警接收方式、报警类型、报警次数拆分等。
  • 数据质量评估体系:重点推进模型(复用、健壮、规范)、任务、指标等质量评估指标体系的建设。

未来严选数仓的建设会面对新的挑战,是挑战也是机遇,本人平时也会在大数据相关技术和理论方面做好深度和广度知识储备,伴随公司一起成长,向未来出发,加油!
作者简介静远,网易严选数仓资深数据开发工程师,目前主要负责服务线(供应链&财务)主题域架构设计和数据应用开发,具有丰富的数仓体系建设和维度建模经验(网易云课堂分享一系列维度建模课程,大家可以前往学习),在数据应用方面如:成本费用体系、财务结算、核算、对账、供应链履约降本考核监控策略支撑等具有丰富建设和应用经验,很好的推动了整个严选数仓体系、供应链和财务域的建设。

我要回帖

更多关于 网易云音乐有简洁模式吗 的文章

 

随机推荐