玩转大数据开发套件--下篇(大数据开发价格,关键词优化)

目前大数据工具林林总总，能解决的问题各方各面，但是在真正落地到企业的时候却往往因使用问题遇到障碍。为此星环针对使用体验上的需求打造大数据开发套件Transwarp Studio，深化大数据技术的应用，在数字化浪潮下推动大数据技术对产业的赋能。

上一篇文章，玩转大数据开发工具--上篇，讲解了OLAP Cube模型创建工具Rubik在5.1中的提升点，以及新成员报表工具Pilot的功能和特征。本文将继续介绍Studio 5.1中的三个工具：高吞吐低延迟的日志存储分析工具Milano、界面化的全新数据流同步工具Transporter、以及功能再升级的工作流引擎Workflow。

日志存储分析 Milano

Milano是Studio家族的第六个新成员，提供集群日志分析服务，既可以用于TDH平台日志分析，也可以直接作为客户应用的日志处理平台使用。Milano采用Filebeat+Kafka+Logtash+Elasticsearch+Kibana的架构，为用户提供便利的接口实现日志检索和统计分析，以及基于日志的预警功能，克服了传统方式在大规模集群中做高级统计分析的障碍，并实现可视化的监测。

Milano提供优秀的吞吐量性能，以及低延迟的响应；保证水平可扩展，且不丢数据；同时提供可靠的安全保护，谨防系统日志的泄漏。因此，其技术优势可以总结为以下三点：全链路高吞吐、全链路安全管控、全链路高可用。

全链路高吞吐

Milano的构成组件之中的Kafka和Elasticsearch本身具备高吞吐可扩展特性，可以根据压力灵活扩展。Milano单节点的每秒日志收集量可达15000条，3节点的Milano监控集群日志量每日收集可以达到10亿条。同时，Milano保障低延迟的入库，从日志产生到入库仅需10秒内的时间间隔。

全链路安全管控

Milano在日志收集、传输、分析等各个环节上实现安全管控。Kafka和Elasticsearch的数据通信都经过Kerberos加密，保障数据在传输过程的安全性。每个租户的数据只允许进入授权的Kafka Topic或Elasticsearch Index，使各个租户日志之间相互隔离，确保数据隐私。此外，对于可视化的监控界面Kibana，每个用户都拥有自己的Kibana实例，通过LDAP实现安全认证。

全链路高可用

Milano的高可用性通过以下两方面保证。首先，Kafka、Elasticsearch自身提供高可用保证，其他无状态的组件通过Kubernetes多实例部署的方式保证高可用。其次，Kafka、Elasticsearch、Filebeat等服务自身都提供状态监控，配合告警服务，可保证数据高可用，以及数据不丢不重。

数据流同步 Transporter

Transporter是一款数据流控制工具，用于控制数据在数据源之间的流转和同步。Transporter随TDH 5.0推出，但当时采用文件定义和命令的方式实现数据流转的设计和实现，对于没有技术基础的用户比较难上手。因此我们投入Transporter界面化的工作，使之在5.1中正式上线。

Transporter 5.1以图形化操作取代配置文件编写，极大提升数仓构建效率。Transporter基于Web提供数据流设计和控制，允许用户自助设计数据流转的业务规则，提供数据实时同步、ETL、卸数功能。

近实时同步

Transporter可对接Oracle GoldenGate、DataStage等ETL工具，并近实时的将数据同步进Inceptor；支持读取MySQL和TxSQL日志，并近实时同步到数据仓库，同时支持分Shard模式的日志同步；提供分钟级的数据同步方案。

图形化ETL

Transporter允许用户在设计面板上通过拖拽图形化控件和配置参数，将数据源和各种数据转换操作定义在数据流转流程中。同时支持丰富的数据源，除了可以对接Inceptor外，还支持外部数据源JDBC、CSV文本和定宽文件。

卸数功能

Transporter提供从Inceptor卸数的服务，将数据以CSV文件格式导出并存放在HDFS上。

工作流设计 Workflow

Workflow作为工作流引擎，使工作流的触发与执行被自动化，大幅简化工作流调度设计与管理工作，图形化的设计方式让作业任务之间的逻辑关系更清晰，业务人员可以快速上手。Workflow在Studio 5.1中得到进一步升级，设计界面更丰富，主要的提升点有：增加工作组概念、界面化调度周期设置、丰富监控页面内容。

新增工作组

Workflow 5.1增加了工作组的概念，支持将任务以组为单位进行组合设计，实现调度和监控。工作组提高了工作流设计的逻辑性，使工作流管理更方便。

调度周期

Workflow 5.1开始实现交互式的表达式设计页面，用于配置调度周期，并提供多周期的调度支持。

升级的监控页面

Workflow 5.1在监控页面上新增一级子页面，提供更多的工作流监控历史信息。同时，在工作流监控页的详情页面中，用户可以查看某段指定时间区间的工作流任务执行详情。

结语

大数据开发套件的价值在于，它可以切合大数据开发需求，消除大数据开发工具在用户体验上的痛点，让大数据产品就像日常工具一样，不论我们是否懂它内部的技术原理，拿到它或者经过简单的学习就可以上手使用。今后我们会继续投入提升Transwarp Studio的各项能力，构建完善的大数据生态体系，使用户能够自主打造自己的大数据应用。

点击或回复关键词，查看相关内容

公司

简介 | 星环科技成长大事记

投资 | 星环科技获腾讯领投2.35亿C轮融资，与腾讯云达成战略合作

产品

产品 | 星环的划时代版本-Transwarp Data Hub 5.0

TDH社区版 | TDH社区版提供官方下载

评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)？

流式计算 | 用Slipstream构建复杂事件处理应用

Holodesk | 业界最强的SQL引擎Inceptor为何这么快？

培训 | 学完这些课程，你也是大数据专家了！

认证考试 | 数据中心联盟—星环联合认证体系首次认证考试报名中

技术

技术 | 原创技术干货大合集！

技术支持 | 最完整的星环技术支持体系

评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)？

TED视频 | TEDxLujiazui精彩视频：【大数据 大趋势】

白话大数据 | 白话大数据合集

案例

银行 | 河南农信：数据辅助决策，决策引领创新

证券 | 中泰证券：剑指大数据处理 多券商革新IT架构

智能金融 | 星环科技发布证券业大数据战略规划纲要(白皮书)

运营商 | 运营商的新方向-运用Hadoop技术将大数据资产变现

交通 | 大数据在智慧高速中的创新应用

物流 | 星环Hadoop发行版助快递业迎战“双十一”

邮政 | 中国邮政大数据平台建设

税务 | 大数据提升税务系统核心能力

审计 |让数据成为竞争力

视频监控 | Hadoop大数据在实时视频监控的应用场景

广电 | Hadoop企业级应用新添重磅案例

电力 | 华南某市供电局全景可视化大数据平台案例

能源 | 厉害了，我的营销大数据！

智能工厂 | 大数据技术助力中国石化智能工厂

农业 | 农业大数据的研究与实践

医药 | 医药产业链大数据前沿探讨

速记

【速记】河南农信 牛玲玲：数据辅助决策，决策引领创新

【速记】数起科技 李明国：让数据成为竞争力

【速记】天士力 刘晓煜：医药产业链大数据前沿探讨

【速记】国家农业信息化工程技术研究中心 陈天恩：农业大数据的研究与实践

【速记】同济大学教授 王伟：同济-星环“数据科学与大数据实践平台”建设

【速记】第一创业证券 瞿任雄：基于星环TDH大数据平台构建新一代券商数据中心

【速记】南方基金 屈磊：基于TDH数据中心大数据平台建设

【速记】中泰证券 何波：基于机器学习的场外配资自动识别系统