数据中台通用查询管理软件

I 产品背景

       ●  企业的数字化转型过程中如何积累宝贵的企业数字资产

       各类的营销活动、风控预警、贷前审批等业务涉及很多可重复应用的数据查询需求以及查询模型;目前业务人员或没有积累,或因为种种原因无法共享和复用这些平时生成的业务查询逻辑与模型,最终无法沉淀下来形成企业宝贵的数字资产。引入通用查询可以极大程度缓解这种“浪费”的行为,在企业的数字化转型过程中,沉淀宝贵的数字资产。

       ●  如何提高海量数据的查询性能?

       传统的查询工具软件,面对海量数据时,存在性能瓶颈,无法有效地进行数据查询分析以及后续的运算。随着大数据技术以及分布式架构应用的逐渐普及,计算平台性能有了明显提升,令海量数据的即时查询分析成为现实。

       ●  如何实现跨数据平台的数据查询?

       通常情况下,不同的数据平台,需要编写不同的程序代码进行数据查询。这种实现方式,程序代码量大,具有核心价值的查询逻辑都淹没在大量代码当中,且程序编写规范不一,可复用性和可维护性差。将通用查询产品化,通过SQL语句查询绝大多数的数据源, 包括且不限于传统数据库、分布式数据库、分布式文件系统等。产品提供可视化、标准化模板和一致的设计范例,实现数据查询的快速定制。

       ●  如何简化开发流程?

       开发一个新的查询应用,或者修改一个查询应用的业务逻辑,往往需要业务人员走一个颇为费时的过程:提出需求->科技人员分析需求->科技人员开发实施->业务人员验收等过程。

        通过产品的可视化建模和“查询应用”自定义功能,业务人员可自行完成开发、试运行和发布过程,无需科技人员介入,降低了沟通成本提高了工作效率

| 产品简介

       数据中台通用查询管理软件(VQ),是一款针对大数据环境下可视化数据查询与分析的软件产品。产品(可选)融合了查询引擎SparkletQ,通过SQL语句查询绝大多数的数据源,实现快速查询数据。产品支持传统的关系型数据库如Oracle、Mysql,以及主流的分布式数据源如MPP数据库Greenplum、GBase、Doris,分布式文件系统HDFS,甚至是本地Excel文档等多样数据源。
       产品可面向科技人员,也可以面向业务人员。业务人员通过产品的可视化建模和“查询应用”自定义功能,实现模型自动生成数据处理代码 -> 提交到后台调度系统 -> 后台根据依赖关系顺序执行,通过这种形式支持业务分析人员直接开发查询应用支持商业决策,无需科技人员参与。

| 产品功能

       ●  数据源定义

       通过该功能定义要进行数据查询的数据源,产品支持传统的关系型数据库如Oracle、Mysql,以及主流的分布式数据源如MPP数据库Greenplum、HDFS、甚至是本地Excel文档等多样数据源。

       ●  查询创建

       支持可视化建模或以标准的SQL查询语句为主体实现各类数据查询和分析。

       ●  查询提交

       除了可以随时保存查询逻辑为个人专有的草稿版本,还可以把成型的查询逻辑提交到系统元数据库保存为一个正式版本。可以快速共享、回滚任一版本。

       ●  查询请求 

       系统在用户查询请求的瞬间会给予性能建议,用户可选择进行即时查询还是让系统进行后台的异步查询;后台异步查询可以有效缓解高峰时段的系统资源瓶颈;并在系统空闲时段运行查询并通知用户查看查询结果,大大提升用户对海量数据的查询体验。除此以外,针对快速返回查询结果,还提供了智能分页等优化体验的特色功能

       ●  查询固化

       验证查询有效性后用户可以把数据查询的分析结果以数据表的形式保留在目标服务器;结合调度系统,后台批处理将会定时通过查询逻辑更新数据。

       ●  查询分享

       支持分享查询逻辑(可选包含加密的查询结果数据)。

| 产品特性

  • 界面友好,为数据探索和商业决策提供一个容易导航的环境。产品提供可视化建模和一致性的设计模板,用户自行定制查询应用,实现实时查询数据和查询结果分享;
  • 针对海量大数据场景,提供了异步查询与智能分页等优化体验的特色功能;
  • 支持对结果数据集的二次运算,并支持异构数据源的汇总;
  • 支持通过发布查询逻辑,把数据分析固化为数据表保留在目标服务器;
  • 支持分析结果的加密分享。

| 产品应用场景

      应用于银行、证券、保险等金融行业,为企业建立大数据查询中心提供支撑,为企业进行数字化转型提供助力。可以作为某个应用系统的查询功能组件,解决跨数据平台、查询性能低下、查询功能重复开发、查询功能管理分散、查询程序编写规范不一等痛点问题。

 

数据业务化软件


产品拥有快速且持续的数据集成能力,灵活的数据试错能力,数据分析与桌面计算能力,强大的数据检验能力,具有安全、开放与高度可定制性。