大数据解决方案
发布时间: 2017-08-21 14:33
以“数据即服务”的理念，从上百个 异构系统抽取元数据汇总到大数据平台，经过数据清洗，治理，分类和建模处理后，按需将数据虚拟化。制定数据安全权限， 可与相关单位共享集团数据资源
睿晖的大数据解决方案是基于Spark 和 Pivotal Gemfire/Geode 内存计算技术（IMC - In Memory Computing）的HTAP架构（Hybrid Transactional Analytical Processing）。 Gartner預測，到2020年， IMC將被納入大多數主流数据平台中 。 IMC（内存计算）是HTAP的理想选择，因為它支持實時交易數據的實時分析和態勢感知，而不是依賴於對陳舊數據進行事後分析。通過內存計算，整個事務數據集已經在内存中，可以進行分析。 更複雜的內存計算平台可以將計算與數據共同定位（co-locate），以跨數據集群運行快速，分佈式分析，而不會影響事務處理，這意味著不再需要將操作數據集複製到OLAP系統。
使用IMC最大的优点是它將使企業能夠實施混合事務/分析處理（HTAP）的策略，這些策略可通過提供對大數據集的實時洞察，同時降低成本來徹底改變數據處理。
数据即服务（DaaS）和 混合业务数据架构（HTAP）
数据即服务（DaaS）的逻辑是指将数据集中化管理，可以是物理的集中或是逻辑的集中；将数据相关的任何服务都安排在一个集中化的位置，如数据聚合、数据清洗，数据质量管理等。将数据（例如，交易、产品以及客户数据）按需求将“数据虚拟化”，提供给特定的应用和用户，而不用考虑数据具体的存放位置或者不同的组织部门。
HTAP（Hybrid
Transactional Analytical Processing ）的架构是国外企业最新崛起的IT架构， 是一款同时支持
联机事务处理（OLTP）和 联机分析处理（OLAP）两种业务类型的分布式架构，支持分布式事务，在线弹性扩容，异地多活及自动故障恢复等功能。HTAP的优势是可以将 OLTP 和 OLAP 两种业务在同一份数据上进行，免去数据从运营数据库复制，落地，转换，加载到数据仓库的复杂流程, 极大的降低了数据存储成本，缩短了数据分析处理的延迟时间。另一方面分布式的并行处理将数据分析，推荐系统，报表等多种大数据和 OLAP 的场景与 OLTP 相结合，为实时的商业分析以及企业决策提供了支持
DaaS 的优点
1. 敏捷性：将数据整合和虚拟化后，客户能够快速的开发虚拟应用来调用虚拟数据，无需再去考虑底层数据的来源
2. 成本效益：DaaS 提供API数据接口，客户可以使用任何中间件平台来开发应用，使系统升级和维护变得更灵活
3. 数据清洗：数据清洗是指发现并纠正数据文件中可识别的错误，包括检查数据一致性，处理无效值和缺失值等
4. 数据质量：通过 DaaS 服务来控制数据的访问，因为更新点只有一个入口，可保证集团各个部门所引用数据资料的一致性
5. 效率、高可用和弹性：底层采用虚拟机环境架构，可共享服务器资源提升效率，或是跨多个物理服务器的集群可以提高可用性，动态调整和实时迁移集群节点到不同的物理服务器增强弹性
ADaaS的精髓在于使数据管理更为集中化，让更多的用户无需去注意底层数据的问题，而将注意力完全放在如何使用这些数据。
DaaS的主要应用范围
1.快速建立集团企业的虚拟组织架构：
建立中央（总部）, 省（大区），市（地区）等跨地域的“虚拟组织”架构，按业务目标和业务职责制定每个人员的角色和数据访问权限来共享集团数据。集团可建立多个虚拟组织共享ADSP的数据枢纽服务
2.快速建立客户，集团，和供应商的供应链体系：
客户，集团相关部门（例如，财务，销售，采购，物料仓储，品检）与外部供应商建立“供应链虚拟组织”，提高客户满意度，资产使用率和工作效率等环节
3.政府部门制定“公开数据 （Open Data）”的规则，将数据标准化，集中化和公开化：
DaaS 适合于支撑政府部门公开数据的平台，提供数据大集中的公共信息服务，例如：政务云，公安云，交通云，教育云，医疗云等服务。
4.DaaS 汇聚“行业”数据，进行行业深度数据挖掘，统计，和预测分析，开发新产品，供集团决策依据
5.DaaS可提供互联网营销平台和探求未来商业模式的创新
6.DaaS可汇聚物联网（IOT）数据，提供实时的数据分析，优化流程，提高生产效率
English
简体中文
