博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Data Artisans发布支持ACID事务的流式处理框架Streaming Ledger
阅读量:6717 次
发布时间:2019-06-25

本文共 1285 字,大约阅读时间需要 4 分钟。

data Artisans宣布推出,它扩展了Apache Flink,提供了跨表、键和事件流执行可序列化ACID事务的功能。这项正在申请专利的技术是Flink的专有附加技术,超越了当前一次只能在一个键上实现一致性的标准。

\\

在发布Streaming Ledger之前,流式处理框架(如Flink和Spark)只提供一次性语义,只能在单个键上实现一致性。然而,随着data Artisans Streaming Ledger的发布,Flink现在允许跨越事件状态边界,同时仍然能够保证ACID事务。ACID是事务系统关键组件的首字母缩写。

\\

原子性:事务以原子方式应用所有更改,事务函数要么执行全部修改或不执行任何修改。

\\

一致性:事务函数将表从一个一致状态带入另一个一致状态。

\\

隔离:执行事务时,就好像当前事务是在表上运行的唯一事务。

\\

持久性:事务所做的更改是持久的,永远不会丢失。

\\

根据ACID原则实现的事务作为单个操作执行,要么全部完成要么全部失败。这确保了数据一致性,即使是发生了中断或应用程序错误。ACID事务的一个常用例子是将资金从一个银行账户转移到另一个银行账户。虽然Streaming Ledger是流式处理框架中第一个实现ACID事务的,但ACID事务已经在SQL Server和Oracle等关系数据库系统中存在了很长时间。

\\

78d5f3338c6fd62fb0c1dfda1c0cb988.png

\\

来源:Data Artisans Streaming Ledger白皮书

\\

Artisans公司由开源流式处理框架Apache Flink的原作者创建,提供了一个流式处理基础设施,其中包括数据Artisans Platform,也称为dA平台。该平台由Apache Flink、dA应用程序管理器和Streaming Ledger组成。该公司专注于流式处理领域,WSO2研究副总裁Srinath Perera将其描述为一种大数据技术,允许查询数据流并基于信息做出决策。

\\
\

流式处理是一种大数据技术。它让用户能够在接收数据之后的一小段时间内快速查询持续数据流并检测条件。检测时间段可以从几毫秒到几分钟不等。例如,通过流式处理,你可以查询温度传感器的数据流并检测温度何时达到冰点,以便接收警报。

\
\\

data Artisans还发布了一份白皮书,介绍了Streaming Ledger的。例如,我们发现该架构由四个基本构建块组成。用于维护应用程序状态的表、用于更新表的事务函数、驱动事务的事务事件流和根据流处理成功或失败发出事件的可选结果流。此外,在事务中修改表时,表与并发更改是相互隔离的。因此,即使是跨多个流,也可以确保数据一致性。

\\

c3ec19d151af5005b77e2fd59660b7c3.png

\\

来源:Data Artisans Streaming Ledger白皮书

\\

Data Artisans还提供了一个,可以从源代码构建Streaming Ledger或从Maven Central中获取它。此外,存储库还提供了几个入门示例,如示例,演示了如何使用Streaming Ledger。

\\

查看英文原文

转载地址:http://yqelo.baihongyu.com/

你可能感兴趣的文章
漢譯Promises/A+規範
查看>>
IO阻塞与IO非阻塞2
查看>>
设计模式——桥接模式
查看>>
1120: 最值交换
查看>>
windows 系统变量大全
查看>>
GL_GL系列 - 会计科目管理分析(案例)(未完成)
查看>>
python逻辑运算符
查看>>
线段树模板(洛谷P3372)
查看>>
django02配置相关
查看>>
SCU4436 Easy Math
查看>>
git LF CRLF
查看>>
Beta阶段对团队成员公开感谢
查看>>
2016年终总结
查看>>
KindEditor
查看>>
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".错误的解决方法
查看>>
图像处理之基础---卷积,滤波,平滑
查看>>
laravel框架——保存用户登陆信息(session)
查看>>
mapreduce 读写Parquet格式数据 Demo
查看>>
大白话系列之C#委托与事件讲解大结局
查看>>
云岸数字
查看>>