离语

semaphore

首页 >> 离语 >> 离语最新章节(目录)
大家在看嫡女重生:反派奸臣又投怀送抱了 蹂躏男主后,他将我宠上天 综影视:男配生存日常 全村虎豹豺狼,空间寡妇带崽逃荒 盛宠皇妃:夫君,要亲亲 种田神医:夫君,强势宠 福星高兆 盛世婚宠:老公送上门 死了五年,狗皇帝居然要我当替身 仙医帝妃 
离语 semaphore - 离语全文阅读 - 离语txt下载 - 离语最新章节 - 好看的古言小说

第291章 冬瓜

上一章书 页下一页阅读记录

ETL是企业数据仓库构建过程中的一个核心步骤Y我们可以借助于ETL

工具来高效地完成数据抽取转换和加载工作之所以需要ETL工具Y

主要有以下几个原因X

?

1?当数据来自不同的物理主机Y这时候如果使用SQL语句去处理的

话Y就显得比较吃力且开销也更大]

?

2?数据来源可以是各种不同的数据库或者文件Y这时候需要先把它

们整理成统一的格式后才可以进行数据的处理Y这一过程用代码实现

显然有些麻烦]

?

3?在数据库中我们当然可以使用存储过程去处理数据Y但是Y处理

海量数据的时候Y存储过程显然比较吃力Y而且会占用较多数据库的

资源Y这可能会导致数据库资源不足Y进而影响数据库的性能。

在选择ETL工具时主要考虑如下因素X

?对平台的支持程度]

?抽取和装载的性能是不是较高Y且对业务系统的性能影响大不

大,高不高]。

?对数据源的支持程度]。

?是否具有良好的集成性和开放性]。

?数据转换和加工的功能。

?是否具有管理和调度的功能。

CDC解决方案包括变化捕捉代理变化数据服务和变化分发机制三个

组成部分

?

1?变化捕捉代理变化捕捉代理是一个软件组件Y它负责确定和捕

捉发生在操作型数据存储源系统中的数据变化可以对变化捕捉代理

进行专门优化Y使它适用于特定的源系统Y比如使用数据库触发器]

也可以使用通用的方法Y比如数据日志比较。

变化数据服务变化数据服务为变化数据捕捉的成功实现提供了

一系列重要的功能Y包括过滤排序附加数据生命周期管理和审

计等表6-4给出了每个功能的解释。

变化分发机制变化分发机制负责把变化分发到变化的消费者?通

常是ETL程序?那里变化分发机制可以支持一个或多个消费者Y并且提

供了灵活的数据分发方式Y包括推(push)或拉(pull)的方式Pull方式需要

消费者周期性地发送请求Y通常采用标准接口实现Y比如ODBC或JDBC

Push方式需要消费者一直监听和等待变化的发生Y一旦捕捉到变化Y就立

刻转移变化的数据Y通常采用消息中间件来实现变化分发机制的另一个

重要功能就是提供动态返回和请求旧的变化的能力Y从而满足重复处理和

恢复处理等任务。

变化数据捕捉技术有两个典型的应用场景X面向批处理的CDC

?

pull CDC?和面向实时的CDC?

push CDC?

1.面向批处理的CDC

在这种场景中YETL工具周期性地请求变化Y每次都接收批量数据Y

这些批量数据是在上次请求和这次请求之间所捕捉到的变化变化

分发请求可以采取不同的频度Y比如一天两次或每隔15分钟1次。

对于许多组织而言Y提供变化数据的一种比较好的方式是以数据表的记

录的形式表示这种方式可以使ETL工具通过标准接口?比如ODBC?的

方式无缝地访问变化数据CDC则需要维护上次变化分发的位置和分发

新的变化

这种应用场景和传统的ETL很相似Y不同的是Ypull CDC只需要转移变化

的数据Y并不需要转移所有的数据Y这就极大地减少了资源消耗Y也消

除了传统ETL过程的宕机时间。

面向批处理的CDC技术简单Y很容易实现Y因为它和传统的ETL很相似Y

并且使用现有的技术当企业对时间延迟以分钟或小时来进行衡量时Y

采取这种方式比较可行。

这种场景满足零延迟的要求Y变化分发机制一旦探测到变化Y就把变化

push给ETL程序Y这通常是通过可靠的传输机制来实现的Y比如事件分发

机制和消息中间件?如MQ Series?

虽然面向消息和面向事件的集成方法在EAI产品中更为常见Y但现在Y已

经有很多ETL工具厂商在他们的解决方案中提供这种功能Y以满足高端

实时的商务应用需求当BI应用需要零延迟和最新的数据时Y这种实时的

数据集成方法就是必须的。

很显然YCDC技术提供了诸多好处Y但也有几个值得思考的问题Y具体如

下X

?

1?变化捕捉方法读取数据库的日志文件使用数据库触发器数据比

较和在企业程序内编写定制的事件通知

?

2?对操作型系统的入侵程度对系统造成影响由高到低源代码入侵进

程内或地址空间入侵?数据库触发器?不影响应用的操作型数据源?使

这章没有结束,请点击下一页继续阅读!

喜欢离语请大家收藏:(m.caowuxs.com)离语草屋小说更新速度全网最快。

上一章目 录下一页存书签
站内强推嫡女重生:反派奸臣又投怀送抱了 我每月能刷新金手指 枌榆草木长 万古邪帝 人在迪迦二十年,终于成为邪神 综影视:男配生存日常 我夺舍了隋炀帝 千亿挚爱:豪门总裁的心尖宠儿 大圣道 医后倾天(爆萌狐宝:神医娘亲要逆天) 至尊女帝:天下第一盛宠 都市之绝品仙帝 万古神帝内 武逆 冷帝绝宠:毒妃,不好撩 昆仑神将 冥媒正娶:鬼夫凶猛我不要 快穿:黑化病娇放肆宠! 四合院:开局给许大茂戴帽 低声哄老婆,陆爷又来求复合 
经典收藏王妃她只想守寡 凤启九玄之绝世皇后 总是在换剧本 疯批陛下的黑莲花重生了 绝世帝女一睁眼,三界神魔皆跪服 快穿之我靠美貌让人悔不当初 医妃妖娆:尊主,请矜持 毒妃妖娆:邪帝,来战! 丞相有德,妾身心慕 胎穿后,我从弃女变成了团宠 重生魔帝,我得离他们远一点 我在古代开星舰 我捡了个南宋少女 被赐避子汤,我成了皇帝白月光 穿越荒年极品老妇,我被儿孙们啃成首富 顾少的全能娇妻 我在古代逃荒路上如鱼得水 二嫁入宫,我给皇孙当后娘 将军的冲喜小娘子 青婉梦 
最近更新地府来的疯批师妹,带宗门狂上天 夫君迎穿越女进门那日,她觉醒了 摆脱,谁爱宅斗啊修仙不好吗? 一言不合拔腿就跑的将军夫人 新妇一身反骨,给婆家挨个添堵 穿越魏晋南北朝,之乱世求生记 修仙而已,谁还不是个天道宠儿? 老实修仙,但他们都说我欠了情债 一念沉沦 三叔别考了,我爹已经黄袍加身了 神尊大人又跪搓衣板啦 穿越为妾,白月光竟是我自己 重生靖康年,我朱元璋打造铁血大宋 被休再高嫁,侯府上下死绝了 青梅和白月光有孕后,我反手迎娶女帝 我是元九,有何不可! 惨死重生后,成了反派权臣掌上娇 快穿:作精宿主绑定生子系统 退休大佬穿错书,美人夫君逆天宠 穿越西天山 
离语 semaphore - 离语txt下载 - 离语最新章节 - 离语全文阅读 - 好看的古言小说