提取转换加载(extract, transform, load,简称ETL),用來描述將資料從來源端經過抽取(extract)、轉置(transform)、載入(load)至目的端的過程。ETL一詞較常用在資料倉儲,但其對象並不限於資料倉儲。
ETL與ELT
ETL所描述的過程,一般常見的作法包含ETL或是ELT(Extract-Load-Transform),並且混合使用。通常愈大量的資料、複雜的轉換邏輯、目的端為較強運算能力的資料庫,愈偏向使用ELT,以便運用目的端資料庫的平行處理能力。
工具
ETL(或ELT)的流程可以用任何的程式語言去開發完成,由於ETL是極為複雜的過程,而手寫程式不易管理,有愈來愈多的企業採用工具協助ETL的開發,並運用其內建的元数据(metadata)功能來儲存來源與目的的對應(mapping)以及轉換規則。
工具並可以提供較強大的連接功能(connectivity)來連接來源及目的端,開發人員不用去熟悉各種相異的平台及資料的結構,亦能進行開發。
参见
- 資料倉儲(DW,Data Warehouse)
- 决策支持系统(DSS,Decision Support System)
- 線上分析處理(OLAP,Online Analytical Processing)
- 数据挖掘(DM,Data Mining)
- 商业智能(BI,Business Intellegence)
外部链接
- CloverETL(页面存档备份,存于互联网档案馆)
- Pentaho Data Integration(页面存档备份,存于互联网档案馆)
- Talend Open Studio(页面存档备份,存于互联网档案馆)
- Benetl (freeware)(页面存档备份,存于互联网档案馆)
- Simple Data Integrator (页面存档备份,存于互联网档案馆)
数据 |
---|
| - 数据增强
- 数据分析
- Data Archaeology(英语:Data archaeology)
- 大數據
- 数据清洗
- 資料收集(英语:Data collection)
- 数据压缩
- 数据转换
- 数据损坏
- Curation(英语:Data curation)
- Degradation(英语:Data degradation)
- Editing(英语:Data editing)
- ETL
- 数据抽取(英语:Data extraction)
- 数据变换(英语:Data transformation)
- 数据装载(英语:Data loading)
- Farming(英语:Data farming)
- Format management(英语:Data format management)
- Fusion(英语:Data fusion)
- 数据集成
- 数据完整性
- 数据注释(Simple English:Data annotation)
- Library(英语:Data library)
- 数据损失(英语:Data loss)
- 数据管理
- 数据脱敏
- 数据迁移
- 元数据
- 数据挖掘
- 数据模型
- 开放数据
- Datapoint(英语:Data point)
- 数据预处理(英语:Data pre-processing)
- Preservation(英语:Data preservation)
- 信息隐私(英语:information privacy)
- 数据出版(英语:Data publishing)
- 数据质量(英语:Data quality)
- 数据恢复
- 数据精简(英语:Data reduction)
- 数据保持(英语:Data retention)
- 数据科学
- Scraping(英语:Data scraping)
- Scrubbing(英语:Data scrubbing)
- 數據安全
- 数据共享(英语:Data sharing)
- Stewardship(英语:Data steward)
- 数据储存
- 数据结构
- 數據同步
- 数据类型
- 数据确认
- 数据验证(英语:Data verification)
- 数据仓库
- Wrangling/munging(英语:Data wrangling)
|
|
|
---|
| 创建数据仓库 |
---|
| Concepts | - 数据库
- Dimension
- Dimensional modeling
- Fact
- 線上分析處理
- 星型模式
- Snowflake schema
- Reverse star schema
- Aggregate
|
---|
| Variants | - Anchor Modeling
- 列式数据库
- Data vault modeling
- HOLAP
- MOLAP
- ROLAP
- ODS
|
---|
| Elements | |
---|
| Fact | - Fact table
- Early-arriving fact
- Measure
|
---|
| Dimension | - Dimension table
- Degenerate
- Slowly changing
|
---|
| Filling | - ETL
- Extract
- Transform
- Load
|
---|
|
| | 使用数据仓库 |
---|
| Concepts | |
---|
| Languages | - Data Mining Extensions (DMX)
- MultiDimensional eXpressions (MDX)
- XML for Analysis (XMLA)
|
---|
| Tools | - Business intelligence software
- Reporting software
- 電子試算表
|
---|
|
|
|
![小作品圖示](//upload.wikimedia.org/wikipedia/commons/thumb/4/40/Crystal_Clear_app_database.png/32px-Crystal_Clear_app_database.png) | 这是一篇與資料庫軟體相關的小作品。您可以通过编辑或修订扩充其内容。 |