程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
ETL 相关技术文章
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
Airbyte:开源数据集成平台,支持 600+ 连接器与本地部署
编程
Airbyte:开源数据集成平台,支持 600+ 连接器与本地部署
2026-09-05 03:15:42
Airbyte 是开源的 ETL/ELT 数据集成平台,提供 600+ 连接器,支持本地、私有云与 K8s 部署,可做 RAG/AI 集成。本文介绍功能特性、在线体验及用 Docker 与 abctl 的本地安装步骤。
Airbyte
ETL
ELT
数据管道
数据集成
Docker
ETLCloud 数据集成工具梳理:500+ 数据源、CDC 与免费社区版
编程
ETLCloud 数据集成工具梳理:500+ 数据源、CDC 与免费社区版
2026-09-05 01:36:04
梳理 ETLCloud:国产低代码数据集成平台,支持 500+ 数据源、ETL/ELT/CDC/API 一体化,含社区版在线体验与下载链接。
ETL
数据集成
低代码
CDC
ETLCloud
Apache Hop 上手:脱胎于 Kettle,跨引擎跑 Pipeline,安装前备好 Java 17
编程
Apache Hop 上手:脱胎于 Kettle,跨引擎跑 Pipeline,安装前备好 Java 17
2026-09-04 22:05:52
Apache Hop 是脱胎于 Kettle、2020 年成为 Apache 顶级项目的开源数据集成与工作流引擎。本文贴稿讲解其可视化开发、跨 Spark/Flink 引擎执行、元数据驱动特性,以及下载安装步骤、Java 17 前置要求与 Hop Gui 启动加载自带 samples 的方法。
Apache
Hop
ETL
数据集成
Kettle
工作流
DuckDB 深度拆解:当「进程内」分析数据库把 Pandas + PostgreSQL 的活儿一口气干了——从列式存储、向量化执行到零拷贝 Arrow 的全链路实战
编程
DuckDB 深度拆解:当「进程内」分析数据库把 Pandas + PostgreSQL 的活儿一口气干了——从列式存储、向量化执行到零拷贝 Arrow 的全链路实战
2026-08-19 02:43:06
深度拆解 DuckDB 1.5.5:从列式存储、向量化 Volcano 执行、Morsel-Driven 并行到异步 I/O(Work,Thread,Work),配可运行代码与生产调优清单。
DuckDB
进程内OLAP
向量化执行
列式存储
Arrow
零拷贝
DuckLake
数据分析
ETL
性能优化
Pathway:当 Python 终于有了「实时 Flink」,一场重塑数据工程与 RAG 管道的革命
编程
Pathway:当 Python 终于有了「实时 Flink」,一场重塑数据工程与 RAG 管道的革命
2026-07-13 08:44:24
深度拆解 Pathway Python 实时数据框架:Differential Dataflow 增量计算、批流一体、350+ 连接器、实时 RAG 管道、向量索引自动更新,配可运行代码与性能基准,一次把 Python 流计算讲透。
Pathway
Python
实时计算
ETL
RAG
Differential Dataflow
流处理
数据工程
Polars 深度实战:当 Python 数据处理终于不再「等」——从 Arrow 内核、查询优化器到生产级迁移指南
编程
Polars 深度实战:当 Python 数据处理终于不再「等」——从 Arrow 内核、查询优化器到生产级迁移指南
2026-07-11 10:47:57
深度拆解 Polars 的 Rust 内核、Arrow 列式存储、查询优化器、SIMD 向量化与惰性求值,配 10 个生产级代码示例与 Pandas 迁移指南。
Polars
Python
Rust
Arrow
DataFrame
数据处理
性能优化
ETL
DuckDB 深度实战:把「分析引擎」塞进应用进程里——向量化执行、列式存储与直查 PB 级 Parquet 湖仓的完整指南(2026)
编程
DuckDB 深度实战:把「分析引擎」塞进应用进程里——向量化执行、列式存储与直查 PB 级 Parquet 湖仓的完整指南(2026)
2026-07-08 12:15:42
从工程视角彻底讲透 DuckDB:嵌入式进程内 OLAP 的定位、向量化执行与列式存储原理、直查 Parquet/Iceberg 的架构,配 7 个可运行代码实战与性能优化清单。
DuckDB
OLAP
向量化执行
列式存储
Parquet
数据湖仓
ETL
Arrow
Pathway 深度解析:Python ETL 框架的流式处理革命 —— 用 Rust 引擎吊打 Flink/Spark,构建实时 LLM Pipeline
编程
Pathway 深度解析:Python ETL 框架的流式处理革命 —— 用 Rust 引擎吊打 Flink/Spark,构建实时 LLM Pipeline
2026-05-16 03:46:12
55K+ Star,基于 Differential Dataflow 的 Rust 引擎,增量计算,内存计算,无缝集成 Python ML 生态——Pathway 正在重新定义实时流处理与 LLM Pipeline 的边界。
Python
流处理
实时分析
LLM
RAG
Pathway
ETL
开源项目
GitHub Trending
Pathway 深度解析:用 Python 搞定实时流处理+LLM Pipeline,55K Star 背后的技术革命
编程
Pathway 深度解析:用 Python 搞定实时流处理+LLM Pipeline,55K Star 背后的技术革命
2026-05-15 20:44:26
Pathway深度解析:Python ETL框架,实时流处理+LLM Pipeline,增量计算引擎,性能对比Flink,完整代码实战。
Pathway
流处理
LLM
Python
ETL
RAG
实时计算
Pathway 深度实战:55K Star 的 Python 实时 ETL 框架——从差分数据流原理到 RAG 管道生产部署的全链路架构解析
编程
Pathway 深度实战:55K Star 的 Python 实时 ETL 框架——从差分数据流原理到 RAG 管道生产部署的全链路架构解析
2026-05-07 06:38:15
深度解析 Pathway 实时 ETL 框架:从差分数据流的数学原理到 Rust 引擎的工程实现,从实时交易风控管道到 RAG 向量索引的差分更新,全链路架构解析与生产部署实战
Pathway
ETL
流处理
Python
Rust
差分数据流
RAG
实时数据处理
增量计算
Pathway 深度解析:当 Rust 遇见实时数据流——AI 时代高性能实时 ETL 的工程革命
编程
Pathway 深度解析:当 Rust 遇见实时数据流——AI 时代高性能实时 ETL 的工程革命
2026-04-14 16:26:21
深度解析 Pathway 的架构设计、增量计算引擎、Rust 核心并行调度,以及如何用 Python 构建生产级实时 RAG 数据管道。
Rust
Python
AI
RAG
ETL
实时数据
向量数据库
Pathway
性能吊打Flink、55k星:Pathway如何用Python+Rust重构实时数据处理管线
编程
性能吊打Flink、55k星:Pathway如何用Python+Rust重构实时数据处理管线
2026-04-13 14:23:16
深度解析GitHub 55k星开源项目Pathway,如何用Python+Rust混合架构重构实时数据处理管线,吊打Flink性能,原生支持LLM管道和RAG应用。
Python
Rust
Pathway
实时数据
ETL
Flink
流处理
LLM
RAG
数据工程
Pathway 深度解析:当 Python 遇上 Rust 引擎,实时 ETL 的性能革命
编程
Pathway 深度解析:当 Python 遇上 Rust 引擎,实时 ETL 的性能革命
2026-04-08 15:34:42
Pathway 是一个用 Python 写业务逻辑、用 Rust 执行计算的实时 ETL 框架,基于 Differential Dataflow 实现真正的增量计算。本文深度解析其架构原理、核心用法、LLM xpack 的 RAG 应用,以及在 AI 数据流水线中的独特价值。
Pathway
ETL
Rust
Python
流处理
LLM
RAG
增量计算
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调