程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
数据湖 相关技术文章
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
DuckDB 的自我背叛:Quack 协议 + 异步 I/O 如何把「进程内数据库」推上服务器——从协议设计到 v2.0 读前队列全链路拆解
编程
DuckDB 的自我背叛:Quack 协议 + 异步 I/O 如何把「进程内数据库」推上服务器——从协议设计到 v2.0 读前队列全链路拆解
2026-08-17 15:51:07
深度拆解 DuckDB 2026 两次架构转向:Quack 客户端-服务器协议(HTTP + application/duckdb,6000万行 4.94s)与 v2.0 异步 I/O(双线程池 + 读前队列,S3 上 3.7 倍提速)。含 row group 大小 U 型曲线实测、调参优先级清单与生产部署代码。
DuckDB
Quack协议
异步IO
OLAP
数据湖
Parquet
客户端服务器
read_ahead_depth
S3
性能优化
DuckLake
列式存储
Apache Iceberg V3 深度拆解:当删除向量取代删除文件——从 Puffin 字节级解析到行级血缘 CDC 的完整实战指南(2026)
编程
Apache Iceberg V3 深度拆解:当删除向量取代删除文件——从 Puffin 字节级解析到行级血缘 CDC 的完整实战指南(2026)
2026-08-13 22:29:43
深度拆解 Apache Iceberg V3:从 Hive 表格式四宗罪、四层元数据指针链、V2 删除文件爆炸的三重代价,到删除向量 Roaring Bitmap 编码、Puffin 字节级布局手写解析器、行级血缘增量 CDC、Variant 半结构化类型,配 PySpark/Flink/DuckDB/PyIceberg 完整实战与 15 条生产踩坑清单。
Apache Iceberg
删除向量
行级血缘
湖仓一体
数据湖
Puffin
Variant
数据工程
DuckDB 1.5 + Iceberg 写入深度拆解:当单机分析引擎终于长出湖仓的手——从 positional deletes 到 DuckLake v0.4 的元数据取舍
编程
DuckDB 1.5 + Iceberg 写入深度拆解:当单机分析引擎终于长出湖仓的手——从 positional deletes 到 DuckLake v0.4 的元数据取舍
2026-08-12 11:48:14
DuckDB-Iceberg v1.4.2 全面支持 insert/update/delete。深度拆解 Iceberg 四层寻址链、positional deletes 与 merge-on-read 读放大、事务快照钉住带来的数量级优化、DuckLake v0.4 元数据入 SQL 库的架构取舍,含 Docker+SQL+Python 七个实战与 18 条生产踩坑清单。
DuckDB
Apache Iceberg
DuckLake
湖仓一体
Lakehouse
merge-on-read
数据湖
Parquet
VARIANT
数据库
Apache Iceberg v3 深度拆解:当表格式决定给每一行发身份证——删除向量、行血缘继承链与 v4 相对路径的元数据手术
编程
Apache Iceberg v3 深度拆解:当表格式决定给每一行发身份证——删除向量、行血缘继承链与 v4 相对路径的元数据手术
2026-08-10 05:49:00
深度拆解 Apache Iceberg v3 规范:Puffin deletion-vector-v1 删除向量的 64->32+32 位图切分、_row_id 行血缘四级继承链与乐观提交重试的关系、variant/geometry/unknown 新类型与默认值真值表、多参数变换 source-ids 互斥规则、表加密密钥分层,以及 v4 相对路径解析的双斜杠陷阱。含完整升级剧本、体检 SQL、七条工程规律与十条踩坑清单。
Apache Iceberg
表格式
删除向量
行血缘
数据湖
Puffin
Roaring Bitmap
Variant
数据库
湖仓一体
DuckDB 生态深度拆解:当嵌入式数据库决定「自己当服务器」——从向量化引擎到 Quack 协议,一个 28K Star 的分析型数据库如何用「Lakehouse 即 SQL」重新定义数据基础设施的终极形态
编程
DuckDB 生态深度拆解:当嵌入式数据库决定「自己当服务器」——从向量化引擎到 Quack 协议,一个 28K Star 的分析型数据库如何用「Lakehouse 即 SQL」重新定义数据基础设施的终极形态
2026-08-05 21:14:25
深度拆解DuckDB生态系统:Quack客户端-服务器协议、DuckLake SQL-native Lakehouse格式、pg_quack向量化分析引擎嵌入PostgreSQL,附完整架构分析与生产部署实战
DuckDB
DuckLake
Quack
Lakehouse
数据湖
OLAP
列式存储
向量化引擎
pg_quack
PostgreSQL
数据工程
开源
Apache Iceberg V3 深度拆解:删除向量、行血缘与 Variant 类型,湖仓表格式的第三次范式转移
编程
Apache Iceberg V3 深度拆解:删除向量、行血缘与 Variant 类型,湖仓表格式的第三次范式转移
2026-08-02 01:39:04
Iceberg V3 规范深度拆解:从 V2 position delete 的读放大死穴讲起,逐字节剖析 Puffin 删除向量与 Roaring Bitmap 编码、行血缘的零开销 ID 分配算法、Variant 类型与 Shredding 打散机制。附手写 DV 解析器、增量物化视图、Compaction 决策脚本与踩坑清单。
Iceberg
数据湖
湖仓一体
大数据
Spark
开源
Apache Iceberg V3 深度拆解:Deletion Vectors、Row Lineage 与 Variant 类型,开放表格式如何终结数据湖的「文件散养」时代
编程
Apache Iceberg V3 深度拆解:Deletion Vectors、Row Lineage 与 Variant 类型,开放表格式如何终结数据湖的「文件散养」时代
2026-07-30 01:46:13
深度拆解 Apache Iceberg V3 规范三大核心改动:Binary Deletion Vectors 终结删除文件堆积、Row Lineage 行级血缘赋能增量计算与审计、Variant 半结构化类型落地,附 V2 升级实战与冷静的边界分析。
Iceberg
数据湖
Deletion Vectors
Row Lineage
Variant
表格式
Spark
Trino
大数据
开源
Apache Iceberg 深度实战:当数据湖长出 ACID 与模式演进——从 Manifest 三层元数据到隐藏分区、时间旅行与生产级 Lakehouse 完全指南(2026)
编程
Apache Iceberg 深度实战:当数据湖长出 ACID 与模式演进——从 Manifest 三层元数据到隐藏分区、时间旅行与生产级 Lakehouse 完全指南(2026)
2026-07-09 04:48:40
从一次数据湖事故出发,深入拆解 Apache Iceberg 的四层元数据、隐藏分区、Schema/Partition 演进、时间旅行与行级更新,并给出可直接落地的 Spark/Trino/PyIceberg 代码与性能优化清单。
数据湖
Iceberg
Lakehouse
表格式
大数据
DuckLake 1.0 深度解析:SQL-Only Lakehouse 如何用数据库元存储终结数据湖的小文件噩梦
编程
DuckLake 1.0 深度解析:SQL-Only Lakehouse 如何用数据库元存储终结数据湖的小文件噩梦
2026-04-20 08:47:08
DuckLake 1.0 发布:用数据库管理元数据的 Lakehouse 格式,Data Inlining 终结小文件问题,支持 Multiplayer DuckDB 多玩家协作模式
DuckDB
DuckLake
数据湖
Lakehouse
Iceberg
Delta Lake
OLAP
DuckLake v1.0 深度解析:用关系型数据库如何颠覆湖仓一体的"小文件地狱"
编程
DuckLake v1.0 深度解析:用关系型数据库如何颠覆湖仓一体的"小文件地狱"
2026-04-19 03:14:23
DuckDB团队发布DuckLake v1.0,用关系型数据库管理元数据,查询速度比Iceberg快926倍。深度解析数据内联、排序表、桶分区、VARIANT类型等核心特性。
DuckLake
DuckDB
湖仓一体
数据湖
大数据
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调