程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
Parquet 相关技术文章
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
DuckDB v1.5.0 "Variegata" 发布:嵌入式分析数据库的性能优化与新特性解读
编程
DuckDB v1.5.0 "Variegata" 发布:嵌入式分析数据库的性能优化与新特性解读
2026-09-06 23:16:35
DuckDB发布v1.5.0版本代号Variegata。DuckDB是嵌入式分析型数据库(分析版SQLite),列式存储+向量化执行+零运维。核心特性:1.查询性能优化(优化器改进谓词下推/连接顺序/公共子表达式消除;执行引擎向量化/SIMD/并行;特定查询聚合/窗口函数/递归CTE优化,整体性能提升15-20%);2.SQL兼容性增强(GROUP BY ALL/QUALIFY/EXCLUDE/REPLACE新语法;PostgreSQL/MySQL/SQLite/Spark兼容性改进);3.数据导入导出增强(Parquet多文件/分区读取;CSV自动检测/并行读取;JSON/JSON Lines支持;Excel/Arrow/Pandas互操作;Iceberg/Delta Lake扩展);4.存储引擎改进(压缩算法/区域映射索引/MVCC/检查点/WAL/缓冲区管理);5.扩展系统增强(httpfs/json/icu/fts核心扩展;spatial/postgres/mysql/excel/delta/iceberg社区扩展;扩展签名验证);6.客户端API改进(CLI自动补全/语法高亮;Python/R/Java/Node/Go/Rust API;Pandas/Arrow/Polars/Jupyter/DBT集成)。TPC-H 1TB性能提升15-20%。
DuckDB
嵌入式数据库
OLAP
数据分析
SQL
列式存储
Parquet
开源
DuckDB 深度拆解:进程内向量化列式引擎如何把 TB 级分析塞进单机——从 Parquet 直查到 Pandas 替身的工程全链路实战
编程
DuckDB 深度拆解:进程内向量化列式引擎如何把 TB 级分析塞进单机——从 Parquet 直查到 Pandas 替身的工程全链路实战
2026-08-18 04:10:53
深度拆解 DuckDB:进程内向量化列式引擎如何用列裁剪、谓词下推与 min-max 剪枝把 TB 级分析塞进单机,配 Parquet 直查、pandas 联邦与本地 Lakehouse 可运行实战与性能优化清单。
DuckDB
OLAP
向量化执行
列式存储
Parquet
嵌入式数据库
数据分析
Python
DuckDB 的自我背叛:Quack 协议 + 异步 I/O 如何把「进程内数据库」推上服务器——从协议设计到 v2.0 读前队列全链路拆解
编程
DuckDB 的自我背叛:Quack 协议 + 异步 I/O 如何把「进程内数据库」推上服务器——从协议设计到 v2.0 读前队列全链路拆解
2026-08-17 15:51:07
深度拆解 DuckDB 2026 两次架构转向:Quack 客户端-服务器协议(HTTP + application/duckdb,6000万行 4.94s)与 v2.0 异步 I/O(双线程池 + 读前队列,S3 上 3.7 倍提速)。含 row group 大小 U 型曲线实测、调参优先级清单与生产部署代码。
DuckDB
Quack协议
异步IO
OLAP
数据湖
Parquet
客户端服务器
read_ahead_depth
S3
性能优化
DuckLake
列式存储
DuckDB 深度拆解:进程内分析型数据库如何重塑数据栈——从向量化执行引擎到直接读 Parquet、跨源联邦与 DuckLake 湖仓一体的完全指南(2026)
编程
DuckDB 深度拆解:进程内分析型数据库如何重塑数据栈——从向量化执行引擎到直接读 Parquet、跨源联邦与 DuckLake 湖仓一体的完全指南(2026)
2026-08-13 03:42:27
深度拆解 DuckDB 嵌入式分析型数据库:从向量化执行引擎、列存剪枝、Parquet 直读,到跨源联邦与 DuckLake 湖仓一体,配可运行代码与 15 条生产踩坑清单。
DuckDB
嵌入式分析数据库
OLAP
列式存储
向量化执行
数据工程
Parquet
湖仓一体
DuckLake
跨源联邦
DuckDB 1.5 + Iceberg 写入深度拆解:当单机分析引擎终于长出湖仓的手——从 positional deletes 到 DuckLake v0.4 的元数据取舍
编程
DuckDB 1.5 + Iceberg 写入深度拆解:当单机分析引擎终于长出湖仓的手——从 positional deletes 到 DuckLake v0.4 的元数据取舍
2026-08-12 11:48:14
DuckDB-Iceberg v1.4.2 全面支持 insert/update/delete。深度拆解 Iceberg 四层寻址链、positional deletes 与 merge-on-read 读放大、事务快照钉住带来的数量级优化、DuckLake v0.4 元数据入 SQL 库的架构取舍,含 Docker+SQL+Python 七个实战与 18 条生产踩坑清单。
DuckDB
Apache Iceberg
DuckLake
湖仓一体
Lakehouse
merge-on-read
数据湖
Parquet
VARIANT
数据库
pg_duckdb 深度拆解:当 Postgres 决定「把 DuckDB 焊进自己的执行器」——从 CustomScan 钩子到 Arrow 零拷贝,一个扩展如何终结「为了跑个报表再搭一套数仓」的时代
编程
pg_duckdb 深度拆解:当 Postgres 决定「把 DuckDB 焊进自己的执行器」——从 CustomScan 钩子到 Arrow 零拷贝,一个扩展如何终结「为了跑个报表再搭一套数仓」的时代
2026-08-08 12:18:38
pg_duckdb 深度拆解:为什么 Postgres 火山模型跑不动 OLAP、DuckDB 向量化与 morsel 并行快在哪、planner hook + CustomScan 如何整棵替换执行计划、MVCC 快照传递与类型映射陷阱,含 Parquet/S3 冷热联查、静默回退排查与七条调优规律。
pg_duckdb
PostgreSQL
DuckDB
OLAP
向量化执行
列式存储
CustomScan
Parquet
HTAP
数据库扩展
湖仓一体
性能优化
OpenObserve 深度解剖:20k Stars 开源可观测性平台——140倍降本、Rust向量化引擎、LLM可观测性与PB级架构真相
编程
OpenObserve 深度解剖:20k Stars 开源可观测性平台——140倍降本、Rust向量化引擎、LLM可观测性与PB级架构真相
2026-07-25 06:14:13
深度拆解 GitHub 20k Stars 开源可观测性平台 OpenObserve:从 Rust 向量化引擎、Parquet 列式存储、140 倍降本原理,到 LLM 可观测性与 PB 级架构实战。
OpenObserve
可观测性
Rust
Parquet
云原生
OpenTelemetry
LLM
性能优化
监控
开源
DuckDB 深度解剖:向量化执行引擎、列式存储内核与千万级数据分析的工程实战
编程
DuckDB 深度解剖:向量化执行引擎、列式存储内核与千万级数据分析的工程实战
2026-07-25 01:43:45
从第一性原理深度拆解 DuckDB 架构设计、向量化执行引擎、列式存储、扩展系统,以及千万级数据分析实战与性能调优。
DuckDB
列式存储
向量化执行
OLAP
数据分析
Python
Parquet
嵌入式数据库
性能优化
开源
DuckDB 深度解剖:把 OLAP 数据库塞进一个进程,它凭什么比你的数仓还快
编程
DuckDB 深度解剖:把 OLAP 数据库塞进一个进程,它凭什么比你的数仓还快
2026-07-23 19:44:10
DuckDB 是 OLAP 版的 SQLite:进程内嵌入、零依赖、单文件、列式存储加向量化执行引擎。本文从工程师视角深度拆解向量化执行、Push-Based流水线与Morsel并行、列存压缩、Larger-than-Memory外存溢写、直接查Parquet/S3、跨源联邦查询与DuckDB-Wasm,配Python/SQL代码实战与性能优化清单。
DuckDB
OLAP
列式存储
向量化执行
Morsel并行
数据分析
Parquet
嵌入式数据库
数据库
WebAssembly
DuckDB 1.5 深度实战:向量化执行引擎、VARIANT 类型与零拷贝数据栈,重新定义进程内 OLAP(2026)
编程
DuckDB 1.5 深度实战:向量化执行引擎、VARIANT 类型与零拷贝数据栈,重新定义进程内 OLAP(2026)
2026-07-22 03:42:25
2026年7月DuckDB 1.5深度实战:向量化执行引擎、列式存储、Morsel驱动并行、Arrow零拷贝、VARIANT半结构化类型、pg_duckdb与性能优化完全指南。
DuckDB
OLAP
向量化执行
VARIANT
进程内数据库
数据分析
零拷贝
Parquet
DuckDB 深度实战:当分析型数据库塞进一个进程——从向量化执行引擎、零拷贝 Arrow 到 1.5.0 VARIANT/GEOMETRY 的生产级完整指南(2026)
编程
DuckDB 深度实战:当分析型数据库塞进一个进程——从向量化执行引擎、零拷贝 Arrow 到 1.5.0 VARIANT/GEOMETRY 的生产级完整指南(2026)
2026-07-20 02:44:29
深度拆解 DuckDB 进程内分析型数据库:从向量化执行引擎、列存零拷贝、HashAggregate/Join 原理,到 Python 实战、Nginx 日志 BI、1.5.0 VARIANT/GEOMETRY 与性能调优的完整工程指南。
DuckDB
OLAP
数据分析
向量化执行
列存数据库
Parquet
Python
DuckDB 1.5 深度拆解:当嵌入式 OLAP 数据库学会「联网」——从 VARIANT 类型、Quack 远程协议到 v2.0 前瞻的工程全貌(2026)
编程
DuckDB 1.5 深度拆解:当嵌入式 OLAP 数据库学会「联网」——从 VARIANT 类型、Quack 远程协议到 v2.0 前瞻的工程全貌(2026)
2026-07-19 06:42:56
深度拆解 DuckDB 2026 技术全景:VARIANT 二进制半结构化类型、Quack 客户端-服务器协议、Async I/O Parquet 预读、PEG 解析器、Iceberg MERGE INTO、pg_duckdb 融合、DuckLake + Quack 湖仓架构,配完整代码实战与生产级 ETL 管道部署指南。
DuckDB
OLAP
数据库
Quack
VARIANT
Parquet
数据分析
DuckDB 深度拆解:嵌入式 OLAP 数据库的列式向量化引擎架构与工程实践
编程
DuckDB 深度拆解:嵌入式 OLAP 数据库的列式向量化引擎架构与工程实践
2026-07-15 19:43:45
从架构原理到实战场景,深度拆解 DuckDB 嵌入式分析型数据库的列式向量化引擎、Morsel 驱动并行架构、MySQL+DuckDB 混合存储引擎,以及 10 个日常使用场景和 7 个性能优化技巧。
DuckDB
OLAP
列式存储
向量化执行
Morsel驱动并行
数据分析
嵌入式数据库
Parquet
DuckDB 深度拆解:当分析型数据库学会「嵌入式」——列式向量化引擎与 Morsel 驱动并行如何重写 OLAP 心智模型
编程
DuckDB 深度拆解:当分析型数据库学会「嵌入式」——列式向量化引擎与 Morsel 驱动并行如何重写 OLAP 心智模型
2026-07-15 19:43:28
从架构原理到实战场景,深度拆解 DuckDB 嵌入式分析型数据库的列式向量化引擎、Morsel 驱动并行架构、MySQL+DuckDB 混合存储引擎,以及 10 个日常使用场景和 7 个性能优化技巧。
DuckDB
OLAP
列式存储
向量化执行
Morsel驱动并行
数据分析
嵌入式数据库
Parquet
DuckDB 深度实战:当「分析界的 SQLite」装上向量化引擎——1.5 版本如何用进程内 OLAP 重写本地数据心智模型
编程
DuckDB 深度实战:当「分析界的 SQLite」装上向量化引擎——1.5 版本如何用进程内 OLAP 重写本地数据心智模型
2026-07-15 03:12:30
从工程师视角深度拆解 DuckDB 1.5:进程内 OLAP、列存加向量化执行引擎、VARIANT 半结构化类型、全新 CLI,配 Python/Rust/SQL 实战与 HTAP 落地指南。
DuckDB
OLAP
向量化执行
进程内数据库
Parquet
VARIANT
数据分析
DuckDB 深度实战:进程内分析数据库凭什么单机跑 TB 级——向量化执行、列式存储与零拷贝数据湖全解析
编程
DuckDB 深度实战:进程内分析数据库凭什么单机跑 TB 级——向量化执行、列式存储与零拷贝数据湖全解析
2026-07-14 13:15:39
DuckDB 进程内 OLAP 数据库深度实战:拆解向量化执行引擎与列式存储原理,配 Python 代码演示直接查 Parquet、Pandas/Arrow 零拷贝、S3 数据湖查询与性能优化,并对比 ClickHouse/PostgreSQL 选型边界。
DuckDB
OLAP
列式存储
向量化执行
数据分析
嵌入式数据库
Parquet
Apache Arrow
DuckDB 深度实战:当分析引擎塞进进程里——从向量化执行到湖仓一体的技术革命(2026)
编程
DuckDB 深度实战:当分析引擎塞进进程里——从向量化执行到湖仓一体的技术革命(2026)
2026-07-14 03:13:19
深度拆解 DuckDB 1.5.4:从 in-process OLAP 定位、向量化列存执行引擎、与 Pandas 零拷贝互操作,到直读 Parquet/S3/Iceberg、Postgres 外表、全文与向量检索、DuckLake 湖仓与 Quack 客户端服务,配完整可运行代码与性能优化实战。
DuckDB
OLAP
数据分析
向量化执行
湖仓一体
SQLite
Parquet
Python
DuckDB 深度实战:嵌入式 OLAP 如何重塑数据工程——从向量化执行引擎到 Parquet 湖仓查询的完整指南(2026)
编程
DuckDB 深度实战:嵌入式 OLAP 如何重塑数据工程——从向量化执行引擎到 Parquet 湖仓查询的完整指南(2026)
2026-07-13 01:42:52
深入解析 DuckDB 嵌入式 OLAP 引擎:从向量化执行、列式存储、查询优化器到 Parquet 湖仓直读与 S3 查询,配可运行代码与性能实测,附与 SQLite/Pandas/ClickHouse/Spark 横评及适用场景决策树。
DuckDB
OLAP
数据分析
数据工程
嵌入式数据库
Parquet
DuckDB 1.5 深度实战:当分析型数据库压缩进一个文件,我们为什么还需要 Spark?
编程
DuckDB 1.5 深度实战:当分析型数据库压缩进一个文件,我们为什么还需要 Spark?
2026-07-11 03:41:54
DuckDB 1.5 深度实战:拆解嵌入式分析型数据库如何用向量化执行、列式存储和进程内架构,把 Spark 的单体分析任务压缩进一个文件。含 Python 联邦查询、DuckLake/Iceberg、Parquet 下推与性能优化实战。
DuckDB
OLAP
嵌入式数据库
数据分析
向量化执行
列式存储
Parquet
DuckDB 深度实战:把「分析引擎」塞进应用进程里——向量化执行、列式存储与直查 PB 级 Parquet 湖仓的完整指南(2026)
编程
DuckDB 深度实战:把「分析引擎」塞进应用进程里——向量化执行、列式存储与直查 PB 级 Parquet 湖仓的完整指南(2026)
2026-07-08 12:15:42
从工程视角彻底讲透 DuckDB:嵌入式进程内 OLAP 的定位、向量化执行与列式存储原理、直查 Parquet/Iceberg 的架构,配 7 个可运行代码实战与性能优化清单。
DuckDB
OLAP
向量化执行
列式存储
Parquet
数据湖仓
ETL
Arrow
万字深度解析 DuckDB 2026:当嵌入式 OLAP 遇见 PostgreSQL——从向量化引擎到 pg_duckdb 扩展的生产级实战
编程
万字深度解析 DuckDB 2026:当嵌入式 OLAP 遇见 PostgreSQL——从向量化引擎到 pg_duckdb 扩展的生产级实战
2026-07-01 02:12:35
2026年,嵌入式分析数据库 DuckDB 正在悄然重塑数据分析生态。本文万字深度解析 DuckDB 的向量化执行引擎、列式存储架构、与 PostgreSQL 的无缝集成、以及生产级实战应用。
DuckDB
PostgreSQL
OLAP
数据分析
向量化执行
pg_duckdb
Parquet
性能优化
DuckLake
嵌入式数据库
DuckDB 1.5 深度实战:嵌入式 OLAP 数据库如何重新定义数据分析——从 VARIANT 类型到 Quack 远程协议的完整指南(2026)
编程
DuckDB 1.5 深度实战:嵌入式 OLAP 数据库如何重新定义数据分析——从 VARIANT 类型到 Quack 远程协议的完整指南(2026)
2026-06-28 14:42:52
DuckDB 1.5(Variegata)深度实战:从架构原理(列式存储、向量化执行引擎)、核心新特性(VARIANT类型、GEOMETRY空间数据、Quack远程协议、DuckLake湖仓格式)到生产级代码实战,全面解析嵌入式OLAP数据库如何重新定义数据分析。
DuckDB
OLAP
数据分析
VARIANT
列式存储
向量化执行
Parquet
嵌入式数据库
Quack
Iceberg
DuckDB 深度实战:当嵌入式数据库进化为分析引擎——从向量化执行到湖仓一体、Quack 协议与生产级完全指南(2026)
编程
DuckDB 深度实战:当嵌入式数据库进化为分析引擎——从向量化执行到湖仓一体、Quack 协议与生产级完全指南(2026)
2026-06-18 19:24:32
DuckDB 1.5 深度实战:从向量化执行引擎到底层存储架构,从 Parquet 直查到 Quack 协议,从 Python 集成到生产级部署,52000 字完全指南。
DuckDB
OLAP
数据分析
嵌入式数据库
向量化执行
Parquet
Python
pg_duckpipe 深度解析:PostgreSQL 原生 HTAP 革命,单数据库搞定事务与分析
编程
pg_duckpipe 深度解析:PostgreSQL 原生 HTAP 革命,单数据库搞定事务与分析
2026-04-25 18:44:17
深度解析 pg_duckpipe 开源项目:PostgreSQL 原生 HTAP 解决方案,通过 WAL 实时同步到 DuckLake 列式存储,支持透明查询路由、SCD Type 2、多源聚合,无需 Kafka/Debezium
PostgreSQL
HTAP
DuckLake
DuckDB
CDC
数据库
列式存储
Parquet
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调