大数据领域新星，带你了解DuckDB

-- 在 ANSI SQL 中按多个字段分组
SELECT country, city, region, postal_code, AVG(price) AS avg_price
FROM customers
-- 这里需要重复非分组字段
GROUP BY country, city, region, postal_code;

-- 在 DuckDB 中按所有字段分组
SELECT country, city, region, postal_code, AVG(price) AS avg_price
-- Fields are only listed once; maintaining the code becomes easier
GROUP BY ALL;

-- 在 ANSI SQL 中查询除 'email' 字段外的所有字段
SELECT country, city, region, postal_code, address, phone_number
  /*, email*/
FROM customers;

-- 在 DuckDB 中查询除 'email' 字段外的所有字段
SELECT * EXCLUDE (email) FROM customers;

-- 考虑将“接近”的时间戳连接在一起。
-- 在 ANSI SQL 中，通常需要将它们分成桶
-- 在 DuckDB 中，可以使用 ASOF JOIN 来实现相同的结果,更简单、更高效。
SELECT events.id, events.ts, events.val, metadata.details
FROM events
ASOF JOIN metadata USING(id, ts);

# 安装依赖
%pip install --quiet duckdb
%pip install --quiet jupysql
%pip install --quiet duckdb-engine
%pip install --quiet pandas
%pip install --quiet matplotlib
%pip install --quiet psycopg2-binary
%pip install --quiet dash
%pip install --quiet plotly

import duckdb
import pandas as pd

# 加载并配置 jupysql
%load_ext sql
%config SqlMagic.autopandas = True
%config SqlMagic.feedback = False
%config SqlMagic.displaycon = False
%config SqlMagic.named_parameters=True

# 连接到本地 DuckDB 实例
%sql duckdb:///

# 启用 DuckDB 查询远程文件（例如 S3）
%%sql
INSTALL httpfs;
LOAD httpfs;

# 配置 S3 访问密钥
SET s3_region = '...';
SET s3_access_key_id = '...';
SET s3_secret_access_key = '...';

# 连接到远程 Postgres 数据库
ATTACH 'dbname=DATABASE user=USER host=HOST password=PASSWORD connect_timeout=10' AS postgres (TYPE postgres, READ_ONLY);

# 执行查询并将结果存储在 dataframe 中
%%sql
df << SELECT 
    t1.movieId,
    t1.title,
    t1.genres,
    t2.userId,
    t2.rating,
    t3.tag
  # 查询 Postgres 中的表
  FROM postgres.public.movies AS t1
  # 与 DuckDB 中的表连接
  INNER JOIN ratings AS t2 USING (movieId)
  # 与 S3 中的 JSON 数据集连接
  INNER JOIN 's3://S3-BUCKET/tags.json' AS t3 USING (userId, movieId)

# 最后，从另一个查询中引用 dataframe
%%sql
by_genres << SELECT genres, COUNT(*) AS cnt 
             FROM df
             GROUP BY ALL
             ORDER BY 2 DESC
             LIMIT 5;

# 或者绘制转换后的数据集
import plotly.express as px
fig = px.pie(by_genres,
             values='cnt',
             names='genres',
             title='Top 5 movie genres')
fig.show()