一行代码实现Python连接所有数据库做数据分析

数据库
市面上比较常用的数据库包括mysql, presto, hive, druid, kylin, spark, elasticsearch等,作为一名数据分析师,面对不同的数据库,是否有头麻的情况。别担心,使用python连接以上数据库,你只需要一招,5行代码即可。

 [[396931]]

对于大部分sqlboys和sqlgirls而言,只关心我的sql提交到以上数据库,返回给我一个pandas的dataframe即可。所以必要的输入包括sql和数据库连接信息(包括地址,port, 账号密码)即可。

 

  1. from sqlachemy import create_engine  
  2. import pandas as pd  
  3. # 数据库连接地址 
  4. engine = create_engine("mysql://root:123456@127.0.0.1:3306/database"
  5. # 用户要查询的sql  
  6. sql = "select * from users limit 10" 
  7. df = pd.read_sql_query(sql, engine) 

 

presto

 

  1. # presto 
  2. uri = "presto://username:password@127.0.0.1:8080/database?source=pyhive" 
  3. sql = "select * from users limit 10" 
  4. df = pd.read_sql_query(sql, create_engine(uri)) 

 

mysql

 

  1. # mysql 
  2. uri = "mysql://root:123456@127.0.0.1:3306/database" 
  3. sql = "select * from users limit 10" 
  4. df = pd.read_sql_query(sql, create_engine(uri)) 

 

druid

 

  1. # druid 
  2. uri = "druid://<User>:<password>@<Host>:<Port-default-9088>/druid/v2/sql" 
  3. sql = "select count(*) from users where _time> TIME_SHIFT...." 
  4. df = pd.read_sql_query(sql, create_engine(uri)) 

 

更多数据库连接方式:

 

基本上市面上所有的数据库,只要该数据库支持sqlalchemy dialect和对应的python driver,都可以按照上面的套路去无脑操作。简单省心。

核心只需要一行代码即可:

 

  1. df = pd.read_sql_query(sql, create_engine(uri)) 

 

责任编辑:华轩 来源: 今日头条
相关推荐

2021-04-30 15:34:23

Python 开发编程语言

2021-04-19 10:38:06

代码开发工具

2022-07-14 10:06:19

代码交叉表

2009-12-11 13:43:55

PHP获得所有数据库

2022-04-09 09:11:33

Python

2022-06-17 09:21:53

Pandas代码透视表

2020-08-19 10:30:25

代码Python多线程

2016-12-02 08:53:18

Python一行代码

2024-11-20 07:00:00

代码数据清洗Python

2017-07-06 15:44:33

2009-07-20 14:30:38

jdbc连接数据库代码

2010-09-07 11:09:33

SQL语句

2017-02-09 15:46:09

数据分析互联网

2010-09-03 13:40:24

SQL删除

2015-09-25 09:25:34

数据分析

2023-11-24 08:47:36

ScipyPython

2021-06-28 16:05:19

数据库代码技术

2019-06-26 11:10:47

Python数据分析Excel

2021-06-30 13:45:49

SQL数据库LSM

2020-05-15 15:09:51

R语言数据分析
点赞
收藏

51CTO技术栈公众号