sqlalchemy安装
sqlalchemy基本使用
多外键关联
多对多关系
表结构设计作业
1.&ORM介绍
orm英文全称object relational mapping,就是对象映射关系程序，简单来说我们类似python这种面向对象的程序来说一切皆对象，但是我们使用的数据库却都是关系型的，为了保证一致的使用习惯，通过orm将编程语言的对象模型和数据库的关系模型建立映射关系，这样我们在使用编程语言对数据库进行操作的时候可以直接使用编程语言的对象模型进行操作就可以了，而不用直接使用sql语言。
orm的优点：
隐藏了数据访问细节，“封闭”的通用数据库交互，ORM的核心。他使得我们的通用数据库交互变得简单易行，并且完全不用考虑该死的SQL语句。快速开发，由此而来。
ORM使我们构造固化数据结构变得简单易行。
无可避免的，自动化意味着映射和关联管理，代价是牺牲性能（早期，这是所有不喜欢ORM人的共同点）。现在的各种ORM框架都在尝试使用各种方法来减轻这块（LazyLoad，Cache），效果还是很显著的。
2. sqlalchemy安装
在Python中，最有名的ORM框架是SQLAlchemy。用户包括openstack＼Dropbox等知名公司或应用，主要用户列表http://www.sqlalchemy.org/organizations.html#openstack
Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作，如：
MySQL-Python
mysql+mysqldb://&user&:&password&@&host&[:&port&]/&dbname&
mysql+pymysql://&username&:&password&@&host&/&dbname&[?&options&]
MySQL-Connector
mysql+mysqlconnector://&user&:&password&@&host&[:&port&]/&dbname&
oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]
更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html
安装sqlalchemy
pip install SQLAlchemypip install pymysql
#由于mysqldb依然不支持py3，所以这里我们用pymysql与sqlalchemy交互
3.sqlalchemy基本使用
下面就开始让你见证orm的nb之处，盘古开天劈地之前，我们创建一个表是这样的
CREATE TABLE user (
id INTEGER NOT NULL AUTO_INCREMENT,
name VARCHAR(32),
password VARCHAR(64),
PRIMARY KEY (id)
这只是最简单的sql表，如果再加上外键关联什么的，一般程序员的脑容量是记不住那些sql语句的，于是有了orm,实现上面同样的功能，代码如下
import sqlalchemy
from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String
engine = create_engine("mysql+pymysql://root:alex3714@localhost/testdb",
encoding='utf-8', echo=True)
Base = declarative_base() #生成orm基类
class User(Base):
__tablename__ = 'user' #表名
id = Column(Integer, primary_key=True)
name = Column(String(32))
password = Column(String(64))
Base.metadata.create_all(engine) #创建表结构
你说，娘那个腚的，并没有感觉代码量变少啊，呵呵， 孩子莫猴急，好戏在后面
Lazy ConnectingThe Engine, when first returned by create_engine(), has not actually tried to connect that happens only the first time it is asked to perform a task against the database.　　
除上面的创建之外，还有一种创建表的方式，虽不常用，但还是看看吧
from sqlalchemy import Table, MetaData, Column, Integer, String, ForeignKey
from sqlalchemy.orm import mapper
metadata = MetaData()
user = Table('user', metadata,
Column('id', Integer, primary_key=True),
Column('name', String(50)),
Column('fullname', String(50)),
Column('password', String(12))
class User(object):
def __init__(self, name, fullname, password):
self.name = name
self.fullname = fullname
self.password = password
mapper(User, user) #the table metadata is created separately with the Table construct, then associated with the User class via the mapper() function
事实上，我们用第一种方式创建的表就是基于第2种方式的再封装。
最基本的表我们创建好了，那我们开始用orm创建一条数据试试
Session_class = sessionmaker(bind=engine) #创建与数据库的会话session class ,注意,这里返回给session的是个class,不是实例
Session = Session_class() #生成session实例
user_obj = User(name="alex",password="alex3714") #生成你要创建的数据对象
print(user_obj.name,user_obj.id)
#此时还没创建对象呢，不信你打印一下id发现还是None
Session.add(user_obj) #把要创建的数据对象添加到这个session里， 一会统一创建
print(user_obj.name,user_obj.id) #此时也依然还没创建
mit() #现此才统一提交，创建数据
我擦，写这么多代码才创建一条数据，你表示太tm的费劲了，正要转身离开，我拉住你的手不放开，高潮还没到。。
my_user = Session.query(User).filter_by(name="alex").first()
print(my_user)
此时你看到的输出是这样的应该
&__main__.User object at 0x105b4ba90&
我擦，这是什么？这就是你要的数据呀， 只不过sqlalchemy帮你把返回的数据映射成一个对象啦，这样你调用每个字段就可以跟调用对象属性一样啦，like this..
print(my_user.id,my_user.name,my_user.password)
1 alex alex3714
不过刚才上面的显示的内存对象对址你是没办法分清返回的是什么数据的，除非打印具体字段看一下，如果想让它变的可读，只需在定义表的类下面加上这样的代码
def __repr__(self):
return "&User(name='%s',
password='%s')&" % (
self.name, self.password)
my_user = Session.query(User).filter_by(name="alex").first()
my_user.name = "Alex Li"
my_user = Session.query(User).filter_by(id=1).first()
my_user.name = "Jack"
fake_user = User(name='Rain', password='12345')
Session.add(fake_user)
print(Session.query(User).filter(User.name.in_(['Jack','rain'])).all() )
#这时看session里有你刚添加和修改的数据
Session.rollback() #此时你rollback一下
print(Session.query(User).filter(User.name.in_(['Jack','rain'])).all() ) #再查就发现刚才添加的数据没有了。
获取所有数据
print(Session.query(User.name,User.id).all() )
多条件查询
objs = Session.query(User).filter(User.id&0).filter(User.id&7).all()
上面2个filter的关系相当于 user.id &1 AND user.id &7 的效果
统计和分组
Session.query(User).filter(User.name.like("Ra%")).count()
from sqlalchemy import func
print(Session.query(func.count(User.name),User.name).group_by(User.name).all() )
相当于原生sql为
SELECT count(user.name) AS count_1, user.name AS user_name
FROM user GROUP BY user.name
[(1, 'Jack'), (2, 'Rain')]
我们创建一个addresses表，跟user表关联
from sqlalchemy import ForeignKey
from sqlalchemy.orm import relationship
class Address(Base):
__tablename__ = 'addresses'
id = Column(Integer, primary_key=True)
email_address = Column(String(32), nullable=False)
user_id = Column(Integer, ForeignKey('user.id'))
user = relationship("User", backref="addresses") #这个nb，允许你在user表里通过backref字段反向查出所有它在addresses表里的关联项
def __repr__(self):
return "&Address(email_address='%s')&" % self.email_address
The&&parameter is a newer version of a very common SQLAlchemy feature called. The&&parameter hasn’t gone anywhere and will always remain available! The&&is the same thing, except a little more verbose and easier to manipulate. For an overview of the entire topic, see the section&.　　
表创建好后，我们可以这样反查试试
obj = Session.query(User).first()
for i in obj.addresses: #通过user对象反查关联的addresses记录
addr_obj = Session.query(Address).first()
print(addr_obj.user.name)
#在addr_obj里直接查关联的user表
创建关联对象
obj = Session.query(User).filter(User.name=='rain').all()[0]
print(obj.addresses)
obj.addresses = [Address(email_address=""), #添加关联对象
Address(email_address="")]
常用查询语法
Common Filter Operators
Here’s a rundown of some of the most common operators used in filter():
query.filter(User.name == 'ed')
not equals:
query.filter(User.name != 'ed')
query.filter(User.name.like('%ed%'))
query.filter(~User.name.in_(['ed', 'wendy', 'jack']))
IS NOT NULL:
2.1. ObjectRelationalTutorial 17
query.filter(User.name.in_(['ed', 'wendy', 'jack']))
# works with query objects too:
query.filter(User.name.in_( session.query(User.name).filter(User.name.like('%ed%'))
query.filter(User.name == None)
# alternatively, if pep8/linters are a concern
query.filter(User.name.is_(None))
query.filter(User.name != None)
# alternatively, if pep8/linters are a concern
query.filter(User.name.isnot(None))
SQLAlchemy Documentation, Release 1.1.0b1
# use and_()
from sqlalchemy import and_
query.filter(and_(User.name == 'ed', User.fullname == 'Ed Jones'))
# or send multiple expressions to .filter()
query.filter(User.name == 'ed', User.fullname == 'Ed Jones')
# or chain multiple filter()/filter_by() calls
query.filter(User.name == 'ed').filter(User.fullname == 'Ed Jones')
Note: Makesureyouuseand_()andnotthePythonandoperator! o OR:
Note: Makesureyouuseor_()andnotthePythonoroperator! o MATCH:
query.filter(User.name.match('wendy'))
Note: match() uses a database-specific MATCH or CONTAINS f&
4.多外键关联
One of the most common situations to deal with is when there are more than one foreign key path between two tables.
Consider a&Customer&class that contains two foreign keys to an&Address&class:
下表中，Customer表有2个字段都关联了Address表&
from sqlalchemy import Integer, ForeignKey, String, Column
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import relationship
Base = declarative_base()
class Customer(Base):
__tablename__ = 'customer'
id = Column(Integer, primary_key=True)
name = Column(String)
billing_address_id = Column(Integer, ForeignKey("address.id"))
shipping_address_id = Column(Integer, ForeignKey("address.id"))
billing_address = relationship("Address")
shipping_address = relationship("Address")
class Address(Base):
__tablename__ = 'address'
id = Column(Integer, primary_key=True)
street = Column(String)
city = Column(String)
state = Column(String)
创建表结构是没有问题的，但你Address表中插入数据时会报下面的错
sqlalchemy.exc.AmbiguousForeignKeysError: Could not determine join
condition between parent/child tables on relationship
Customer.billing_address - there are multiple foreign key
paths linking the tables.
Specify the 'foreign_keys' argument,
providing a list of those columns which should be
counted as containing a foreign key reference to the parent table.
解决办法如下
class Customer(Base):
__tablename__ = 'customer'
id = Column(Integer, primary_key=True)
name = Column(String)
billing_address_id = Column(Integer, ForeignKey("address.id"))
shipping_address_id = Column(Integer, ForeignKey("address.id"))
billing_address = relationship("Address", foreign_keys=[billing_address_id])
shipping_address = relationship("Address", foreign_keys=[shipping_address_id])
这样sqlachemy就能分清哪个外键是对应哪个字段了
5.多对多关系
现在来设计一个能描述“图书”与“作者”的关系的表结构，需求是
一本书可以有好几个作者一起出版
一个作者可以写好几本书
此时你会发现，用之前学的外键好像没办法实现上面的需求了，因为
当然你更不可以像下面这样干，因为这样就你就相当于有多条书的记录了，太low b了，改书名还得都改。。。
那怎么办呢？ 此时，我们可以再搞出一张中间表，就可以了
这样就相当于通过book_m2m_author表完成了book表和author表之前的多对多关联
用orm如何表示呢？
#一本书可以有多个作者，一个作者又可以出版多本书
from sqlalchemy import Table, Column, Integer,String,DATE, ForeignKey
from sqlalchemy.orm import relationship
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
Base = declarative_base()
book_m2m_author = Table('book_m2m_author', Base.metadata,
Column('book_id',Integer,ForeignKey('books.id')),
Column('author_id',Integer,ForeignKey('authors.id')),
class Book(Base):
__tablename__ = 'books'
id = Column(Integer,primary_key=True)
name = Column(String(64))
pub_date = Column(DATE)
authors = relationship('Author',secondary=book_m2m_author,backref='books')
def __repr__(self):
return self.name
class Author(Base):
__tablename__ = 'authors'
id = Column(Integer, primary_key=True)
name = Column(String(32))
def __repr__(self):
return self.name
orm 多对多
接下来创建几本书和作者
Session_class = sessionmaker(bind=engine) #创建与数据库的会话session class ,注意,这里返回给session的是个class,不是实例
s = Session_class() #生成session实例
b1 = Book(name="跟Alex学Python")
b2 = Book(name="跟Alex学把妹")
b3 = Book(name="跟Alex学装逼")
b4 = Book(name="跟Alex学开车")
a1 = Author(name="Alex")
a2 = Author(name="Jack")
a3 = Author(name="Rain")
b1.authors = [a1,a2]
b2.authors = [a1,a2,a3]
s.add_all([b1,b2,b3,b4,a1,a2,a3])
s.commit()
此时，手动连上mysql，分别查看这3张表，你会发现，book_m2m_author中自动创建了多条纪录用来连接book和author表
mysql& select *
+----+------------------+----------+
| id | name
| pub_date |
+----+------------------+----------+
1 | 跟Alex学Python
2 | 跟Alex学把妹
3 | 跟Alex学装逼
4 | 跟Alex学开车
+----+------------------+----------+
4 rows in set (0.00 sec)
mysql& select *
+----+------+
| id | name |
+----+------+
| 10 | Alex |
| 11 | Jack |
| 12 | Rain |
+----+------+
3 rows in set (0.00 sec)
mysql& select * from book_m2m_
+---------+-----------+
| book_id | author_id |
+---------+-----------+
+---------+-----------+
5 rows in set (0.00 sec)
此时，我们去用orm查一下数据
print('--------通过书表查关联的作者---------')
book_obj = s.query(Book).filter_by(name="跟Alex学Python").first()
print(book_obj.name, book_obj.authors)
print('--------通过作者表查关联的书---------')
author_obj =s.query(Author).filter_by(name="Alex").first()
print(author_obj.name , author_obj.books)
s.commit()
--------通过书表查关联的作者---------
跟Alex学Python [Alex, Jack]
--------通过作者表查关联的书---------
Alex [跟Alex学把妹, 跟Alex学Python]
牛逼了我的哥！！完善实现多对多　　
多对多删除
删除数据时不用管boo_m2m_authors　， sqlalchemy会自动帮你把对应的数据删除
通过书删除作者
author_obj =s.query(Author).filter_by(name="Jack").first()
book_obj = s.query(Book).filter_by(name="跟Alex学把妹").first()
book_obj.authors.remove(author_obj) #从一本书里删除一个作者
s.commit()
直接删除作者　
删除作者时，会把这个作者跟所有书的关联关系数据也自动删除
author_obj =s.query(Author).filter_by(name="Alex").first()
# print(author_obj.name , author_obj.books)
s.delete(author_obj)
s.commit()
sqlalchemy设置编码字符集一定要在数据库访问的URL上增加charset=utf8，否则数据库的连接就不是utf8的编码格式
eng = create_engine('mysql://root:root@localhost:3306/test2?charset=utf8',echo=True)
6.本节作业
主题：学员管理系统
用户角色，讲师＼学员， 用户登陆后根据角色不同，能做的事情不同，分别如下
　　管理班级，可创建班级，根据学员qq号把学员加入班级
　　可创建指定班级的上课纪录，注意一节上课纪录对应多条学员的上课纪录， 即每节课都有整班学员上， 为了纪录每位学员的学习成绩，需在创建每节上课纪录是，同时 & & & & 为这个班的每位学员创建一条上课纪录
　　为学员批改成绩， 一条一条的手动修改成绩
查看作业成绩
一个学员可以同时属于多个班级，就像报了Linux的同时也可以报名Python一样， 所以提交作业时需先选择班级，再选择具体上课的节数
附加：学员可以查看自己的班级成绩排名
阅读(...) 评论() &python对mysql的操作
Mysql 常见操作
数据库操作
创建数据库
　　　　create database fuzjtest
删除数据库
　　　　drop database fuzjtest
查询数据库
　　　　show databases
切换数据库
　　　　use databas 123123 ###用户授权
　　　　create user '用户名'@'IP地址' identified by '密码';
　　　　drop user '用户名'@'IP地址';
　　　　rename user '用户名'@'IP地址'; to '新用户名'@'IP地址';;
　　　　set password for '用户名'@'IP地址' = Password('新密码')
　　　　 show grants for '用户'@'IP地址'
　　　　grant 权限 on 数据库.表 to '用户'@'IP地址'
revoke 权限 on 数据库.表 from '用户'@'IP地址'
PS：用户权限相关数据保存在mysql数据库的user表中，所以也可以直接对其进行操作（不建议）
授权数据库
all privileges
除grant外的所有权限
select,insert
查和插入权限
无访问权限
使用alter table
alter routine
使用alter procedure和drop procedure
使用create table
create routine
使用create procedure
create temporary tables 使用create temporary tables
create user
使用create user、drop user、rename user和revoke
all privileges
create view
使用create view
使用delete
使用drop table
使用call和存储过程
使用select into outfile 和 load data infile
grant option
使用grant 和 revoke
使用insert
lock tables
使用lock table
使用show full processlist
使用select
show databases
使用show databases
使用show view
使用update
使用mysqladmin shutdown(关闭MySQL)
??使用change master、kill、logs、purge、master和set global。还允许mysqladmin????调试登陆
replication client
服务器位置的访问
replication slave
由复制从属使用
对于目标数据库以及内部其他：
数据库名.*
数据库中的所有
数据库名.表
指定数据库中的某张表
数据库名.存储过程
指定数据库中的存储过程
所有数据库
对数据库授权
用户名@IP地址
用户只能在改IP下才能访问
用户名@192.168.1.%
用户只能在改IP段下才能访问(通配符%表示任意)
用户可以再任意IP下访问(默认IP地址为%)
对用户和IP
grant all privileges on db1.tb1 TO '用户名'@'IP'
grant select on db1.* TO '用户名'@'IP'
grant select,insert on *.* TO '用户名'@'IP'
revoke select on db1.tb1 from '用户名'@'IP'
create table 表名(
是否可以为空，
是否可以为空
1.是否可空，null表示空，非字符串
2.默认值，创建列时可以指定默认值，当插入数据时如果未主动设置，则自动添加默认值
create table tb1(
nid int not null defalut 2,
num int not null
3.自增，如果为某列设置自增列，插入数据时无需设置此列，默认将自增（表中只能有一个自增列）
create table tb1(
nid int not null auto_increment primary key,
num int null
create table tb1(
nid int not null auto_increment,
num int null,
index(nid)
注意：1、对于自增列，必须是索引（含主键）。
2、对于自增可以设置步长和起始值
show session variables like 'auto_inc%';
set session auto_increment_increment=2;
set session auto_increment_offset=10;
shwo global
variables like 'auto_inc%';
set global auto_increment_increment=2;
set global auto_increment_offset=10;
4.主键，一种特殊的唯一索引，不允许有空值，如果主键使用单个列，则它的值必须唯一，如果是多列，则其组合必须唯一。
create table tb1(
nid int not null auto_increment primary key,
num int null
create table tb1(
nid int not null,
num int not null,
primary key(nid,num)
5.外键，一个特殊的索引，只能是指定内容
creat table color(
nid int not null primary key,
name char(16) not null
create table fruit(
nid int not null primary key,
smt char(32) null ,
color_id int not null,
constraint fk_cc foreign key (color_id) references color(nid)
　　　drop table 表名
delete from 表名
truncate table 表名
　　　　　　alter table 表名 add 列名 类型
　　　　　　alter table 表名 drop column 列名
alter table 表名 modify column 列名 类型;
alter table 表名 change 原列名 新列名 类型; -- 列名，类型
添加主键：
删除主键：
alter table 表名
alter table 表名
添加外键：
　　　　　　alter table 从表 add constraint 外键名称（形如：FK_从表_主表） foreign key 从表(外键字段) references 主表(主键字段);
删除外键：
　　　　　　alter table 表名 drop foreign key 外键名称
修改默认值：
　　　　　　ALTER TABLE testalter_tbl ALTER i SET DEFAULT 1000;
删除默认值：
　　　　　　ALTER TABLE testalter_tbl ALTER i DROP DEFAULT;
insert into 表 (列名,列名...) values (值,值,值...)
insert into 表 (列名,列名...) values (值,值,值...),(值,值,值...)
insert into 表 (列名,列名...) select (列名,列名...) from 表
delete from 表
delete from 表 where id＝1 and name＝'fuzj'
update 表 set name ＝ 'fuzj' where id&1
select * from 表
select * from 表 where id & 1
select nid,name,gender as gg from 表 where id & 1
select * from 表 where id & 1 and name != 'alex' and num = 12;
select * from 表 where id between 5 and 16;
select * from 表 where id in (11,22,33)
select * from 表 where id not in (11,22,33)
select * from 表 where id in (select nid from 表)
select * from 表 where name like 'ale%' - ale开头的所有（多个字符串）
select * from 表 where name like 'ale_' - ale开头的所有（一个字符）
select * from 表 limit 5; - 前5行
select * from 表 limit 4,5; - 从第4行开始的5行
select * from 表 limit 5 offset 4 - 从第4行开始的5行
select * from 表 order by 列 asc - 根据 &列& 从小到大排列
select * from 表 order by 列 desc - 根据 &列& 从大到小排列
select * from 表 order by 列1 desc,列2 asc - 根据 &列1& 从大到小排列，如果相同则按列2从小到大排序
select num from 表 group by num
select num,nid from 表 group by num,nid
select num,nid from 表 where nid & 10 group by num,nid order nid desc
select num,nid,count(*),sum(score),max(score),min(score) from 表 group by num,nid
select num from 表 group by num having max(id) & 10
特别的：group by 必须在where之后，order by之前
无对应关系则不显示
select A.num, A.name, B.name
Where A.nid = B.nid
无对应关系则不显示
select A.num, A.name, B.name
from A inner join B
on A.nid = B.nid
A表所有显示，如果B中无对应关系，则值为null
select A.num, A.name, B.name
from A left join B
on A.nid = B.nid
B表所有显示，如果B中无对应关系，则值为null
select A.num, A.name, B.name
from A right join B
on A.nid = B.nid
组合，自动处理重合
select nickname
select name
组合，不处理重合
select nickname
select name
python操作Mysql
python3中第三方模块pymysql，提供python对mysql的操作
pip3 install pymysql
执行sql语句
import pymysql
# 创建连接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='fuzj', passwd='123123', db='fuzj')
# 创建游标
cursor = conn.cursor()
#conn.set_charset('utf-8')
# 执行SQL，并返回收影响行数
#effect_row = cursor.execute("create table user (id int not NULL auto_increment primary key
,name char(16) not null) ")
#创建一个user表
#print(effect_row)
# 执行SQL，并返回受影响行数，使用占位符 实现动态传参
cursor.execute('SET CHARACTER SET utf8;')
effect_row = cursor.execute("insert into user (name) values (%s) ", ('323'))
effect_row = cursor.executemany("insert into user (name) values (%s) ", [('123',),('456',),('789',),('0',),('1',),('2',),('3',)])
#print(effect_row)
# 执行多个SQL，并返回受影响行数，列表中每个元素都相当于一个条件
effect_row = cursor.executemany("update user set name = %s WHERE
id = %s", [("fuzj",1),("jeck",2)])
print(effect_row)
获取新创建数据自增ID
#使用游标的lastrowid方法获取
new_id = cursor.lastrowid
获取查询数据
import pymysql
# 创建连接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='fuzj', passwd='123123', db='fuzj')
# 创建游标
cursor = conn.cursor()
cursor.execute("select * from user")
# 获取第一行数据
row_1 = cursor.fetchone()
print(row_1)
# 获取前n行数据
row_2 = cursor.fetchmany(3)
print(row_2)
# 获取所有数据
row_3 = cursor.fetchall()
print(row_3)
cursor.close()
conn.close()import pymysql
# 创建连接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='fuzj', passwd='123123', db='fuzj')
# 创建游标
cursor = conn.cursor()
cursor.execute("select * from user")
# 获取第一行数据
row_1 = cursor.fetchone()
print(row_1)
# 获取前n行数据
row_2 = cursor.fetchmany(3)
print(row_2)
# 获取所有数据，返回元组形式
row_3 = cursor.fetchall()
print(row_3)
cursor.close()
conn.close()
(1, 'fuzj')
((2, 'jeck'), (3, '323'), (4, '123'))
((5, '456'), (6, '789'), (7, '0'), (8, '1'), (9, '2'), (10, '3'), (11, '323'), (12, '123'), (13, '456'), (14, '789'), (15, '0'), (16, '1'), (17, '2'), (18, '3'), (19, '323'), (20, '123'), (21, '456'), (22, '789'), (23, '0'), (24, '1'), (25, '2'), (26, '3'))
注：在fetch数据时按照顺序进行，可以使用cursor.scroll(num,mode)来移动游标位置，如：
cursor.scroll(1,mode='relative') # 相对当前位置移动
cursor.scroll(2,mode='absolute') # 相对绝对位置移动
fetch数据类型
import pymysql
# 创建连接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='fuzj', passwd='123123', db='fuzj')
# 创建游标
#cursor = conn.cursor()
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
cursor.execute("select * from user")
row_1 = cursor.fetchone()
print(row_1)
# 获取前n行数据
row_2 = cursor.fetchmany(3)
print(row_2)
# 获取所有数据
row_3 = cursor.fetchall()
print(row_3)
cursor.close()
conn.close()
输出结果：
{'id': 1, 'name': 'fuzj'}
[{'id': 2, 'name': 'jeck'}, {'id': 3, 'name': '323'}, {'id': 4, 'name': '123'}]
[{'id': 5, 'name': '456'}, {'id': 6, 'name': '789'}, {'id': 7, 'name': '0'}, {'id': 8, 'name': '1'}, {'id': 9, 'name': '2'}, {'id': 10, 'name': '3'}, {'id': 11, 'name': '323'}, {'id': 12, 'name': '123'}, {'id': 13, 'name': '456'}, {'id': 14, 'name': '789'}, {'id': 15, 'name': '0'}, {'id': 16, 'name': '1'}, {'id': 17, 'name': '2'}, {'id': 18, 'name': '3'}, {'id': 19, 'name': '323'}, {'id': 20, 'name': '123'}, {'id': 21, 'name': '456'}, {'id': 22, 'name': '789'}, {'id': 23, 'name': '0'}, {'id': 24, 'name': '1'}, {'id': 25, 'name': '2'}, {'id': 26, 'name': '3'}]
SQLAlchemy是Python编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简言之便是：将对象转换成SQL，然后使用数据API执行SQL并获取执行结果。
SQLAlchemy本身无法操作数据库，其必须以来pymsql等第三方插件，Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作，如：
MySQL-Python
mysql+mysqldb://&user&:&password&@&host&[:&port&]/&dbname&
mysql+pymysql://&username&:&password&@&host&/&dbname&[?&options&]
MySQL-Connector
mysql+mysqlconnector://&user&:&password&@&host&[:&port&]/&dbname&
oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]
更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html
使用 Engine/ConnectionPooling/Dialect 进行数据库操作，Engine使用ConnectionPooling连接数据库，然后再通过Dialect执行SQL语句。
from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://fuzj:.0.0.1:3306/fuzj", max_overflow=5)
#执行sql语句
engine.execute("INSERT INTO user (name) VALUES ('dadadadad')")
result = engine.execute('select * from user')
res = result.fetchall()
print(res)
ORM功能使用
使用 ORM/Schema Type/SQL Expression Language/Engine/ConnectionPooling/Dialect 所有组件对数据进行操作。根据类创建对象，对象转换成SQL，执行SQL。
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index
from sqlalchemy.orm import sessionmaker, relationship
from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://fuzj:.0.0.1:", max_overflow=5)
Base = declarative_base()
# 创建单表
class Users(Base):
__tablename__ = 'users'
id = Column(Integer, primary_key=True)
name = Column(String(32))
extra = Column(String(16))
__table_args__ = (
UniqueConstraint('id', 'name', name='uix_id_name'),
Index('ix_id_name', 'name', 'extra'),
class Favor(Base):
__tablename__ = 'favor'
nid = Column(Integer, primary_key=True)
caption = Column(String(50), default='red', unique=True)
class Person(Base):
__tablename__ = 'person'
nid = Column(Integer, primary_key=True)
name = Column(String(32), index=True, nullable=True)
favor_id = Column(Integer, ForeignKey("favor.nid"))
class ServerToGroup(Base):
__tablename__ = 'servertogroup'
nid = Column(Integer, primary_key=True, autoincrement=True)
server_id = Column(Integer, ForeignKey('server.id'))
group_id = Column(Integer, ForeignKey('group.id'))
class Group(Base):
__tablename__ = 'group'
id = Column(Integer, primary_key=True)
name = Column(String(64), unique=True, nullable=False)
class Server(Base):
__tablename__ = 'server'
id = Column(Integer, primary_key=True, autoincrement=True)
hostname = Column(String(64), unique=True, nullable=False)
port = Column(Integer, default=22)
Base.metadata.create_all(engine)
# Base.metadata.drop_all(engine)
obj = Users(name="alex0", extra='sb')
session.add(obj)
session.add_all([
Users(name="alex1", extra='sb'),
Users(name="alex2", extra='sb'),
session.query(Users).filter(Users.id & 2).delete()
session.query(Users).filter(Users.id & 2).update({"name" : "099"})
session.query(Users).filter(Users.id & 2).update({Users.name: Users.name + "099"}, synchronize_session=False)
session.query(Users).filter(Users.id & 2).update({"num": Users.num + 1}, synchronize_session="evaluate")
ret = session.query(Users).all()
ret = session.query(Users.name, Users.extra).all()
ret = session.query(Users).filter_by(name='alex').all()
ret = session.query(Users).filter_by(name='alex').first()
ret = session.query(Users).filter_by(name='alex').all()
ret = session.query(Users).filter(Users.id & 1, Users.name == 'eric').all()
ret = session.query(Users).filter(Users.id.between(1, 3), Users.name == 'eric').all()
ret = session.query(Users).filter(Users.id.in_([1,3,4])).all()
ret = session.query(Users).filter(~Users.id.in_([1,3,4])).all()
ret = session.query(Users).filter(Users.id.in_(session.query(Users.id).filter_by(name='eric'))).all()
from sqlalchemy import and_, or_
ret = session.query(Users).filter(and_(Users.id & 3, Users.name == 'eric')).all()
ret = session.query(Users).filter(or_(Users.id & 2, Users.name == 'eric')).all()
ret = session.query(Users).filter(
Users.id & 2,
and_(Users.name == 'eric', Users.id & 3),
Users.extra != ""
ret = session.query(Users).filter(Users.name.like('e%')).all()
ret = session.query(Users).filter(~Users.name.like('e%')).all()
ret = session.query(Users)[1:2]
ret = session.query(Users).order_by(Users.name.desc()).all()
ret = session.query(Users).order_by(Users.name.desc(), Users.id.asc()).all()
from sqlalchemy.sql import func
ret = session.query(Users).group_by(Users.extra).all()
ret = session.query(
func.max(Users.id),
func.sum(Users.id),
func.min(Users.id)).group_by(Users.name).all()
ret = session.query(
func.max(Users.id),
func.sum(Users.id),
func.min(Users.id)).group_by(Users.name).having(func.min(Users.id) &2).all()
ret = session.query(Users, Favor).filter(Users.id == Favor.nid).all()
ret = session.query(Person).join(Favor).all()
ret = session.query(Person).join(Favor, isouter=True).all()
q1 = session.query(Users.name).filter(Users.id & 2)
q2 = session.query(Favor.caption).filter(Favor.nid & 2)
ret = q1.union(q2).all()
q1 = session.query(Users.name).filter(Users.id & 2)
q2 = session.query(Favor.caption).filter(Favor.nid & 2)
ret = q1.union_all(q2).all()
ORM解决中文编码问题 sqlalchemy 默认使用latin-1进行编码。所以当出现中文时就会报如下错误：
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 39-41: ordinal not in range(256)
解决方法：
在连接数据库的时候直接指定字符编码：
#engine = create_engine("mysql+pymysql://@127.0.0.1:3306/fuzj?charset=utf8", max_overflow=5,encoding='utf-8')
ORM 指定查询返回数据格式 默认使用query查询返回的结果为一个对象
res = session.query(User).all()
print(res)
#使用for循环遍历列表才能取出name
for i in res:
print(i.name)
输出结果：
[&__main__.User object at 0x&, &__main__.User object at 0x&, &__main__.User object at 0x&, &__main__.User object at 0x&, &__main__.User object at 0x&]
使用__repr__定义返回的数据
class User(Base):
__tablename__ = 'user'
nid = Column(Integer,primary_key=True,autoincrement=True)
name = Column(String(10),nullable=False)
role = Column(Integer,ForeignKey('role.rid'))
group = relationship("Role",backref='uuu')
#Role为类名
def __repr__(self):
output = "(%s,%s,%s)" %(self.nid,self.name,self.role)
return output
res = session.query(User).all()
print(res)
[(1,fuzj,1), (2,jie,2), (3,张三,2), (4,李四,1), (5,王五,3)]
ORM 一对多具体使用
mysql表中一对多指的是表A中的数据和表B中的数据存在对应的映射关系，表A中的数据在表B中对应存在多个对应关系，如表A存放用户的角色 DBA，SA，表B中存放用户，表B通过外键关联之表A中，多个用户可以属于同一个角色
设计两张表，user表和role表，
user 表中存放用户，role表中存放用户角色，role表中角色对应user表中多个用户，user表中一个用户只对应role表中一个角色，中间通过外键约束
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String,ForeignKey
from sqlalchemy.orm import sessionmaker,relationship
from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://@127.0.0.1:3306/fuzj?charset=utf8", max_overflow=5,encoding='utf-8')
Base = declarative_base()
class Role(Base):
__tablename__ = 'role'
rid = Column(Integer, primary_key=True, autoincrement=True)
#主键，自增
role_name = Column(String(10))
def __repr__(self):
output = "(%s,%s)" %(self.rid,self.role_name)
return output
class User(Base):
__tablename__ = 'user'
nid = Column(Integer,primary_key=True,autoincrement=True)
name = Column(String(10),nullable=False)
role = Column(Integer,ForeignKey('role.rid'))
def __repr__(self):
output = "(%s,%s,%s)" %(self.nid,self.name,self.role)
return output
Base.metadata.create_all(engine)
Session = sessionmaker(bind=engine)
session = Session()
#添加角色数据
session.add(Role(role_name='dba'))
session.add(Role(role_name='sa'))
session.add(Role(role_name='net'))
#添加用户数据
session.add_all([
User(name='fuzj',role='1'),
User(name='jie',role='2'),
User(name='张三',role='2'),
User(name='李四',role='1'),
User(name='王五',role='3'),
session.close()
普通连表查询
res = session.query(User,Role).join(Role).all()
#查询所有用户,及对应的role id
res1 = session.query(User.name,Role.role_name).join(Role).all()
#查询所有用户和角色,
res2 = session.query(User.name,Role.role_name).join(Role,isouter=True).filter(Role.role_name=='sa').all() #查询所有DBA的用户
print(res)
print(res1)
print(res2)
输出结果：
[((1,fuzj,1), (1,dba)), ((2,jie,2), (2,sa)), ((3,张三,2), (2,sa)), ((4,李四,1), (1,dba)), ((5,王五,3), (3,net))]
[('fuzj', 'dba'), ('jie', 'sa'), ('张三', 'sa'), ('李四', 'dba'), ('王五', 'net')]
[('jie', 'sa'), ('张三', 'sa')]
使用relationship 添加影射关系进行查询
首先在User表中添加relationship影射关系
class User(Base):
__tablename__ = 'user'
nid = Column(Integer,primary_key=True,autoincrement=True)
name = Column(String(10),nullable=False)
role = Column(Integer,ForeignKey('role.rid'))
group = relationship("Role",backref='uuu')
#Role为类名
print('正向查询')
res = session.query(User).all()
#查询所有的用户和角色
for i in res:
print(i.name,i.group.role_name)
#此时的i.group 就是role表对应的关系
res = session.query(User).filter(User.name=='fuzj').first()
#查询fuzj用户和角色
print(res.name,res.group.role_name)
print('反向查找')
res = session.query(Role).filter(Role.role_name =='dba').first()
#查找dba组下的所有用户
print(res.uuu)
#此时 print的结果为[(1,fuzj,1), (4,李四,1)]
for i in res.uuu:
print(i.name,res.role_name)
输出结果：
[(1,fuzj,1), (4,李四,1)]
relationship 在user表中创建了新的字段，这个字段只用来存放user表中和role表中的对应关系，在数据库中并不实际存在正向查找： 先从user表中查到符合name的用户之后，此时结果中已经存在和role表中的对应关系，group对象即role表，所以直接使用obj.group.role_name就可以取出对应的角色反向查找：relationship参数中backref='uuu'，会在role表中的每个字段中加入uuu，而uuu对应的就是本字段在user表中对应的所有用户，所以，obj.uuu.name会取出来用户名所谓正向和反向查找是对于relationship关系映射所在的表而说，如果通过该表（user表）去查找对应的关系表（role表），就是正向查找，反正通过对应的关系表（role表）去查找该表（user表）即为反向查找。而relationship往往会和ForeignKey共存在一个表中。
ORM 多对多具体使用
Mysql多对多关系指的是两张表A和B本没有任何关系，而是通过第三张表C建立关系，通过关系表C，使得表A在表B中存在多个关联数据，表B在表A中同样存在多个关联数据
创建三张表 host表 hostuser表 host_to_hostuser表
host表中存放主机，hostuser表中存放主机的用户， host_to_hostuser表中存放主机用户对应的主机，hostuser表中用户对应host表中多个主机，host表中主机对应hostuser表中多个用户，中间关系通过host_to_hostuser表进行关联。host_to_hostuser和host表、user表进行外键约束
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String,ForeignKey
from sqlalchemy.orm import sessionmaker,relationship
from sqlalchemy import create_engine
class Host(Base):
__tablename__ = 'host'
nid = Column(Integer, primary_key=True,autoincrement=True)
hostname = Column(String(32))
port = Column(String(32))
ip = Column(String(32))
class HostUser(Base):
__tablename__ = 'host_user'
nid = Column(Integer, primary_key=True,autoincrement=True)
username = Column(String(32))
class HostToHostUser(Base):
__tablename__ = 'host_to_host_user'
nid = Column(Integer, primary_key=True,autoincrement=True)
host_id = Column(Integer,ForeignKey('host.nid'))
host_user_id = Column(Integer,ForeignKey('host_user.nid'))
Base.metadata.create_all(engine)
Session = sessionmaker(bind=engine)
session = Session()
session.add_all([
Host(hostname='c1',port='22',ip='1.1.1.1'),
Host(hostname='c2',port='22',ip='1.1.1.2'),
Host(hostname='c3',port='22',ip='1.1.1.3'),
Host(hostname='c4',port='22',ip='1.1.1.4'),
Host(hostname='c5',port='22',ip='1.1.1.5'),
session.add_all([
HostUser(username='root'),
HostUser(username='db'),
HostUser(username='nb'),
HostUser(username='sb'),
session.add_all([
HostToHostUser(host_id=1,host_user_id=1),
HostToHostUser(host_id=1,host_user_id=2),
HostToHostUser(host_id=1,host_user_id=3),
HostToHostUser(host_id=2,host_user_id=2),
HostToHostUser(host_id=2,host_user_id=4),
HostToHostUser(host_id=2,host_user_id=3),
session.close()
普通多次查询
host_id = session.query(Host.nid).filter(Host.hostname=='c2').first()
#查找hostbane对应的hostid,返回结果为元组(2,)
user_id_list = session.query(HostToHostUser.host_user_id).filter(HostToHostUser.host_id==host_id[0]).all()
#查询hostid对应的所有userid
user_id_list = zip(*user_id_list)
#user_id_list 初始值为[(2,), (4,), (3,)],使用zip转换为[2,4,3]对象
#print(list(user_id_list))
#结果为[(2, 4, 3)]
user_list = session.query(HostUser.username).filter(HostUser.nid.in_(list(user_id_list)[0])).all()
#查询符合条件的用户
print(user_list)
user_id_list = session.query(HostToHostUser.host_user_id).join(Host).filter(Host.hostname=='c2').all()
user_id_list = zip(*user_id_list)
user_list = session.query(HostUser.username).filter(HostUser.nid.in_(list(user_id_list)[0])).all()
print(user_list)
输出结果：
[('db',), ('nb',), ('sb',)]
使用relationship映射关系查询
首先在关系表Host_to_hostuser中加入relationship关系映射
class HostToHostUser(Base):
__tablename__ = 'host_to_host_user'
nid = Column(Integer, primary_key=True,autoincrement=True)
host_id = Column(Integer,ForeignKey('host.nid'))
host_user_id = Column(Integer,ForeignKey('host_user.nid'))
host = relationship('Host',backref='h') #对应host表
host_user = relationship('HostUser',backref='u') #对应host_user表
#查找一个服务器上有哪些用户
res = session.query(Host).filter(Host.hostname=='c2').first()
#返回的是符合条件的服务器对象
res2 = res.h
#通过relationship反向查找 Host_to_Hostuser中的对应关系
for i in res2:
#i为host_to_hostuser表和host表中c2主机有对应关系的条目
print(i.host_user.username)
#正向查找, 通过relationship ,找到host_to_hostuser中对应的hostuser 即i.host_user
#查找此用户有哪些服务器
res = session.query(HostUser).filter(HostUser.username=='sb').first()
for i in res.u:
print(i.host.hostname)
不查询关系表，直接在hostuser表中指定关系表，然后获取host表
在host表中使用 relationship的secondary指定关系表。
class Host(Base):
__tablename__ = 'host'
nid = Column(Integer, primary_key=True,autoincrement=True)
hostname = Column(String(32))
port = Column(String(32))
ip = Column(String(32))
host_user = relationship('HostUser',secondary=lambda :HostToHostUser.__table__,backref='h')
注意使用lambda是为了使表的顺序不在闲置
host_obj = session.query(Host).filter(Host.hostname=='c1').first()
for i in host_obj.host_user:
print(i.username)
阅读(...) 评论()