Python：用Pandas读CSV文件写到MySQL

Jonathan Shieber 发布于2019-07-25 11:37 / 2817人阅读

摘要：汇总一下，自己最近在使用读写存数据库中遇到的各种问题。假如我有一个含有中文的文件本人小明一年级小张三年级打印处理以后乱码了。解决这个问题时候也是被坑了一把，网上说什么的都有。过程就不说了，看代码解决了

汇总一下，自己最近在使用Python读写CSV存数据库中遇到的各种问题。
上代码：

reload(sys)
sys.setdefaultencoding("utf-8")
host = "127.0.0.1"
port = 3306
db = "world"
user = "root"
password = "123456"

con = MySQLdb.connect(host=host,charset="utf8",port=port,db=db,user=user,passwd=password)
try:
    df = pd.read_sql(sql=r"select * from city", con=con)
    df.to_sql("test",con=con,flavor="mysql")
except Exception as e:
    print(e.message)

不出意外的话会打印出一句：database flavor MySQL is not supported
在stackoverflow上找到了答案：The flavor ‘mysql’ is deprecated in pandas version 0.19.

我们换一种方式：

reload(sys)
sys.setdefaultencoding("utf-8")
host = "127.0.0.1"
port = 3306
db = "world"
user = "root"
password = "123456"

engine = create_engine(str(r"mysql+mysqldb://%s:" + "%s" + "@%s/%s") % (user, password, host, db))

try:
    df = pd.read_sql(sql=r"select * from city", con=engine)
    df.to_sql("test",con=engine,if_exists="append",index=False)
except Exception as e:
    print(e.message)

运行下，ok,可以存入了index参数表示是否把DataFrame的index当成一列来存储，一般来说是不需要的，所以赋值为False

现在看似问题都解决了，但是还有一个小问题。
假如我有一个含有中文的csv文件（本人Window）:
name age class
小明 15 一年级
小张 18 三年级

engine = create_engine(str(r"mysql+mysqldb://%s:" + "%s" + "@%s/%s") % (user, password, host, db))

try:
    df = pd.read_csv(r"C:UsersxxDesktopdata.csv")
    print(df)
    df.to_sql("test", con=engine, if_exists="append", index=False)
except Exception as e:
    print(e.message)

打印处理以后乱码了。我们在读csv时候最好指定编码，我的本地GBK：

df = pd.read_csv(r"C:UsersxxDesktopdata.csv",encoding="gbk")

我们可以正常的打印信息了，但是又报错了，错误如下：

UnicodeEncodeError: "latin-1" codec can"t encode characters in position 0-1: ordinal not in range(256)

还是编码问题，原因呢，我们存到数据库时候没有指定编码。解决这个问题时候也是被坑了一把，网上说什么的都有。过程就不说了，看代码：

engine = create_engine(str(r"mysql+mysqldb://%s:" + "%s" + "@%s/%s?charset=utf8") % (user, password, host, db))

解决了

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38509.html

pandas使用

摘要：写这篇文章主要是想按照一定的逻辑顺总结一下自己做项目以来序用到过的的知识点虽然官方文档上各个方面都写的很清楚但是还是想自己再写一份一个是想作为个人梳理另外也可以把最经常使用的部分拎出来更清晰一些不定时更新数据的读数据其中是需要的语句是创建的写这篇文章,主要是想按照一定的逻辑顺总结一下自己做项目以来,序用到过的pandas的知识点.虽然pandas官方文档上各个方面都写的很清楚,但是还...

int64 2019-07-30 15:23 评论0 收藏0
Python之使用Pandas库实现MySQL数据库的读写

摘要：本次分享将介绍如何在中使用库实现数据库的读写。提供了工具包及对象关系映射工具，使用许可证发行。模块实现了与不同数据库的连接，而模块则使得能够操作数据库。本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写。首先我们需要了解点ORM方面的知识。 ORM技术对象关系映射技术，即ORM（Object-Relational Mapping）技术，指的是把关...

darcrand 2019-07-30 16:03 评论0 收藏0
Pandas技巧大全：含具体代码实现

摘要：查看数据的基本统计信息。用处是用于数据读写处理更改提取等一系列操作的包，可以说，所有能实现的功能，都可以通过代码轻松实现，因此，对于学习非常重要。如果在里，需要翻到最低和最右，而且可能由于溢出无法穷尽可以简单的实现。放在前面的话这学期刻意少...

netmou 2021-09-30 09:48 评论0 收藏0