摘要:后台批量导入数据在生产环境中,往往数据不是几条或者几百条,那么举个例子,将公司所有员工员工号或者帐号密码导入进后台,那就不建议你去后台一条条记录去添加了如何从中批量导入记录第一步为数据建立模型修订版本作者修订时间注释消息影响的文件创建时间修
django后台批量导入数据
在生产环境中,往往数据不是几条或者几百条,那么举个例子,将公司所有员工员工号或者帐号密码导入进后台,那就不建议你去后台一条条记录去添加了
如何从xml中批量导入svn记录第一步:
为数据建立模型
</>复制代码
@python_2_unicode_compatible
class SVNLog(models.Model):
vision = models.IntegerField(verbose_name=u"修订版本", blank=False, null=False,)
author = models.CharField(verbose_name=u"作者", max_length=60, blank=True, null=True)
date = models.DateTimeField(verbose_name=u"修订时间",null=True )
msg = models.TextField(verbose_name=u"注释消息", blank=False, null=False, default=u"")
paths = models.TextField(verbose_name=u"影响的文件", blank=False, null=False, default=u"")
created_time = models.DateTimeField(verbose_name=u"创建时间", auto_now_add=True, )
update_time = models.DateTimeField(verbose_name=u"修改时间", auto_now=True, )
class Meta:
ordering = ["revision"]
def __str__(self):
return u"r%s" % (self.revision or u"", )
既然建立好了模型,那我们再去建立接受我们xml文件的models
</>复制代码
@python_2_unicode_compatible
class ImportLogFile(models.Model):
LogFile = models.FileField(upload_to="LogFile")
FileName = models.CharField(max_length=50, verbose_name=u"文件名")
class Meta:
ordering = ["FileName"]
def __str__(self):
return self.FileName
ok,以上代码我们定义好了数据和上传文件的model
同步数据库
python manage.py makemigrations
python manage.py migrate
接着我们去修改admin.py 让我们可以从后台上传文件,
</>复制代码
class ImportLogAdmin(admin.ModelAdmin):
list_display = ("LogFile","FileName",)
list_filter = ["FileName",]
def save_model(self, request, obj, form, change):
re = super(YDImportLogAdmin,self).save_model(request, obj, form, change)
update_svn_log(self, request, obj, change)
return re
注意上面代码里的save_model,这里才是关键,在这里我重写了ModelAdmin里的save_model方法
因为我们要把上传文件,读取文件,解析文件,操作数据库合为一步来操作,大家可以打开debug,在上传文件的时候,返回参数的obj里包括了文件上传的路径,这个路径也是下一步我们操作解析文件的关键,好了我们在这个app文件夹下新建一个utils.py 用来操作我们操作文件和数据库的工具类,为了简单我写成了函数如下
先贴一下我们要测试的xml文件
</>复制代码
qwert
2016-09-27T07:16:37.396449Z
/aaa/README
20160927 151630
VisualSVN Server
2016-09-20T05:03:12.861315Z
/branches
/tags
/trunk
hello word
输出结果格式
</>复制代码
r2 | qwer | 2016-09-27 15:16:37 +0800 (二, 27 9 2016) | 1 line
Changed paths:
A /xxx/README
20160927 151630
------------------------------------------------------------------------
r1 | VisualSVN Server | 2016-09-20 13:03:12 +0800 (二, 20 9 2016) | 1 line
Changed paths:
A /branches
A /tags
A /trunk
Initial structure.
</>复制代码
from .models import SVNLog
import xmltodict
def update_svn_log(self, request, obj, change):
headers = ["r","a","d","m","p"]
filepath = obj.LogFile.path
xmlfile = xmltodict.parse(open(filepath, "r"))
xml_logentry = xml.get("log").get("logentry")
info_list = []
pathlist = []
sql_insert_list = []
sql_update_list = []
for j in xml:
data_dict = {}
# get path
paths = j.get("paths").get("path")
if isinstance(paths,list):
for path in paths:
action = path.get("@action")
pathtext = path.get("#text")
pathtext = action + " " + pathtext
pathlist.append(pathtext)
_filelist = u"
".join(pathlist)
_paths = u"Changed paths:
{}".format(_filelist)
print _paths
else:
_filelist = paths.get("@action") + " " + paths.get("#text")
_paths = u"Changed paths:
{}".format(_filelist)
print _paths
# get revision
vision = j.get("@vision")
# get auth
author = j.get("author")
#get date
date = j.get("date")
#get msg
msg = j.get("msg")
data_dict[headers[0]] = int(vision)
data_dict[headers[1]] = author
data_dict[headers[2]] = date
data_dict[headers[3]] = msg
data_dict[headers[4]] = _paths
info_list.append(data_dict)
_svnlog = SVNLog.objects.filter().order_by("-vision").first()
_last_version = _svnlog.vision if _svnlog else 0
for value in info_list:
vision = value["r"]
author = value["a"]
date = value["d"]
msg = value["m"]
paths = value["p"]
print vision,author
_svnlog = YDSVNLog.objects.filter().order_by("-revision").first()
_last_version = _svnlog.revision if _svnlog else 0
if vision > _last_version:
sql_insert_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))
else:
sql_update_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))
SVNLog.objects.bulk_create(sql_insert_list)
SVNLog.objects.bulk_create(sql_update_list)
</>复制代码
我们使用的xmltodict这个第三方库来解析xml,他把内容解析成了高效率的orderdict类型,就是有序列的字典
这个xml中比较复杂的是那个paths里的path,因为这个xml中包含两个元素,第一个元素的path只含有一个path,第二个元素中的paths包含有三个path,因此我们在解析获取的时候需要判断一下
</>复制代码
paths = j.get("paths").get("path")
if isinstance(paths,list):
pass
我们判断这个path是不是一个list类型的,如果是,那我们就按照list的方式来处理,如果不是,那我们就按单个的方式来处理,获取之后按照输出结果格式处理下结果
然后获取其他内容
</>复制代码
revision = j.get("@vision")
# get auth
author = j.get("author")
#get date
date = j.get("date")
#get msg
msg = j.get("msg")
最后我们将获取到的元素存在字典里
在循环中判断当前的版本号和数据库中的版本号,
如果比原来的小,那么我们执行更新操作,反之执行插入操作
</>复制代码
最后使用了bulk_create来操作数据库,这样避免了循环中每次都进行数据库操作造成的资源浪费
作者微信号:T_V_T_
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/38196.html
摘要:总结整个过程的难点在于获取文件对象,从数据中取值然后在按取出,这样我们就可以从后台上传文件,然后进行批量导入数据库,其他数据格式只需要改和中的数据字段就可以 第一篇(从django后台解析excel数据批量导入数据库) 文章会在github中持续更新 作者: knthony github 联系我 1.django 如何从后台上传excel中批量解析数据 要从django后台导入...
摘要:在这之前,还是有必要对一些概念超轻量级反爬虫方案后端掘金前言爬虫和反爬虫日益成为每家公司的标配系统。 爬虫修炼之道——从网页中提取结构化数据并保存(以爬取糗百文本板块所有糗事为例) - 后端 - 掘金欢迎大家关注我的专题:爬虫修炼之道 上篇 爬虫修炼之道——编写一个爬取多页面的网络爬虫主要讲解了如何使用python编写一个可以下载多页面的爬虫,如何将相对URL转为绝对URL,如何限速,...
摘要:您的应用程序的目录,它包含模式和回调函数之间的简单映射。更性感自动生成的管理功能这个概述几乎没有触及表面。 django概述 因为django是在快节奏的编辑环境下开发的,它旨在使常见的Web开发任务变得快速而简单。 这是一个关于如何用django编写数据库驱动的Web应用程序的非正式概述。 本文档的目的是为您提供足够的技术细节来了解django的工作原理,但这不是一个教程或参考 - ...
摘要:跳槽时时刻刻都在发生,但是我建议大家跳槽之前,先想清楚为什么要跳槽。切不可跟风,看到同事一个个都走了,自己也盲目的开始面试起来期间也没有准备充分,到底是因为技术原因影响自己的发展,偏移自己规划的轨迹,还是钱给少了,不受重视。 跳槽时时刻刻都在发生,但是我建议大家跳槽之前,先想清楚为什么要跳槽。切不可跟风,看到同事一个个都走了,自己也盲目的开始面试起来(期间也没有准备充分),到底是因为技...
摘要:激活虚拟环境,切换到文件所在的目录下,分别运行和命令注意如果代码中含有中文注释,且你使用的是开发环境的话,会得到一个编码错误。因此请在含有中文注释的文件最开始处加入编码声明。在让完成翻译迁移数据库追梦人物的博客的评论区留言。 我们已经编写了博客数据库模型的代码,但那还只是 Python 代码而已,Django 还没有把它翻译成数据库语言,因此实际上这些数据库表还没有真正的在数据库中创建...
阅读 1748·2021-10-28 09:32
阅读 653·2021-09-24 09:47
阅读 2980·2021-09-02 15:11
阅读 2771·2021-08-09 13:46
阅读 2924·2019-08-30 15:55
阅读 1105·2019-08-30 15:54
阅读 3343·2019-08-29 14:12
阅读 847·2019-08-26 13:40
极致性价比!云服务器续费无忧!
Tesla A100/A800、Tesla V100S等多种GPU云主机特惠2折起,不限台数,续费同价。
NVIDIA RTX 40系,高性价比推理显卡,满足AI应用场景需要。
乌兰察布+上海青浦,满足东推西训AI场景需要