Pandas连接MongoDB

Invoker 发布于2019-06-26 16:59 / 647人阅读

来自StackOverFlow

import pandas as pd
from pymongo import MongoClient


def _connect_mongo(host, port, username, password, db):
    """ A util for making a connection to mongo """

    if username and password:
        mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
        conn = MongoClient(mongo_uri)
    else:
        conn = MongoClient(host, port)


    return conn[db]


def read_mongo(db, collection, query={}, host="localhost", port=27017, username=None, password=None, no_id=True):
    """ Read from Mongo and Store into DataFrame """

    # Connect to MongoDB
    db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

    # Make a query to the specific DB and Collection
    cursor = db[collection].find(query)

    # Expand the cursor and construct the DataFrame
    df =  pd.DataFrame(list(cursor))

    # Delete the _id
    if no_id:
        del df["_id"]

    return df

if __name__ =="__main__":
    df = read_mongo("zhihu","questions",{})
    print df

GPU云服务器云服务器 pandas 连接mongodb mongodb连接 pandas python

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/18824.html

自制简单的诗歌搜索系统

摘要：项目简介本文将介绍一个笔者自己的项目自制简单的诗歌搜索系统。该项目使用的模块为其中，模块和模块用来制作爬虫，爬取网上的诗歌。项目简介本文将介绍一个笔者自己的项目：自制简单的诗歌搜索系统。该系统主要的实现功能如下：指定一个关键词，检索出包含这个关键词的诗歌，比如关键词为白云，则检索出的诗歌可以为王维的《送别》，内容为下马饮君酒，问君何所之？君言不得意，归卧南山陲。但去莫复问，白云...

SegmentFault 2019-07-31 10:03 评论0 收藏0
python

Python装饰器为什么难理解？无论项目中还是面试都离不开装饰器话题，装饰器的强大在于它能够在不修改原有业务逻辑的情况下对代码进行扩展，权限校验、用户认证、日志记录、性能测试、事务处理、缓存等都是装饰器的绝佳应用场景，它能够最大程度地对代码进行复用。但为什么初学者对装饰器的理解如此困难，我认为本质上是对Py… Python 实现车牌定位及分割作者用 Python 实现车牌定位及分割的实践。 ...

chenatu 2019-07-30 15:35 评论0 收藏0
Python 和 R 数据分析/挖掘工具互查

摘要：写在前面在此总结一些在数据分析挖掘中可能用到的功能，方便大家索引或者从一种语言迁移到另一种。概率图模型文本基本操作类别英中中文分词未知主题模型类别未知未知未知值得留意的是的新第三方模块，与其他分析可视化挖掘报表工具的交互类别实际是的服务包写在前面在此总结一些在数据分析/挖掘中可能用到的功能，方便大家索引或者从一种语言迁移到另一种。当然，这篇博客还会随时更新（不会另起一篇，为了方便大...

array_huang 2019-07-25 10:19 评论0 收藏0
利用MongoDB分析Nginx日志

摘要：通过通过入库后使用进行查询的方式可以通过如下种图片来查看在上图中主要是查看日志中请求状态码的总数量。原文地址: http://52sox.com/use-mongodb-... 在项目开发过程中,总是离不开日志解析的工作,虽然有些时候觉得确实挺繁琐的,但是静下心来会发现有时候也是挺有趣的1件工作。在这里,我们要从日志文件中找出IP访问最多的10条记录,然后判断其是否合法,从而采取...

edgardeng 2019-07-25 13:48 评论0 收藏0