资讯专栏INFORMATION COLUMN

mongodb: “invalid character ',' looking

Edison / 1795人阅读

摘要:我以为是编码的问题,可能是下的编码有问题,因为有一个谈论这个问题的。其中遇到了也是的问题提到的这个做法很不错,使用这个参数确定位置。

从群里获取了一个超大的json(也就800M),需要导入mongodb,然后遇到了一个问题:

$ mongoimport --db weibo --collection data --file test.json
2018-05-09T16:10:22.357+0800    connected to: localhost
2018-05-09T16:10:22.360+0800    Failed: error processing document #2: invalid character "," looking for beginning of value
2018-05-09T16:10:22.360+0800    imported 0 documents
first

一开始,我先去 菜鸟工具1验证了一下我的json格式不是不是正确,json格式是没有没问题的。

second

我以为是编码的问题,可能是mac下的编码有问题,因为stackoverflow2有一个谈论这个问题的。上边的回复说是有UTF8不支持的字符,但是他们遇到的问题都是,我还是去Windows服务器上装上了mongodb,然后还是这个问题,可见我这个可能不是字符问题。
其中JP Lew遇到了也是,的问题提到的这个做法很不错,使用-vvvv这个参数确定位置。

$ mongoimport --db weibo --collection data --file test.json -vvvvv
2018-05-09T16:30:09.538+0800    using 4 decoding workers
2018-05-09T16:30:09.539+0800    using 1 insert workers
2018-05-09T16:30:09.539+0800    will listen for SIGTERM, SIGINT, and SIGKILL
2018-05-09T16:30:09.542+0800    filesize: 823127226 bytes
2018-05-09T16:30:09.542+0800    using fields:
2018-05-09T16:30:09.552+0800    connected to: localhost
2018-05-09T16:30:09.552+0800    ns: weibo.data
2018-05-09T16:30:09.552+0800    connected to node type: standalone
2018-05-09T16:30:09.553+0800    standalone server: setting write concern w to 1
2018-05-09T16:30:09.553+0800    using write concern: w="1", j=false, fsync=false, wtimeout=0
2018-05-09T16:30:09.553+0800    standalone server: setting write concern w to 1
2018-05-09T16:30:09.553+0800    using write concern: w="1", j=false, fsync=false, wtimeout=0
2018-05-09T16:30:09.555+0800    Failed: error processing document #2: invalid character "," looking for beginning of value
2018-05-09T16:30:09.555+0800    imported 0 documents

嗯,还是这个问题,所以我这个问题应该跟JP的那个也不一样。而且我这个应该是第一个json就出问题了!

插曲

因为文件里好多东西都没用,所以我想只把有用的那几行挑出来,但是结果感人,还是想个正经办法把。
附上 cat+grep提取个别行3

[root@localhost test]# cat test.txt 

hnlinux

peida.cnblogs.com

ubuntu

ubuntu linux

redhat

Redhat

linuxmint

[root@localhost test]# cat test2.txt 

linux

Redhat

[root@localhost test]# cat test.txt | grep -f test2.txt

hnlinux

ubuntu linux

Redhat

linuxmint
third

最后,在我一次又一次的实验下,终于找到了问题:

{
    ...
},
{
    ...
},
...

泥煤两个json中间多了一个逗号啊,然后写了一个脚本把这个逗号去掉吧。。。

import os
import re
import sys

args = sys.argv
if len(args) != 3 or args[1] == args[2]:
    raise Warning()
abs_path = os.path.abspath(".")
org_path = os.path.join(abs_path, args[1])
new_path = os.path.join(abs_path, args[2])
re_com = re.compile(r"^},")

try:
    fr = open(org_path, "r")
    fw = open(new_path, "w")
    for line in fr:
        if re_com.match(line):
            line = "}
"
        fw.writelines(line)
except IOError as e:
    print(e)
finally:
    if fr:
        fr.close()
    if fw:
        fw.close()

这么pythonic的处理大文件的方式来自:https://www.cnblogs.com/wulaa... :

with open(filename, "r") as file:
    for line in file:
        ....

ok,把新文件导入进去~

$ mongoimport --db weibo --collection data --file new.json
2018-05-09T15:58:36.211+0800    connected to: localhost
2018-05-09T15:58:39.194+0800    [##......................] weibo.data77.5MB/785MB (9.9%)
2018-05-09T15:58:42.195+0800    [####....................] weibo.data160MB/785MB (20.4%)
2018-05-09T15:58:45.195+0800    [#######.................] weibo.data243MB/785MB (31.0%)
2018-05-09T15:58:48.203+0800    [#########...............] weibo.data323MB/785MB (41.1%)
2018-05-09T15:58:51.197+0800    [############............] weibo.data402MB/785MB (51.2%)
2018-05-09T15:58:54.195+0800    [##############..........] weibo.data478MB/785MB (60.9%)
2018-05-09T15:58:57.196+0800    [#################.......] weibo.data560MB/785MB (71.4%)
2018-05-09T15:59:00.195+0800    [###################.....] weibo.data642MB/785MB (81.8%)
2018-05-09T15:59:03.196+0800    [######################..] weibo.data722MB/785MB (92.0%)
2018-05-09T15:59:05.521+0800    [########################] weibo.data785MB/785MB (100.0%)
2018-05-09T15:59:05.522+0800    imported 95208 documents

Bingo!


这里有两篇讨论这个问题的,我没来得及看,留给有需要的人(好吧,主要是看着太吃力了):

https://stackoverflow.com/que...

https://groups.google.com/for...


  • https://c.runoob.com/front-en... ↩

  • https://stackoverflow.com/que... ↩

  • http://www.cnblogs.com/peida/... ↩

  • 文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

    转载请注明本文地址:https://www.ucloud.cn/yun/41713.html

    相关文章

    • mongodb: “invalid character ',' looking

      摘要:我以为是编码的问题,可能是下的编码有问题,因为有一个谈论这个问题的。其中遇到了也是的问题提到的这个做法很不错,使用这个参数确定位置。 从群里获取了一个超大的json(也就800M),需要导入mongodb,然后遇到了一个问题: $ mongoimport --db weibo --collection data --file test.json 2018-05-09T16:10:22....

      Faremax 评论0 收藏0
    • 聊聊MongoDB - MongoDB的简单安装

      摘要:安装全过程环境基本情况我是在电脑下安装的系统位,这个也是导致我安装的时候出现异常提示,原因可能是的版本是位的,我应该再找一个位的,但事实上我找不到。 简述 之前讲了一些关于MongoDB的知识,出人意料的受欢迎,也让我很吃惊,所以今天打算分享一些我在自己计算机的虚拟机的centos系统下安装MongoDB的经历,希望感兴趣的你们在安装MongoDB的时候出现问题可以来看看我是怎么安装的...

      notebin 评论0 收藏0
    • 聊聊MongoDB - MongoDB的简单安装

      摘要:安装全过程环境基本情况我是在电脑下安装的系统位,这个也是导致我安装的时候出现异常提示,原因可能是的版本是位的,我应该再找一个位的,但事实上我找不到。 简述 之前讲了一些关于MongoDB的知识,出人意料的受欢迎,也让我很吃惊,所以今天打算分享一些我在自己计算机的虚拟机的centos系统下安装MongoDB的经历,希望感兴趣的你们在安装MongoDB的时候出现问题可以来看看我是怎么安装的...

      whatsns 评论0 收藏0

    发表评论

    0条评论

    最新活动
    阅读需要支付1元查看
    <