什么是自然语言处理技术

邱勇发布于2019-08-16 13:41 / 3549人阅读

摘要：自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。自然语言处理无可避免地成为信息科学技术中长期发展的一个新的战略制高点。

自然语言处理（NLP）是计算机科学，人工智能，语言学关注计算机和人类（自然）语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。
自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称，其目的是使计算机理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能，自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。
大快NLP模块是大快大数据一体化平台的一个组件，用户引用该组件可以有效进行自然语言的处理工作，如进行文章摘要，语义判别以及提高内容检索的精确度和有效性。
自然语言处理如今不仅作为人工智能核心课题来研究，而且也作为新一代计算机的核心课题来研究。从知识产业角度看，专家系统，数据库，知识库，计算机辅助设计系统（CAD）、计算机辅助教学系统（CAI）、计算机辅助决策系统，办公室自动化管理系统，智能机器人等，都需要用自然语言处理，具有篇章理解能力的自然语言理解系统可用于机器自动翻译、情报检索、自动标引、自动文摘、自动写故事小说等领域，都可以用我们的工具类DKNLPBase来处理。
标准分词
方法签名：List StandardTokenizer.segment(String txt);
返回：分词列表。
签名参数说明：txt:要分词的语句。
范例：下例验证一段话第5个分词是阿法狗。
public void testSegment() throws Exception

{
    String text = "商品和服务";
    List termList = DKNLPBase.segment(text);
    assertEquals("商品", termList.get(0).word);
    assertEquals("和", termList.get(1).word);
    assertEquals("服务", termList.get(2).word);
    text = "柯杰解说“李世石VS阿法狗第二局” 结局竟是这样";
    termList = DKNLPBase.segment(text);
    assertEquals("阿法狗", termList.get(5).word);  // 能够识别"阿法狗"

}
关键词提取
方法签名：List extractKeyword(String txt,int keySum);
返回：关键词列表.
签名参数说明：txt:要提取关键词的语句，keySum要提取关键词的数量
范例：给出一段话提取一个关键词是“程序员”。
public void testExtractKeyword() throws Exception

{
    String content = "程序员(英文Programmer)是从事程序开发、维护的专业人员。" +
           "一般将程序员分为程序设计人员和程序编码人员，" +
           "但两者的界限并不非常清楚，特别是在中国。" +
           "软件从业人员分为初级程序员、高级程序员、系统" +
           "分析员和项目经理四大类。";
    List keyword = DKNLPBase.extractKeyword(content, 1);
    assertEquals(1, keyword.size());
    assertEquals("程序员", keyword.get(0));
}

短语提取
方法签名：List extractPhrase(String txt, int phSum);
返回：短语
签名参数说明：txt:要提取短语的语句，phSum短语数量
范例：给出一段文字，能代表文章的五个短语，第一个短语是算法工程师。

迈进二十一世纪，我们已经进入了以互联网为主要标志的海量信息时代，这些海量信息大部分是以自然语言表示的。一方面，海量信息也为计算机学习人类语言提供了更多的“素材”，另一方面，这也为自然语言处理提供了更加宽广的应用舞台。例如，作为自然语言处理的重要应用，搜索引擎逐渐成为人们获取信息的重要工具，涌现出以百度、谷歌等为代表的搜索引擎巨头；机器翻译也从实验室走入寻常百姓家，谷歌、百度等公司都提供了基于海量网络数据的机器翻译和辅助翻译工具；基于自然语言处理的中文（输入法如搜狗、微软、谷歌等输入法）成为计算机用户的必备工具；带有语音识别的计算机和手机也正大行其道，协助用户更有效地工作学习。总之，随着互联网的普及和海量信息的涌现，自然语言处理正在人们的日常生活中扮演着越来越重要的作用。

然而，我们同时面临着一个严峻事实，那就是如何有效利用海量信息已成为制约信息技术发展的一个全局性瓶颈问题。自然语言处理无可避免地成为信息科学技术中长期发展的一个新的战略制高点。同时，人们逐渐意识到，单纯依靠统计方法已经无法快速有效地从海量数据中学习语言知识，只有同时充分发挥基于规则的理性主义方法和基于统计的经验主义方法的各自优势，两者互相补充，才能够更好、更快地进行自然语言处理。
自然语言处理作为一个年龄尚不足一个世纪的新兴学科，正在进行着突飞猛进的发展。回顾自然语言处理的发展历程，并不是一帆风顺，有过低谷，也有过高潮。而现在我们正面临着新的挑战和机遇。例如，目前网络搜索引擎基本上还停留在关键词匹配，缺乏深层次的自然语言处理和理解。语音识别、文字识别、问答系统、机器翻译等目前也只能达到很基本的水平。路漫漫其修远兮，自然语言处理作为一个高度交叉的新兴学科，不论是探究自然本质还是付诸实际应用，在将来必定会有令人期待的惊喜和异常快速的发展。

GPU云服务器云服务器 java什么是处理流数据分析处理是什么什么是数据分析处理大数据处理是什么

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/72157.html

ECUG 2015｜许式伟：对编程语言的选择无关阵营，关乎品味

摘要：编者按许式伟，七牛云，社区发起人，语言专家，著有国内第一本语言图书语言编程。唯一有关系的是，是云计算行业的技术大会，七牛是云计算公司。不少程序员喜欢把语言看做阵营。 showImg(https://segmentfault.com/img/bVsmVr); 编者按：许式伟，七牛云 CEO ， ECUG 社区发起人， Go 语言专家，著有国内第一本 Go 语言图书《 Go 语言编程》。有...

hlcc 2019-06-28 10:50 评论0 收藏0
技术人攻略访谈九：逆袭！从技术编辑到云计算架构师

摘要：在云计算刚进入中国的时候，成功地把握住了职业转型的机会，在实践中成长为优秀的架构师。技术人攻略在工作中遇到最大的挑战是什么做云计算的难点在什么地方挑战最大的是在工作的时候，要从头到尾搭一套以为基础的云计算平台。 showImg(https://segmentfault.com/img/remote/1460000006889503); 导语：本期采访对象李雨来@Blackte...

chadLi 2019-06-28 10:47 评论0 收藏0
[转]Node.js给前端带来了什么

摘要：两个独立的层即使这种技术风靡全球之后，前端工程师的主要工作也都是局限于浏览器窗口之内的。这是目前最主流的一种前后端分工方式带来的改变一发布，立刻在前端工程师中引起了轩然大波，前端工程师们几乎立刻对这一项技术表露出了相当大的热情和期待。转载自：http://www.w3ctech.com/topic/37 原文: https://www.nczonline.net/blog/201...

BearyChat 2019-08-19 17:43 评论0 收藏0
AI人工智能和ML语言的技术概述与未来趋势

摘要：介绍过去几年一直是人工智能爱好者和机器学习专业人士的梦想之旅。各国现在都有专门的人工智能部门和预算，以确保他们在这场比赛中保持相关性。对于没有经验的人来说，它代表通用语言模型的微调。的不少专家声称的发布标志着进入了新时代。 showImg(https://segmentfault.com/img/remote/1460000019124432); 介绍过去几年一直是人工智能爱好者和机...

KitorinZero 2019-06-26 18:57 评论0 收藏0