简单学习自然语言处理
署名2021-02-09

自然语言处理是计算机科学和人工智能的一个分支。它与计算机和人类使用自然语言进行交互密切相关。NLP的最终目标是使计算机能够像人类一样理解语言。它是虚拟助手、语音识别、情感分析、自动文本摘要、机器翻译等领域的驱动力。在本文中,您将学习自然语言处理的基础知识,深入了解其一些技术

1.自然语言处理简介

自然语言处理是计算机科学、语言学和机器学习的交叉学科。它侧重于计算机和人类之间使用自然语言进行交流。简而言之,NLP致力于使计算机能够理解和生成人类语言。NLP技术应用于很多领域,如天猫精灵和Siri等语音助手、机器翻译和文本过滤。机器学习是自然语言处理影响最深远的领域之一,尤其是深度学习技术。该字段分为以下三个部分:

1、自然语言处理语音识别:将口语翻译成文本。

2、自然语言理解:计算机理解人类的能力。

3、自然语言生成:计算机生成自然语言。淘系技术.png

2.为什么NLP很难

人类语言有其特殊性。人类语言是用来传达说话者和作者的意思的。即使孩子们能很快学会,它仍然是一个复杂的系统。另一个值得注意的是,它完全与符号有关。它是一个离散的、符号化的、绝对的信号系统,意味着人们可以用不同的方式来表达相同的意义,如言语、手势、信号等。人类大脑对这些符号的编码是一种连续的激活模式,在这种模式下,符号通过连续的声音和视觉信号进行传输。

由于其复杂性,理解人类语言被认为是一项艰巨的任务。

随着计算机对语言的理解越来越完善,将产生能够处理互联网上所有信息的自然语言处理,进而产生强大的人工智能(AGI)。

3.自然语言处理的两种主要方法

句法分析和语义分析是自然语言处理的两种主要方法。

自然语言处理的句法分析:

句法分析,又称语法分析或句法分析,是遵循形式语法规则对自然语言进行分析的过程。语法规则适用于单词和短语,而不是单个单词。语法分析主要为文本分配语义结构。

自然语言处理的语义分析:

我们对他人语言的理解是一个无意识的过程,它依赖于对语言本身的直觉和理解。因此,我们理解语言的方式在很大程度上取决于意义和语境。计算机不能依赖上述方法,它需要采用不同的方法。“语义”是一个具有相似意义或逻辑的语言术语。

4.自然语言处理理解文本的技术

接下来,我们将讨论当前各种自然语言处理技术。

什么是解析?首先,让我们看看字典的定义:

句法分析就是“把句子分解成各个组成部分,并详细说明每个部分的句法作用。”

自然语言处理的词干提取技术:

词干提取是一种基于形态学和信息检索的技术,用于自然语言处理中的预处理和提高效率。但首先,让我们看看字典里的定义:stem—“起源于或由它引起”

从根本上说,“词干”是通过减少词干来获得词干的过程,而“词干”的实际含义是在删除所有词头和词尾后保留一部分。例如,“touch”的词干是“touch”,“touch”也是“touch”的词干。

自然语言处理的文字分割技术:

自然语言处理中的文本切分是将文本转换成有意义的单位的过程,这些单位可以是单词、句子、不同的主题或潜在的意图。在文本切分中,根据不同的语言将文本分为不同的组成词。由于人类语言的复杂性,这通常是困难的。

自然语言处理的命名实体识别技术:

命名实体识别(NER)用于确定文本中哪些条目属于命名实体。这些条目可以定位并分类为预定义的类别,包括人名、组织、位置、货币价值和百分比。

自然语言处理的关系抽取技术:

关系抽取使用命名实体识别(NER)来抽取命名实体并识别其语义关系。

自然语言处理的情感分析技术:

例如,通过情感分析,我们想要确定说话者或作者对文档、交互或事件的态度(例如情感)。因此,需要理解文本来预测潜在意图是一个自然语言处理的问题。