JavaScript（系列）中的自然语言处理（NLP）-DEV365 开发者社区

自然语言处理（NLP）是一个人工智能领域，重点是使计算机能够理解，解释和生成人类语言。

它在现代应用中起着至关重要的作用，从语言翻译和情感分析到聊天机器人和搜索引擎。

NLP技术使开发人员能够从大量文本数据中提取见解，使其成为数据分析和决策的强大工具。

在本届会议中，我们将探讨NLP的基本概念及其在技术领域中的重要性。由于其模棱两可，上下文依赖性和语言差异以及如何在JavaScript环境中使用它，我们将深入研究自然语言的挑战。

了解这些挑战将有助于您掌握NLP任务的复杂性，并需要复杂的算法来应对它们。

此外，我们将讨论NLP在各个行业中的应用，包括医疗保健，金融，客户支持和营销。从医学诊断到基于情感的市场分析，NLP彻底改变了我们与计算机的互动及其处理的信息。

让我们深入研究，但首先设置您的环境。

在JavaScript中设置NLP的环境

要在JavaScript中探索NLP，您必须使用正确的工具和库来设置开发环境。

有几个NLP库可用，每个库都提供不同的功能和功能。 JavaScript生态系统中的一个流行选择是Natural Language Toolkit for JavaScript （NLP.JS），它提供了多种NLP功能。

在本届会议中，我们将带您完成NLP.JS或您选择的任何其他库的安装和配置。我们将介绍必要的依赖项，并演示如何为NLP任务加载和预处理文本数据。

这是有关如何安装和配置NLP.JS的分步指南，以及NLP任务的加载和预处理文本数据：

先决条件：

确保系统上安装了NODE.JS和NPM（节点软件包管理器）。您可以从the official website下载node.js。

创建一个新的node.js项目：

为您的NLP项目创建一个新目录，并使用终端或命令提示符导航到它。

初始化项目：

运行以下命令以初始化一个新的node.js项目。这将创建一个 package.json 文件，该文件将用于管理项目依赖项。

npm init -y

安装nlp.js：

使用NPM

安装NLP.JS及其依赖关系

npm install nlp.js

设置文本语料库：

要演示NLP任务，您需要一些文本数据。创建一个新文件，例如 data.json ，并使用示例文本数据填充它。您可以使用任何JSON文件，甚至可以从数据库或API等外部来源加载数据。

示例 data.json ：

{
  "sentences": [
    "NLP.js is an excellent library for NLP tasks.",
    "Natural Language Processing is fascinating.",
    "I love working with AI and NLP technologies."
  ]
}

加载数据：

接下来，您必须将数据从 data.json 文件加载到node.js脚本中。您可以使用 fs 模块读取文件并解析其内容。

const fs = require('fs');
// Read data.json file
const rawData = fs.readFileSync('data.json');
const data = JSON.parse(rawData);
const sentences = data.sentences;

预处理文本数据：

NLP任务通常需要预处理文本数据以使其适合分析。此步骤通常涉及令牌化（将文本分解为单个单词或令牌），降低标点符号。

您可以将NLP.JS用于这些预处理任务：

const { NlpManager } = require('node-nlp');
const manager = new NlpManager({ languages: ['en'] });
// Tokenization and Preprocessing
sentences.forEach(sentence =&gt; {
  const tokenizedSentence = manager.tokenize(sentence);
  console.log(tokenizedSentence);
});

NLP任务：

现在您已经加载并预处理数据了，您可以使用NLP.JS执行各种NLP任务。例如，让我们执行情感分析：

// Sentiment Analysis
sentences.forEach(sentence =&gt; {
  const sentiment = manager.process('en', sentence);
  console.log(`Sentiment for "${sentence}":`, sentiment.sentiment);
});

其他NLP任务：

nlp.js支持其他任务，例如命名实体识别（NER），语言检测等。您可以通过参考NLP.js文档来探索这些任务。

JavaScript中的文本预处理

文本预处理是NLP的关键步骤，该步骤准备原始文本数据进行分析。在本届会议中，我们将重点介绍JavaScript中文本预处理的基本技术。

首先，让我们加载数据。

加载数据：

首先，让我们像以前一样从 data.json 文件加载数据。

const fs = require('fs');
// Read data.json file
const rawData = fs.readFileSync('data.json');
const data = JSON.parse(rawData);
const sentences = data.sentences;

令牌化

令牌化是将文本分解为单个单词或令牌的过程。我们将探索如何使用NLP.JS或其他库来将句子，段落或整个文档进行介绍。在此示例中，我们将使用天然库来执行令牌化。

npm install natural

const natural = require('natural');
const tokenizer = new natural.WordTokenizer();
sentences.forEach(sentence =&gt; {
  const tokens = tokenizer.tokenize(sentence);
  console.log(tokens);
});

令牌化构成了许多NLP任务的基础，例如情感分析，词性标记和语言翻译。

停止词删除是另一个必不可少的预处理步骤，涉及消除常见和无信息的单词，例如“和”，“ the”和“ is”。 这些词对分析几乎没有含义，可以安全地删除以减少数据中的噪声。

下刻：

下刻是将所有文本转换为小写的过程。此步骤通常是降低数据的复杂性并使其更易于处理。

sentences.forEach(sentence =&gt; {
  const lowercaseSentence = sentence.toLowerCase();
  console.log(lowercaseSentence);
});

删除标点符号：

标点符号通常不会为NLP任务增加太多价值，因此删除这是一个好主意。

const removePunctuation = (text) =&gt; {
  return text.replace(/[^\w\s]/g, '');
};
sentences.forEach(sentence =&gt; {
  const cleanedSentence = removePunctuation(sentence);
  console.log(cleanedSentence);
});

停止单词删除：

停止单词是“ the”，“”，“ and”“ in，”等的常用单词，它们通常因为没有显着含义而被删除。

在此步骤中，我们将使用 stopword library

npm install stopword

const stopword = require('stopword');
sentences.forEach(sentence =&gt; {
  const tokens = tokenizer.tokenize(sentence);
  const cleanedTokens = stopword.removeStopwords(tokens);
  console.log(cleanedTokens);
});

茎和诱饵是将单词减少到其基础或根形式的技术。例如，“跑步”，“运行”和“ ran”将均简化为“运行”。此过程有助于降低词汇量并巩固相似的单词，从而提高文本分析。

将它们全部放在一起

const fs = require('fs');
const natural = require('natural');
const stopword = require('stopword');

// Read data.json file
const rawData = fs.readFileSync('data.json');
const data = JSON.parse(rawData);
const sentences = data.sentences;

// Tokenization
const tokenizer = new natural.WordTokenizer();
sentences.forEach(sentence =&gt; {
  const tokens = tokenizer.tokenize(sentence);
  console.log(tokens);
});

// Lowercasing
sentences.forEach(sentence =&gt; {
  const lowercaseSentence = sentence.toLowerCase();
  console.log(lowercaseSentence);
});

// Removing Punctuation
const removePunctuation = (text) =&gt; {
  return text.replace(/[^\w\s]/g, '');
};

sentences.forEach(sentence =&gt; {
  const cleanedSentence = removePunctuation(sentence);
  console.log(cleanedSentence);
});

// Stop Word Removal
sentences.forEach(sentence =&gt; {
  const tokens = tokenizer.tokenize(sentence);
  const cleanedTokens = stopword.removeStopwords(tokens);
  console.log(cleanedTokens);
});

可以独立执行每个代码部分以执行特定的文本预处理任务。这些步骤将帮助您使用JavaScript清洁并准备各种NLP任务的文本数据。

NLP

的情感分析

情感分析是一种迷人的NLP应用程序，使我们能够辨别文本中隐藏的情感或情感。

随着其多种用例，例如理解客户反馈，监视社交媒体情绪和衡量公众舆论，情感分析已成为必不可少的工具。

理解情感分析概念

陷入实施之前，让我们熟悉情感分析的基本面。情感分析旨在从文本中提取和解释主观信息，以确定情感极性，这可能是正，负或中性的。

它需要处理文本数据，识别含义的单词或短语，并分配情感分数以对文本的整体情感进行分类。

情感分析的方法

可以使用不同的方法进行情感分析，每种方法都有其自己的优点和局限性。一些流行的方法包括

基于规则的方法：这些方法利用预定义的规则或词典将情感极性与单词或短语相关联。例如，可以创建积极和负面情感的词典，并且可以根据文本中的这些单词的存在来分配情感分数。

机器学习模型 s：机器学习技术涉及在标签数据集上进行培训模型以预测情绪。通用方法包括幼稚的贝叶斯，支持向量机（SVM）和随机森林。这些模型从标记的数据中学习模式，并可以在看不见的文本中对情感进行分类。

深度学习算法：深度学习模型，例如复发性神经网络（RNN）或卷积神经网络（CNNS），在情感分析中已获得了知名度。他们可以学习复杂的关系并捕获上下文信息，增强情感分类的准确性。

准备数据

我们已经有一个带有句子的示例数据集以进行分析以证明情感分析。让我们使用这类样本句子：

const sentences = [
  "NLP.js is an excellent library for NLP tasks.",
  "Natural Language Processing is fascinating.",
  "I love working with AI and NLP technologies."
];

情感分析实施

在此步骤中，我们将使用Afinn-111 WordList展示一个简单的情感分析实现，这是一种流行的基于词典的方法。我们将利用情感库来计算每个句子的情感分数。

npm install sentiment

情感库提供情感类，分析文本中的情感。它为每个句子分配了一个情感分数，在该句子中，积极分数表示积极的情绪，负分数表示负面情绪，而得分接近零表示中性情绪。

const Sentiment = require('sentiment');
const sentiment = new Sentiment();
sentences.forEach(sentence =&gt; {
  const result = sentiment.analyze(sentence);
  console.log(`Sentiment for "${sentence}":`, result.score);
});

处理否定和上下文

情感分析的一个重要方面是处理否定和背景。诸如“非”或“永不”之类的否定词可以扭转随后单词的情感。例如，“我不喜欢此产品”应归类为负面情绪。依赖性解析和上下文嵌入等高级技术可以帮助捕获这种细微差别。

JavaScript中的命名实体识别（NER）

命名实体识别（NER）是一项令人着迷的NLP任务，涉及在文本中识别和分类命名的实体，例如人的姓名，地点，组织，日期等。

ner在提取信息和理解文本数据的上下文中起着至关重要的作用。本文将深入研究NER概念，并演示如何在JavaScript中使用NLP技术实现NER。我们将指导您从文本数据中识别和提取有意义的实体的过程。

理解命名实体识别概念

在进行实施之前，让我们熟悉命名实体识别的基本面。

ner旨在在文本中找到和分类命名实体，为各种应用程序提供有价值的信息。它涉及分析句子以识别和分类实体，大大增强信息提取和理解。

关注我们，看看我们如何构建最终项目，因为这是三部分系列的第一节。如果您发现这篇文章令人兴奋，请在Learnhub Blog上找到更多令人兴奋的帖子；我们编写从Cloud computing到Frontend Dev，Cybersecurity，AI和Blockchain的所有技术。

在JavaScript中设置NLP的环境

JavaScript中的文本预处理

NLP

JavaScript中的命名实体识别（NER）

资源