追溯起源：NLP 的形成时期

ayesha983

深入研究 NLP 的历史，我们的故事始于 20 世纪 60 年代，当时基于规则的分类法、预定义模式匹配和其他语言处理技术盛行。这些方法与一系列先决条件数据准备步骤适当结合，让我们数十年来能够对非结构化文本执行有用的任务，例如自动内容分类、信息提取和情感分析。虽然这些传统技术确实有其优点，但缺点是它们无疑很复杂、劳动密集且特定于语言。

20 世纪 80 年代后期，计算能力的提升和向机器学习 (ML) 算法的转变预示着 NLP 中统计方法的到来：基于出现或频率的词嵌入、N-Grams、循环网络、长短期记忆单元等等。

虽然这些早期模型无疑更加灵活，能够更好地模拟人类 塞浦路斯电报数据 执行相同业务任务的方式，但这些技术仍然存在重大缺陷。它们特定于任务和语言，只能通过大量预处理和多步文本清理才能使用，也许最重要的是，它们经常会忽略人类语言中的细微差别。

别误会我的意思，这并不意味着基于规则的系统、tf-idf和自定义管道中的基于树的模型现在应该被 NLP 应用程序忽视，也不意味着它们已经过时了——远非如此。

因此，Dataiku 保留了一整套不会消失的文本分析功能！例如，Dataiku 提供用于处理文本数据的内置处理器以及许多插件配方，使程序员和非程序员都可以轻松利用流行的服务，例如 MeaningCloud、Google Cloud Natural Language API、Microsoft Azure Cognitive Services API 和 Amazon