文本挖掘的基本过程

• 众所周知，由于缺乏意识和缺乏技术的能力，很多组织的数据都在睡大觉。数据包含这关于客户、伙伴和竞争对手的相关信息，对其进行挖掘，可以提高组织竞争力
• 在数据洪流（data deluge）面前，文本挖掘的价值是不言而喻的。因为它能够帮助我们减轻信息过载的问题。
• 什么是文本挖掘
  • 从文本数据中获取新发现的过程
  • 文本挖掘也是一个非结构到结构化的过程。它是多方技术的一个综合。
• 文本挖掘的框架
  • 文本数据源的获取，比如电子文档
  • 数据预处理，将数据进行整合
    • 文本清理
      • 常用方法有
      • 停词去除
      • 词干提取
    • 词切分（Tokenization ）
    • 词性标注（POS tagging）
    • 句法解析（Syntactial Parsing）
      • 句法主要分为组成语法和相关语法两类
    • 信息提取，基于预定义的序列进行信息提取
      • 主题追踪，寻找用户喜欢的主题
      • 摘要（Summarization）
        • 句子提取
          • 权重式
          • 位置式
      • 分类（Categorization）
        • 将文本放入预定的分类
        • 单词出现的概率，特定领域的字典
      • 特征选择
        • 降低维度
      • 实体提取（Entity Extraction）
      • 概念提取
        • 重要的概念
      • 主题提取
        • 主题就是文章的主要思想
        • 重要单词和短语
      • 聚类
  • 知识发现
    • 概念共现的模式
      • 分布和比例
      • 频率
      • 关联
  • 可视化
    • 动态显示
  • 和领域知识进行结合