python sklearn CountVectorizer的使用及相关说明

系统 190 0

最近想用python对数据集进行数据预处理,想要分析系统调用之间的关系。初步想法是利用n-gram方法,因此查询到了python的sklearn中有一个CountVectorizer方法可以使用,在这里介绍一下这个函数的使用方法,以及其输出的相关含义。

0x01 输入及输出

            
              from sklearn.feature_extraction.text import CountVectorizer
# from sklearn.feature_extraction.text import TfidfTransformer
import pandas as pd

data = ['I love you', 'you are my angle are']


vecl = CountVectorizer(ngram_range=(1, 1), binary=False, token_pattern='\w{1,}')
xl = vecl.fit_transform(data)
print(vecl.get_feature_names())  # 特征名称
print(vecl.vocabulary_)             # 特征在列表中的索引位置
X = vecl.fit_transform(data)
print(X)
df = pd.DataFrame(X.toarray(), columns=vecl.get_feature_names()) # to DataFrame
print(df.head())
            
          

首先调用CountVectorizer方法,其中的几个参数意义如下:

ngram_range:(1,1)表示1-gram (2,2)表示2-gram   (1,2)表示1-gram + 2-gram

binary:FALSE表示不将文本进行二进制表示

token_pattern:通过正则表达式来确定哪些数据被过滤掉,默认情况下单个英文字母会被过滤掉,代码中的\w{1,}可以避免这种情况

            fit_transform(data) 用来对数据进行处理,表示成n-gram的形式
          
            get_feature_names()来获取都获取了哪特征
          
            vocabulary_用来表示特征在get_feature_names()中的列表中的位置
          

调用pandas库主要用于将特征以及生成的稀疏矩阵用表的形式展现出来

以下为输出结果:

python sklearn CountVectorizer的使用及相关说明_第1张图片

图中第一行为获取的特征

第二行为各个特征的索引号,例如‘i’:2 表示字符i在特征表中的索引为2

第三部分为稀疏矩阵 正常的输出矩阵如下面的一部分所示, (0,2) 1  表示在全部矩阵的第0行第2列有数据1 在稀疏矩阵中没有表示的索引全部为0

第四部分为全部矩阵 最左侧的一列表示文本的索引号,0表示第一个文本 'I love you'   1表示'you are my angle are'

再看第二列 angle在0行值为0,在1行值为1 表示angle在一个文本中没有出现,在第二个文本中出现了一次

同理 第二列表示are在第一个文本中没有出现,在第二个文本中出现了两次。

 


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请请扫描上面二维码支持博主1元、2元、5元等您想捐的金额吧,狠狠点击下面给点支持吧

发表我的评论
最新评论 总共0条评论