开发环境还是和之前一样，需要安装pandas，numpy，matplotlib，scipy，jieba, wordcloud库，安装方法可以自行百度。
转载请注明地址：python利用pandas、matplotlib和wordcloud做数据分析
分析结果: 用python对鹿晗微博进行数据分析
首先介绍两个自己写的函数，下面会用到，一个是分词，另一个是返回一个dataframe的函数
def cut_zh(self, sql, cut=False):
with connect() as cur:
cur.execute(sql)
result = cur.fetchall()
words = map(lambda word: word[0], result)
words = list(words)
if cut:
pattern = re.compile(r'[\u4e00-\u9fa5_a-zA-Z0-9]+')
words = re.findall(pattern, str(result))
words = ' '.join(words)
jieba.load_userdict("source/dict.txt")
words = jieba.cut(words)
words = filter(lambda word: word != ' ', words)
words = list(words)
return words
- 先连接数据库，查找到需要的数据，并把数据返回一个list列表。
- 正则表达式提取汉字英文数字。
- 判断如果是汉字，可以用jieba进行分词。jieba官方文档
- 最后返回也是一个list列表。
def make_df(self, words, stopword=None):
my_df = pd.DataFrame({'segment': words})
if stopword:
stopwords = pd.read_csv(stopword, names=['stopword'],
encoding='utf-8')
my_df = my_df[~my_df.segment.isin(stopwords.stopword)]
my_df = my_df.groupby(['segment'])['segment'].agg({'count': np.size})
my_df = my_df.reset_index().sort_values(['count'], ascending=False)
return my_df
- 通过上一个函数返回的list，把他进行词频统计并返回一个dataframe。
- stopword是停用词，一个txt文本文件，比如
stopword = + 'source/com.txt'，这个文件里面有一些没用的词，比如这些 ，那么 ， 嗯，啊，哦，把这些字写在里面，分析的时候就会排除。 - 剩下的两个函数就是计算每个词出现的次数，并且重新排列。
1. 制作词云
def draw_wc(self, words, stopword=None, title=''):
if stopword:
data = self.make_df(words, stopword)
else:
data = self.make_df(words)
bg_pic = imread('source/luhan.jpg')
wordcloud = WordCloud(background_color='black', max_font_size=110,
mask=bg_pic, min_font_size=10, mode='RGBA',
font_path='source/simhei.ttf')
word_frequence = {x[0]: x[1] for x in data.values}
wordcloud = wordcloud.fit_words(word_frequence)
plt.title(title, fontsize=16)
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
- 参数首先只看words，就是需要准备好的数据，然后把数据转换成dataframe格式。
- bg_pic 是制作词云的背景图，可以自己上传。
- 初始化一个WordCloud对象，具体参数意义参考这里：wordcloud文档
- word_frequence 是统计词的一组字典，就是下面一个函数的参数。
- 通过fit_fitwords函数展示已经分好的词频。（还有另外两个函数，可以在文档中查看）
- 下面的代码就是用plot显示的过程了
先贴一下matplotlib官方文档，详细的参数在这里都有解释
2. 制作饼图
def draw_pie(self, words, stopword=None, title=''):
if stopword:
data = self.make_df(words, stopword)
else:
data = self.make_df(words)
data = data[0:10].values
x = [count[1] for count in data]
y = [name[0] for name in data]
expl = list(0 for i in range(len(x)))
expl[0] = 0.1
plt.title(title, fontsize=16)
plt.pie(x, labels=y, autopct='%1.0f%%', pctdistance=0.8, shadow=True,
startangle=60, explode=expl)
plt.axis('equal')
plt.legend()
plt.show()
- 前四行判断用不用停用词，和之前一样。
- 由于饼图只考虑前几条数据，所以筛选前十个。
- x是从df里选择的每个词出现的次数那一列。
- y则是标签那一列。
- expl是一个列表，用于pie的参数，比如[1,0,0,0,0]，表示饼图分成五份，第一个图分割出来。（视觉效果，不写也可以，列表数量一定要和数据数量一样）
- 下面的详细参数可以参考文档。
3. 制作柱状图
def draw_bar(self, words, stopword=None, title=''):
if stopword:
data = self.make_df(words, stopword)
else:
data = self.make_df(words)
data = data[0:30].values
x = range(len(data))
y = [count[1] for count in data]
label = [name[0] for name in data]
plt.bar(x, y, tick_label=label, color='rgbycmk', alpha=0.3)
plt.xticks(rotation=30)
plt.title(title, fontsize=16)
for a, b in zip(x, y):
plt.text(a, b+0.05, '%.0f' % b, ha='center', fontsize=10)
plt.show()
- 和饼图差不多，x是数据有多少组，也就是有多少个柱。y是每个数据的词频（相当于y轴的值)，label是数据的名字。
- for循环是在每一个柱上面显示标签值，zip(x, y)是生成每一个的坐标。
def draw_barh(self, words, stopword=None, title=''):
if stopword:
data = self.make_df(words, stopword)
else:
data = self.make_df(words)
data = data[0:30].values
x = range(len(data))
y = [count[1] for count in data]
label = [name[0] for name in data]
plt.barh(x, y, tick_label=label, color='rgbycmk', alpha=0.2)
plt.title(title, fontsize=16)
plt.xlabel('人数', fontsize=12)
for a, b in zip(x, y):
plt.text(b, a, '%.0f' % b, ha='left', va='center', fontsize=10)
plt.show()
- 横向柱状图，和柱状图大同小异。注意x，y坐标就可以。
折线图
def draw_plot_birth(self, words, stopword=None, title=''):
if stopword:
data = self.make_df(words, stopword)
else:
data = self.make_df(words)
x_sort = data.sort_values('segment').values[42:110]
x = range(len(x_sort))
y = [name[1] for name in x_sort]
plt.plot(x, y, 'b--')
plt.title(title)
plt.xlabel('年份', fontsize=14)
plt.ylabel('数量', fontsize=14)
plt.xticks(x, [i[0] for i in x_sort], rotation=90)
plt.show()
- 这个折线图按月份排序，而不是按词频。x_sort可以改变排序方式
- xticks是x轴的标签名。
