json文件内容是从豆瓣电影中爬取的用户评论
上代码
import pandas as pd
import numpy as np
filepath='C:/python/data_src/CommentsSpider.json'
data=pd.read_json(filepath,orient='values',encoding='utf-8')
若json文件中有中文,必须加上encoding参数,赋值'utf-8',否则会报错
看数据发现有些不对劲,虽然pandas read_json都出了json文件内容,但每个单元格都是一个list列表,我们需要将所有这些列表展开,生成新的dataframe
展开方法比较粗暴,遍历每个的单元格,一个一个展开。
def frame(i):
j=0 #初始化j
col_index=[] #初始化col_index
for j in range(len(data.columns)):
col_index.append(data.iloc[i,j])
data_index=pd.DataFrame(col_index,index=data.columns).T
#col_index是要给Series列表,把Series列表转换为DataFrame表格
return data_index
df_all=pd.DataFrame(columns=data.columns) #初始化一个空的dataframe
i=0 #初始化i
for i in range(len(data.index)):
df_one=frame(i)
df_all=df_all.append(df_one) #append()方法不会改变原值,需要进行重新赋值
运行上述代码后,正确的结果如下图所示,是我们想要的。