得到了待爬取股票代码后，爬取该307支股票的过去3年历史数据，并分别存入excel。本文使用的是凤凰财经的api，没有使用headers与cookies，打算失败后再添加，不过顺利爬了下来。共耗时25分钟。后改用csv，耗时70秒，预计使用多线程（还不懂是什么意思，应该就是并发下载吧）
本次学会的新技能：
"""
新技能
df = pd.read_excel(os.getcwd() + os.sep + 'stock.xlsx',converters = {u'证券代码':str})
1、导入os包后，getcwd()可以获得当前代码文件所在的文件夹，os.sep为反斜杠""
2、converters={u'证券代码':str},可以将代码中的002变为字符串格式。
3、to_csv耗时70秒，to_excel耗时30分钟，所以除非使用的数据量小，或是导出的数据有直接使用格式的需求，否则尽量选择csv
"""
import pandas as pd
import numpy as np
import requests
import datetime
starttime=datetime.datetime.now()
def get_stock_pool_data():
#读取已下载的股票池数据，获取代码与名称
df=pd.read_excel("D:\\stock\\stock_pool20180127.xlsx",converters = {u"代码":str},sheetname="Sheet1")
df=pd.DataFrame(df)
df.rename(columns={"代码":"code","名称":"name"},inplace=True)
print(df.head())
df["city"]=np.where((df["code"].apply(lambda x:x[0:2])=="60"),"sh","sz")
df["new_code"]=df["city"]+df["code"]
return df
def get_single_history(url):
#获取单个股票历史数据
page_source=requests.get(url).text
dic=eval(page_source)#字符串转换为字典
m=np.array(dic["record"])#访问字典，转化为矩阵
columns=["date", "open", "high", "close", "low", "volume",
"chg", "%chg", "ma5", "ma10", "ma20", "vma5", "vma10", "vma20", "turnover"]
df_history=pd.DataFrame(m,index=None,columns=columns)
df_history=df_history.set_index("date")
return df_history
def get_every_history():
#url="http://api.finance.ifeng.com/akdaily/?code=sh601012&type=last"
url_fix1="http://api.finance.ifeng.com/akdaily/?code="
url_fix2="&type=last"
df_stock_pool_data=get_stock_pool_data()
for i in df_stock_pool_data["new_code"]:
stock_url=url_fix1+str(i)+url_fix2
try:
df_history=get_single_history(stock_url)
df_history.to_csv("D:\\stock\\stock_csv\\"+str(i)[2:]+".csv")
except Exception as e:
print(e)
continue
#break #如果有了新的想法，测试是加上此句，只运行一句
if __name__=="__main__":
get_every_history()
endtime=datetime.datetime.now()
interval=(endtime-starttime).seconds
print("共耗时%.2f秒"%interval)
