简介

NGSIM（Next Generation Simulation）数据集是美国FHWA搜集的美国高速公路行车数据，它包括了US101、I-80等道路上的所有车辆在一个时间段的车辆行驶状况。数据是采用摄像头获取，然后加工成一条一条的轨迹点记录。我在项目中用到的是US101数据集，其他数据结构大同小异。一下着重介绍该路段数据集。

US101数据集介绍

NGSIM官方提供了使用API的方法获取数据集，但是文档并不够良心，因此我还是直接选择了下载整个数据集，下载链接可以在官方网站找出，这里再给出链接，下载下俩的数据集是一个1.6G+的CSV文件。这个文件包含所有道路的所有数据。打开看一看，数据结构如表：

在这里插入图片描述

这几个很难倒腾，而且筛选数据主要看这几个，其他数据可以直接看官网介绍。

python处理数据

我想得到的是某一区域内的车辆及它们未来10秒的轨迹。读取CSV，用python的话当然用pandas咯。
最好添加usecols过滤你不需要的列，因为数据集很大，载入真的很慢。

import pandas as pd
init_df = pd.read_csv('./data.csv', usecols=['你所需要的列名'])

首先，数据集很大，要把数据多余的内容除掉。我要的是US101数据，因此定义一个函数筛选并按照全局时间排序，按照frame排序是行不通的，如果要按照路段排序同理选取Global的数据。

def cutbyRoad(df=None, road=None):
    '''
    :param df: 打开后文件
    :param road: 路段名称
    :return: 切路df,按照全局时间排序
    '''
    road_df = df[df['Location'] == road]
    return road_df.sort_values(by='Global_Time', ascending=True)

原数据集的单位，时间是ms，长度单位全是ft。给它转换一下：

def unitConversion(df):
    '''
    转换后长度单位为m，时间单位为0.1秒
    :param df: 被转换df
    :return: 转换后df
    '''
    ft_to_m = 0.3048
    df['Global_Time'] = df['Global_Time'] / 100
    for strs in ["Global_X", "Global_Y", "Local_X", "Local_Y", "v_length", "v_Width"]:
        df[strs] = df[strs] * ft_to_m
    df["v_Vel"] = df["v_Vel"] * ft_to_m*3.6
    return df

我需要的数据是某一区域内，某一时刻的车辆及它们未来10s的行车数据，因此首先要获得某一区域某一时刻某一区域的车辆ID列表：

def cutbyPosition(road_df, start_y=0, start_time=0, area_length=50):
    '''
    给定起始时间，起始y，区间长度，输出区间内车辆list
    :param road_df:限定路段后的df
    :param start_y: 区域开始段，单位为m
    :param start_time: 起始时间，0.1s
    :param area_length: 区域长度单位为m
    :return: vehicle_list为起始框内部车辆编号
    '''
    area_df = road_df[road_df['Global_Time'] == start_time]
    area_df = area_df[(area_df['Global_Y'] - start_y <= area_length) & (
            area_df['Global_Y'] - start_y >= 0)]
    vehicle_list = area_df['Vehicle_ID'].unique()
    if len(list(vehicle_list)) <= 2:
        return None
    else:
        return list(vehicle_list)

其中start_y, start_time可以根据自己的需要取Global_Y,Global_Time的最大值最小值区间内值。
然后是迭代获取10s内车辆数据：

def cutbyTime(road_df, start_time=0, vehicle_list=None, time_length=10.0, stride=1):
    '''
    :param inint_df:road_df
    :param start_frame: 开始帧
    :param time_length: 采样时间长度,单位为s
    :param stride: 采样步长
    :return: 返回一组清洗完数据time
    '''
    temp_df = road_df[road_df['Vehicle_ID'].isin(vehicle_list)]
    one_sequence = pd.DataFrame()
    for vehicle in vehicle_list:
        for time in range(int(time_length * 10 / stride)):
            df = temp_df[
                (temp_df['Vehicle_ID'] == vehicle) & (temp_df['Global_Time'] == (start_time + time * stride))]
            if df.shape[0] == 1:
                one_sequence = pd.concat([one_sequence, df])

            else:
                return None
    return one_sequence

最后是存储数据至CSV

def saveCsv(df, file_name):
    '''
    :param df: 存入df
    :param file_name: 文件名
    :return: 无
    '''
    df=df.reset_index(drop=True)  #重置索引
    if not os.path.exists('\\'):
        os.makedirs('\\')
    df.to_csv('data\\' + file_name + '.csv', mode='a', header=True)

我的main函数，也就是调用这些方法的主干函数，代码中调用的json文件是配置文件：

    with open("conf/dataExecute.json", "r") as f:
        conf = json.load(f)
    init_df = pd.read_csv(conf['data_source'], usecols=conf['useCols'])
    road_df = cutbyRoad(init_df, road=conf['road'])

    road_df = unitConversion(road_df)

    min_Global_Y, max_Global_Y = road_df['Global_Y'].min()+100, road_df['Global_Y'].max()
    min_Global_Time, max_Global_Time = road_df['Global_Time'].min(), road_df['Global_Time'].max()
    total_dist=int((max_Global_Y - min_Global_Y) / (conf['area_step']))
    total_time=int((max_Global_Time - min_Global_Time) / (conf['time_step'] * 10))
    print("共计{}--{}组数据，时间步长为{}，距离步长为{}".format(total_dist,total_time,conf['time_step'],conf['area_step']))

    total_data=0
    for dist_index in range(conf["hist_dist"],total_dist):

        for time_index in range(conf["hist_time"],total_time):
            if conf["noise"]:
                time_noise=random.randint(0,100)
                dist_noise=random.randint(0,100)
            else:
                time_noise,dist_noise=0,0

            start_time = min_Global_Time + time_index * conf['time_step'] * 10+time_noise*10
            start_y = min_Global_Y + dist_index * conf['area_step']+dist_noise

            vehicle_list = cutbyPosition(road_df, start_y=start_y, start_time=start_time,
                                         area_length=conf['area_length'])

            if vehicle_list is None:
                # print('{}秒时刻，{}为起点区域内车辆过少，进入下个时段'.format(start_time * 0.1, start_y))
                print('{}--{}内车辆过少，进入下个时段'.format(dist_index, time_index))
                continue

            one_sequence = cutbyTime(road_df, start_time=start_time, vehicle_list=vehicle_list,
                                     time_length=conf['time_length'],
                                     stride=conf['stride'])
            if one_sequence is None:
                # print('{}时刻，{}为起点区域内车辆存在消失，进入下个时段'.format(start_time * 0.1, start_y))
                print('{}--{}内车辆存在消失，进入下个时段'.format(dist_index, time_index))
            else:
                total_data+=1
                saveCsv(one_sequence, file_name=conf['road'])
                print('{}/{} - {}/{} saved! Exist {} data! '.format(dist_index, total_dist,time_index, total_time,total_data))

            if total_data == conf["need_num"]:
                print("数据采集完成")
                break
        if total_data ==conf["need_num"]:
            print("数据采集完成")
            break

传参我用了一个json文件：

{
  "data_source": "./data/data.csv",
  "road": "us-101",
  "useCols": [
    "Vehicle_ID",
    "Frame_ID",
    "Total_Frames",
    "Global_Time",
    "Global_X",
    "Global_Y",
    "Local_X",
    "Local_Y",
    "v_length",
    "v_Width",
    "v_Class",
    "Location",
    "v_Vel",
    "Lane_ID"
  ],
  "area_length": 80,
  "time_length": 10,
  "area_step": 20,
  "time_step": 30,
  "stride": 5.0,
  "hist_dist":6,
  "hist_time":0,
  "noise": 1,
  "need_num": 20
}

我做这个主要是为了采集区域行车数据做训练集。因此需要迭代获取。如果有什么问题欢迎留言和我讨论！