1. OpenAI Gym安装
安装
本人环境是Ubuntu16.04 + anaconda + Python3.6.2
git clone https://github.com/openai/gym
cd gym
sudo pip install -e .[all]
这里pip install -e .[all]是安装所有的environment，如果不想这么做可以pip install -e .安装基本项，之后手动安装所需要的environment。注意要使用管理员权限来安装，否则会报错！
helloworld
安装完成后，我们运行一个小的demo验证是否顺利安装，这里用CartPole-v0 下的1000帧验证：
import gym
env = gym.make('CartPole-v0')
env.reset() #重置环境
for _ in range(1000): #1000帧
env.render() #每一帧重新渲染环境
env.step(env.action_space.sample()) # take a random action
运行结果应当是这样的：
正常来说我们应当在立杆滑出屏幕之前把环境停止掉，之后的会介绍。
如果想看看别的环境是什么样子的，可以将CartPole-v0替换成MountainCar-v0, MsPacman-v0等，这些环境都来自Env基类。
可以查看OpenAI Gym所有环境的列表：
from gym import envs
print(envs.registry.all())
2. OpenAI Gym使用
Observation（观察）
上面helloworld的例子中，action是随机的，如果想要在每个步骤中做出比采取随机行动更好的action，那么实际了解action对环境的影响可能会很好。
环境的step 函数返回需要的信息，step 函数返回四个值observation、reward、done、info，下面是具体信息：
- observation (object):一个与环境相关的对象描述你观察到的环境，如相机的像素信息，机器人的角速度和角加速度，棋盘游戏中的棋盘状态。
- reward (float):先前行为获得的所有回报之和，不同环境的计算方式不 一，但目标总是增加自己的总回报。
- done (boolean): 判断是否到了重新设定(reset)环境，大多数任务分为明确定义的episodes，并且完成为True表示episode已终止。
- info (dict):用于调试的诊断信息，有时也用于学习，但正式的评价不允许使用该信息进行学习。 这是一个典型的agent-environment loop 的实现。
下面这个示例通过调用reset来启动，它返回一个初始observation。 所以要改进helloworld代码的更恰当的方法是当done返回为True，终止当前的episode：
import gym
env = gym.make('CartPole-v0')
for i_episode in range(20):
observation = env.reset()
for t in range(100):
env.render()
print(observation)
action = env.action_space.sample()
observation, reward, done, info = env.step(action)
if done:
print("Episode finished after {} timesteps".format(t+1))
break
结果与之前不同的是每次立杆将要倒下去，环境重置，并且每帧返回Observation也就是立杆位置的观察信息。
这段代码中，每次done返回True（立杆将要倒下去的时候）重置环境，然后每一帧都返回Observation来监视当前模型。
Spaces（空间）
之前的示例都用了随机action，那么这些action是如何表示的呢？每个环境都带有描述有效动作和观察结果的一级Space对象：
import gym
env = gym.make('CartPole-v0')
print(env.action_space)
#> Discrete(2)
print(env.observation_space)
#> Box(4,)
Discrete space 允许固定范围的非负数。这个例子里，立杆的运动只有向左和向右，因此在这种情况下，有效的动作是0或1. Box空间表示一个n维框，这个示例中立杆在一个二维空间中，所以有效的观察将是4个数字的数组。 也可以检查Box的范围：
print(env.observation_space.high)
#> array([ 2.4 , inf, 0.20943951, inf])
print(env.observation_space.low)
#> array([-2.4 , -inf, -0.20943951, -inf])
Box和Discrete是最常用的spaces，可以从space进行抽样或检查属于它的内容：
from gym import spaces
space = spaces.Discrete(8) # Set with 8 elements {0, 1, 2, ..., 7}
x = space.sample()
assert space.contains(x)
assert space.n == 8
很多环境中这些spaces数据并不是像这个简单的示例这么直观，不过只要你的模型足够优秀，自己没必要试着解释这些数据。
