title: 使用docker封装古董python web.py + postgresql应用
author: fanzhh
category:
- 技术笔记
tag:
- docker
- web.py
- python
- postgresql
date: 2019-07-24 15:50
So，6年之前使用python2的web.py框架+postgresql搭建的项目，今年年初起停止使用，但偶尔地又需要访问一下数据。大家都知道搭建项目环境多么难，在这台电脑上运行得好好的，换台电脑出现各种错误。近期开始学习docker，相见恨晚哪。于是有了这篇边学习边实践的笔记。
web.py项目
requirements.txt文件
主程序名称为index.py，运行中需使用3个包，pip freeze > requirements.txt，内容如下：
psycopg2==2.8.3
pygal==2.4.0
web.py==0.39
Dockerfile文件
在web.py项目目录下新建Dockerfile文件，内容如下：
FROM python:2.7
COPY requirements.txt /code/
WORKDIR /code/
RUN pip install -r requirements.txt
COPY . /code/
ENTRYPOINT ["python"]
CMD ["index.py"]
第1行FROM python:2.7，指明使用python:2.7镜像。
第2行拷贝requirements.txt文件到Docker的/code/目录。
第3行指明/code/为工作目录。
第4行在docker中安装需要的包。
第5行拷贝当前目录下所有文件到docker工作目录中。
第6行、第7行指明启动python index.py。
建立image
在web.py项目目录下，输入(jifdaypk_mini是image名称)：
$ docker build -t jifdaypk_mini:latest .
会有一系列输出，最后出现这个，说明创建成功：
Successfully tagged jifdaypk_mini:latest
执行docker image ls，应该能够看到刚刚创建的image了。
运行容器
输入：
$ docker run -p 8080:8080 jifdaypk_mini
回车，打开浏览器输入：localhost:8080，浏览器出现internal server error提示。看命令行，出现一大坨错误，其中一行内容是：
OperationalError: could not connect to server: No such file or directory
Is the server running locally and accepting
connections on Unix domain socket "/var/run/postgresql/.s.PGSQL.5432"?
这就对了，因为我还没有配置postgresql嘛。
配置postgres
拉取postgres
因为我使用postgres的版本为9.5，所以拉取：
$ docker pull postgre:9.5
命令之后成功后，使用docker image ls，应该可以看到postgres:9.5的镜像了。
执行postgres容器
命令行输入：
$ docker run postgres:9.5
一大坨输出之后，出现PostgreSQL init process complete; ready for start up.说明容器运行成功，Ctrl+C退出。
导入数据
原来项目中的数据需要导入postgres中，原导出的格式为pd_dump生成的sql文件。
前提
要在本机和docker容器之间传输文件，需明白3个前提：
- 每个docker容器都有自己的卷（
volumes），将它们想象为你本机的磁盘就好。 - 可以在本机上执行容器中的命令，格式为：`docker exec <容器名字> <你的命令>。
- 当你打算在容器中运行操作具体文件的命令，这些文件应该在容器自身的卷(
volumes)中。
找到运行postgres实例的容器名字
$ docker ps
找到这个容器中的卷
$ docker inspect -f '{{ json .Mounts }}' <容器id> | python -m json.tool
结果：
[
{
"Type": "volume",
"Name": "a515c798849fd4e2e79a24ce16dc0d",
"Source": "/mnt/docker-data/volumes/a51fd60a2c9a10438849fd4e2e79a24ce16dc0d/_data",
"Destination": "/var/lib/postgresql/data",
"Driver": "local",
"Mode": "",
"RW": true,
"Propagation": ""
}
]
那么，/var/lib/postgresql/data便是我们要找的卷路径。
拷贝备份文件到卷上
于是我运行：
$ docker cp 2019_07_22_16_11.sql <容器id>:/var/lib/postgresql/data/
创建用户和数据库
创建用户：
$ docker exec -it <容器id> psql -U postgres -c "create user user1 with password '123456';"
创建数据库：
$ docker exec -it <容器id> psql -U postgres -c "create database mydb with owner 'fanzhh' encoding 'UTF8' lc_collate='en_US.UTF-8' lc_ctype='en_US.UTF-8' TEMPLATE template0;"
导入数据
按照google的教程，应该将备份文件拷贝到卷中后导入，其实不拷贝备份文件，以下方式也可导入。
$ cat 2019_07_22_16_11.sql | docker exec -i aa06d5a52006 psql -U user1 -d mydb
试一下看看导入成功没：
$ docker exec -it <容器id> psql -U user1 -d mydb -c "select id,check_date from checkrecord limit 1;"
id | check_date
-----+------------
158 | 2013-06-20
(1 row)
可以说非常OK了。
使用docker-compose多容器协作
虽然上一步导入数据到postgres了，但不要高兴太早，结束容器再重启之后，数据消失无影了。因为容器是动态存在的，kill之后，容器内的一切数据不再存在。若要永久保存，需要将容器的volume映射到本地。以上分别建立的image之间并没什么关系，现在要用到docker-compose神器，部署多容器之间协作了。
docker-compose文件
在web.py项目目录下新建docker-compose文件：
version: '2'
services:
db:
image: postgres:9.5
container_name: postgres_ypk
restart: always
environment:
- POSTGRES_USER=${POSTGRES_USER}
- POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
- POSTGRES_DB=${POSTGRES_DB}
volumes:
- ./postgres-data/postgres:/var/lib/postgresql/data
ports:
- "5432:5432"
web:
build: .
entrypoint: ["python", "index.py"]
restart: always
volumes:
- .:/code
ports:
- "8080:8080"
depends_on:
- db
db的volumes将本地文件夹映射至容器卷中，实现数据永久保存。注意db中environment的内容，在相同目录下新建.env文件存放环境变量：
POSTGRES_USER=user1
POSTGRES_PASSWORD=123456
POSTGRES_DB=mydb
docker-compose建立和运行
输入以下命令建立docker-compose：
$ docker-compose build
输入以下命令运行docker-compose：
$ docker-compose up
会出现一坨结果，大意是说db和web分别启动了。
再次导入数据
我们访问数据库容器：
$ docker exec -ti <容器id> bash
进入容器操作界面，输入：
$ psql -U user1 mydb
进入数据库界面，输入：
mydb=# create database mydb2 with owner 'user1' encoding 'UTF8' lc_collate='en_US.UTF-8' lc_ctype='en_US.UTF-8' TEMPLATE template0;
建立数据库。为什么不直接用mydb?因为数据库内容有中文，新建数据库指定utf8放心。
退出数据库界面，退出容器界面，输入：
$ cat 2019_07_22_16_11.sql | docker exec -i <容器id> psql -U user1 -d mydb2
导入数据。关掉docker-compose，重启，再次访问数据库，数据依然在，OK。
但现在， 浏览器访问localhost:8080依然显示internal server error。不慌，慢慢解决。
明明postgres容器已经启动，在本地使用psql -h localhost -U user1 -d mydb可以访问数据，但localhost:8080页面始终无法访问，后台显示错误：
could not connect to server: Cannot assign requested address
web_1 | Is the server running on host "localhost" (::1) and accepting
web_1 | TCP/IP connections on port 5432?
（1天时间过去了。。。）
终于在这个地方发现问题所在，我原来的连接参数为：
db=web.database(
dbn='postgres',
host='localhost',
db='ypkdb2',
user='fanzhh',
password='56805696',
port='5432'
)
修改host内容，将localhost改为容器名字，问题解决！
python镜像安装app
应用中需要用到abiword，镜像默认没有安装这个应用，报错，于是：
docker exec -it 4351e2d268de apt-get update
docker exec -it 4351e2d268de apt-get install abiword
OK。
上传镜像
我使用的滴滴云容器服务器，先登陆：
docker login --username=<仓库用户名> hub.didiyun.com
输入密码。
将公共镜像改为似有镜像：
docker tag [镜像名称:Tag]或[镜像ID] hub.didiyun.com/[命名空间]/[仓库名称]:[版本号（Tag）]
推送标志好的镜像到镜像仓库：
docker push hub.didiyun.com/[命名空间]/[仓库名称]:[版本号（Tag）]
