最近需要将一个c++编写的功能模块部署到Node服务上,所以研究了一下node-gyp。整个过程中遇到不少坑,下面会列举一些典型问题和解决方法。
Node模块上线和申请域名的过程暂且不表,有需要可以参考附录中列出的文章。
开发过程
编写代码
开发一个c++插件需要编辑以下若干文件:
-
binding.gyp
是node-gyp的配置文件,告诉node-gyp要编译哪些功能模块和需要的参数。这个文件需要放在工程根目录下。 -
*.cc
可以理解为胶水代码,作用是为你的c++代码加上v8的壳,以便打包。
编译打包
- 开发完成后,执行
sudo npm install node-gyp -g
命令,安装全局的node-gyp模块。 - 第一次打包时,执行
node-gyp configure build
,等价于node-gyp configure && node-gyp build
。以后可以执行node-gyp rebuild
命令,重新打包。 - 也可以执行
npm install
命令,在安装完依赖模块之后node-gyp会开始打包流程(原理会在后面介绍)。
Tips
Docker
现在的服务基本上都是使用Docker部署的。所以部署出错时有可能需要进入Docker容器中查找问题。
- ssh到服务器
- 查找Docker容器,执行
docker ps -a
,容器名就是server名。或查找名字以QB开头的容器docker ps -a -f name=QB
- 进入容器,执行
docker attach [CONTAINER ID or NAME]
这里需要注意的是,使用docker attach
命令进入容器,并没有新开一个bash,而是所有终端共享一个bash,所以在一个终端内操作容器,所有进入该容器的终端都将显示同样的内容。如果退出bash,则容器中没有进程运行,容器将停止!重启容器可以使用docker start [CONTAINER ID or NAME]
命令。
个人以为attach
没有nsenter
命令好用,nsenter
可以重开一个进程并且进入容器,所以每个bash之间是互不影响的。可惜服务器并没有安装这个命令……更过nsenter
的讨论见参考。
为什么npm install
命令会触发node-gyp的打包流程
这要从npm脚本说起。在package.json
文件中,script
键值对定义了npm可执行的脚本命令,其中有两个命令是默认的:
{
// ...
"scripts": {
"start": "node server.js",
"install": "node-gyp rebuild"
}
}
如果存在./binding.gyp
文件,则每当npm install
执行时,会在安装完依赖包之后执行node-gyp的rebuild命令。
如果Docker容器中没有全局安装node-gyp
这几乎是一定的,原因是并不是每一个node服务都会用到node-gyp。因此我们需要为工程单独安装一个node-gyp模块。在部署之前执行npm install node-gyp --save
,安装完成之后会在./node_modules/.bin/
生成node-gyp.js
文件。
同时./node_modules/.bin/
这个路径会在运行时被加入到系统的PATH变量,因此在运行npm时,就可以不带路径,直接通过命令来调用这些脚本。所以上文提到的npm脚本node-gyp rebuild
执行时不会报错。
下面是一个使用本地node-gyp打包的例子,执行命令../nodejs/node node_modules/.bin/node-gyp rebuild
在binding.gyp
的source
中引用文件
是的,如果不这么做,node-gyp无法将我们所需的c++文件全部打包进去。如果我们需要引用成百上千个文件,还好sources
中可以接受shell命令:<!(cmd)
或<!@(cmd)
,前者返回值为string,后者返回值为list。
这样,虽然gyp没有提供通配符,但是可以通过命令实现这个功能,如实现添加addons/interpreter/source/QBDFOLInterpreter/
和addons/interpreter/source/QBDFOLInterpreter/jsoncpp/
目录下所有cpp
后缀的文件作为sources
:
# binding.gyp
{
"targets": [
{
...
"sources": ["addons/interpreter/interpret.cc",
"<!@(ls -1 addons/interpreter/source/QBDFOLInterpreter/*.cpp)",
"<!@(ls -1 addons/interpreter/source/QBDFOLInterpreter/jsoncpp/*.cpp)",
],
...
}
]
}
典型问题和解决方法
The program 'node-gyp' is currently not installed.
在容器中打包时出现以下错误提示:
[vectorliu ~/QBDFInterpretServer/bin/src]$ ../nodejs/node node_modules/.bin/node-gyp rebuild
gyp info it worked if it ends with ok
gyp info using node-gyp@3.6.2
gyp info using node@8.7.0 | linux | x64
gyp http GET https://nodejs.org/download/release/v8.7.0/node-v8.7.0-headers.tar.gz
gyp WARN install got an error, rolling back install
gyp ERR! configure error
gyp ERR! stack Error: connect ENETUNREACH 104.20.22.46:443
gyp ERR! stack at Object._errnoException (util.js:1021:11)
gyp ERR! stack at _exceptionWithHostPort (util.js:1043:20)
gyp ERR! stack at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1175:14)
gyp ERR! System Linux 3.10.104-1-tlinux2-0041.tl1
gyp ERR! command "/usr/local/app/QBDFInterpretServer/bin/nodejs/node" "/usr/local/app/QBDFInterpretServer/bin/src/node_modules/.bin/node-gyp" "rebuild"
gyp ERR! cwd /usr/local/app/QBDFInterpretServer/bin/src
gyp ERR! node -v v8.7.0
gyp ERR! node-gyp -v v3.6.2
gyp ERR! not ok
原因是node-gyp在第一次运行之前要到https://nodejs.org/
下载node源码头文件,然而服务器所在的开发网是连不上外网的。所以要指定镜像路径:
- 进入Docker容器
- 在
~/.bash_profile
中添加一句export NODEJS_ORG_MIRROR=http://your/path/to/node/mirror
- 执行
source ~/.bash_profile
命令 - 继续使用node-gyp
ERROR: cannot use 'throw' with exceptions disabled
取消掉-fno-exceptions
标记即可。可以在binding.gyp
中加入:
{
"targets": [
{
...
"cflags!" : [
"-fno-exceptions"
],
"cflags_cc!": [
"-fno-exceptions"
],
...
}
]
}
如果是在macOS
下开发,还需要加入:
{
"targets": [
{
...
'conditions': [
['OS=="mac"', {
'xcode_settings': {
'GCC_ENABLE_CPP_EXCEPTIONS': 'YES'
}
}]
],
...
}
]
}
编译出错的一种可能
如果在开发环境写好的代码,部署到服务器后出现一些莫名其妙的编译错误,请注意开发环境和部署环境c++编译器的版本差异。
我拿macOS下clang编译好的代码放到g++里编译,想想真是无知者无畏啊……