微信跳跳OpenCV智能识别之AI操作

原理: 只能识别图片,计算距离,模拟点击,自动化测试

1.先去github上下载WebDriverAgent这个项目，如果本地有git可以通过指令

git clone https://github.com/facebook/WebDriverAgent

2.进入WebDriverAgent夹数文件执行如下指令

./Scripts/bootstrap.sh

3.打开xcode.打开WebDriverAgent.xcodeproj'

product -> destination 选择你的手机

product-> schema 选择WebDriverAgentRunner

连接手机后

product-> test

网上说可以用这个命令.不太好用.能编译通过怎么安装没研究


xcodebuild -project WebDriverAgent.xcodeproj -scheme WebDriverAgentRunner -destination "id=$(idevice_id -l)" test


就会在手机上安装当前应用，并开启一个服务类似于如下

2018-01-03 15：46：37.486914 + 0800 WebDriverAgentRunner-Runner [4222：1622132]建于 2018年1月3日15:38:34

2018-01-03 15：46：37.536376 + 0800 WebDriverAgentRunner-Runner [4222：1622132] ServerURLHere-> http://192.168.31.76:8100 <-ServerURLHere

运行代理镜像到电脑

iproxy 8100 8100

ps :有一个坑,就是你必须安装 usbmuxd


1、安装usbmuxd

brew install usbmuxd

2、iproxy，该工具会将设备上的端口号映射到电脑上的某一个端口，例如：

iproxy port port

以上命令就是把当前连接设备的22端口(SSH端口)映射到电脑的2222端口，那么想和设备22端口通信，直接和本地的2222端口通信就可以了。

       因此，SSH连接设备就可以这样连接了：

ssh -p 2222 root@127.0.0.1

这样就再也不用依赖Wi-Fi了，而且反应很流畅，当然此工具不仅可以用于SSH，也可以映射其他端口，这个就看个人需求了。

打开电脑.恭喜可以映射了

http://127.0.0.1:8100/inspector

ps: 遇到的另外一个坑是你必须安装wda模块才行,必须使用包管理工具carthage才行

具体操作如下:

下载carthage

brew install carthage

pip3 install --pre facebook-wda 我用的是python3

遇到的第三个坑:


不要编译OpenCV 安装直接用mac的brew 安装

pthon3 用的版本3.6.虚拟环境自己安装.

如下:

brew install opencv3 --with-python3 --c++11 --with-contrib

运行时候遇到的坑:


运行安装好的 WebDriverAgentRunner

将手机点击到《跳一跳》小程序界面

运行脚本。有两种模式可供选择：手动辅助跳和自动连续跳

手动辅助跳

命令行运行 python3 wechat_jump_iOS_py3.py

依次点击弹出的窗口中的起始位置和目标位置，会自动计算距离后起跳

根据起跳的精准情况更改 python3 wechat_jump_iOS_py3.py 中的 time_coefficient 参数，直到获得最佳取值

自动连续跳

拷贝 ./config/iPhone 目录下对应的设备配置文件，重命名并替换到 ./config.json

命令行运行 python3 wechat_jump_auto_iOS.py

会自动计算坐标并连续起跳，根据起跳的精准情况更改 ./config.json 中的 press_coefficient 参数，直到获得最佳取值

借鉴的文章和代码

https://github.com/Honlan/wechat_jump_tensorflow

https://github.com/wangshub/wechat_jump_game/wiki/Android-%E5%92%8C-iOS-%E6%93%8D%E4%BD%9C%E6%AD%A5%E9%AA%A4

http://blog.csdn.net/zq019/article/details/78962508

https://github.com/facebook/WebDriverAgent

最后编辑于：2018.01.12 14:56:17