开源地址：
github:https://github.com/zorlan/skycaiji
安装及基本使用
点击跳转到官方文档: https://www.skycaiji.com/manual/doc/install
初次使用
image.png
可以看到功能还不少，可以自动采集，可以设置代理等等...
接下来开始的常规操作：
- 创建任务
- 设置规则
image.png
按照正常思维应该是
点击采集 以为就可以直接采集，但是并没有，会弹出下面的图片
image.png
没办法，只能按照规则来，点击规则旁边的发布 弹出的页面是
image.png
作为一个研究过的人来给大家解释下是什么意思
- 本地CMS程序 ： 将采集的数据保存到一些知名的CMS库中(前面使用的人做了一些相应的匹配规则，直接用)
- 数据库：将数据保存到库里，这里要注意的是，最好新建一个库，在页面选择采集的字段与数据库的字段绑定来保存(下面我会使用这种方式来查看采集的数据)
- 文件存储：将数据以文件的方式存储，用的是excex或者word 的方式
- 调用接口：就是将采集的数据以API的方式发送给另一个服务器，主动发送
- 生成API：就是将采集的数据存储好后，另一个服务器可以直接通过设置好的API被动的拿数据
- 自定义插件：将采集的数据，可以完全自定义，想怎么存，存哪里，完全自己操作(下面我也做了这种方式的采集修理)
数据库的方式
image.png
设置好数据库字段与采集字段的绑定关系
保存后点击采集，查看已采集的数据，然后去当前的数据表发现有了记录
image.png
注意
点了采集后在想重复采集时，你可能会看到下面这张图片
image.png
页面的提示是 已经采集过的不可以在采集，现在有两种处理方式
- 删除采集好的数据在次采集（你就看不到历史的采集记录了）
- 寻找代码，进行更改，实现多次采集，很显然下面我们将会去修改代码达到相应的需求
作为一个研究过的人来直接说处理方式
1. 找到 skycaiji\SkycaijiApp\admin\event\Cpattern.php
2. 大概在 1745 行 ，找到 if($this->config['url_repeat']||$mcollected->getCountByUrl($cont_url)<=0){
就是经过这里的判断后，不在重复抓取相同的网址
3. 直接注释转为 if(true){ 就可以重复抓取相同的网址
image.png
在次点击采集
image.png
已经可以重复抓取
自定义插件
image.png
先去目录/plugin/release/diy目录中创建Astar.php, 下面是我的astar.php的源码
<?php
namespace plugin\release\diy;
/*自定义插件：类名首字母必须大写*/
class Astar extends BaseDiy{
/*数据库连接信息*/
public $connection = array(
'db_type' => 'mysql', //类型
'db_host' => 'localhost', //服务器
'db_name' => 'skycaiji', //库名称
'db_user' => 'root', //用户名
'db_pwd' => 'root', //密码
'db_port' => 3306, //端口
'db_prefix' => 'skycaiji_pro_list_copy', //表名
'db_charset' => 'utf8', //编码
);
/**
* 导入数据
* @param string $url 采集的页面网址
* @param array $fields 采集到的字段数据列表
*/
public function runImport($url,$fields){
/*
* -----这里开始写代码-----
* 数据库操作：$this->db() 可参考thinkphp5的数据库操作
* 获取字段值必须使用 $this->get_field_val($field);方法(可处理图片本地化等)，否则使用$field['value']调用字段原始值
*/
// 这里是需要保存的数据
$data = [
'product'=>trim($fields['name']['value']),
'url'=>$url,
'num'=>trim($fields['num']['value']),
'ctime'=>time()
];
$this->db->insert($data);
$id = $this->db->getLastInsID();
// 这里可以做任何的逻辑，比如通知相关人员
/*
* 必须以数组形式返回：
* id（必填）表示入库返回的自增id或状态
* target（可选）记录入库的数据位置（发布的网址等）
* desc（可选）记录入库的数据位置附加信息
* error（可选）记录入库失败的错误信息
* 入库的信息可在“已采集数据”中查看
*/
return array('id'=>$id,'target'=>'skycaiji_pro_list_copy','desc'=>$id,'error'=>'');
}
}
?>
下图我采集到的一些测试数据列表，真实数据在库里
image.png
如果使用中发现什么问题，可以评论一起探讨.....
