[参考资料](https://blog.csdn.net/moqiang02/article/details/42027243)
[关于排序和分而已,及sphinxapi.php的调用](https://blog.csdn.net/joyatonce/article/details/52059564)
首先了解sphinx是什么?
他是一个服务,用于搜索的服务,也可以说是一个搜索引擎,
如果使用搜索引擎,必须开启他的服务,
其次在api根据端口号启用服务,并传入关键字
注意在thinkphp中在new对象的时候要加\,
如下:
public function test()
{
$cl=new \SphinxClient();
$cl->SetServer('127.0.0.1',9312);
$cl->SetArrayResult(true);
$cl->SetMatchMode(SPH_MATCH_ANY);
$cl->SetLimits(0,12);
$index_name="dizhi";
$key="经营部";
$this->s_keywords=$key;
$this->s_index=$index_name;
$this->h_cl=$cl;
$this->h_opts= array(
"before_match" => "",
"after_match" => "",
"chunk_separator" => "
",
// "limit" => 6,
// "around" =>3
);
$res=$cl->Query($key,$index_name);
$ids=array_column($res['matches'],"id");
// var_dump($ids);
$m=M();
$where['id']=array("in",$ids);
$res=$m->table("address")->where($where)->select();
//BuildExcerpts ( $docs, $this->s_index, $this->s_keywords, $this->h_opts);
foreach ($resas $k=>$v){
$res[$k]=$cl->BuildExcerpts ( $v, $this->s_index, $this->s_keywords, $this->h_opts);
}
// var_dump($res);
$this->assign("res",$res);
$this->display("");
}
-------------------------------------方法结束
第二点要注意的是,在search.exe中是不能搜索中文的,但是可以用英文和数字测试是否可用,
返回的weight和size,就有ip,根据ip去验证;
下面附上常用命令
indexer.exe -c D:\project\coreseek\sphinx.conf zhilian //生成索引文件
search.exe -c D:\mysoftware\coreseek-3.2.14-win32\sphinx.conf redis //查询redis的数目
D:\mysoftware\coreseek-3.2.14-win32\bin>indexer.exe -c D:\mysoftware\coreseek-3.
2.14-win32\sphinx.conf --merge zhilian add_zhilian --rotate //合并索引
-c 执行 配置目录 索引文件名称
D:\project\coreseek\bin>searchd.exe --install -c D:\mysoftware\coreseek-3.2.14-win32\sphinx.conf //安装服务器
sc delete searchd//删除服务
replace into a select 1,max(id) from zhilian;//记录生成的最大id数
D:\mysoftware\coreseek-3.2.14-win32\bin>indexer.exe -c D:\mysoftware\coreseek-3.
2.14-win32\sphinx.conf --merge zhilian add_zhilian --rotate//合并索引
D:\mysoftware\coreseek-3.2.14-win32\bin>indexer.exe -c D:\mysoftware\coreseek-3.
2.14-win32\sphinx.conf add_zhilian //生成新增数据的索引
///////一定要注意 searchd是否启动服务
sphinx与mysql的配置
创建sphinx统计表,在coreseek_test库中执行。
CREATETABLEsph_counter
(
counter_idINTEGERPRIMARYKEYNOTNULL,
max_doc_idINTEGERNOTNULL
);
创建配置sphinx与mysql的配置文件
# vi /usr/local/coreseek/etc/csft_mysql.conf
#MySQL数据源配置,详情请查看:http://www.coreseek.cn/docs/coreseek_4.1-sphinx_2.0.1-beta.html#conf-reference
#源定义
source main
{
type = mysql
sql_host = localhost
sql_user = root
sql_pass = 123456
sql_db = coreseek_test
sql_port = 3306
sql_query_pre = SET NAMES utf8
sql_query_pre = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company;
sql_query = SELECT * FROM hr_spider_company WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) #sql_query第一列id需为整数
#title、content作为字符串/文本字段,被全文索引 (注:执行报错的话把下面的几行注释掉)
sql_attr_uint = id #从SQL读取到的值必须为整数
sql_attr_uint = from_id #从SQL读取到的值必须为整数,不支持全文检索
sql_attr_uint = link_id #从SQL读取到的值必须为整数,不支持全文检索
sql_attr_uint = add_time #从SQL读取到的值必须为整数,不支持全文检索
sql_field_string = link_url #字符串字段(可全文搜索,可返回原始文本信息)
sql_field_string = company_name #字符串字段(可全文搜索,可返回原始文本信息)
sql_field_string = type_name #字符串字段(可全文搜索,可返回原始文本信息)
sql_field_string = trade_name #字符串字段(可全文搜索,可返回原始文本信息)
sql_field_string = email #字符串字段(可全文搜索,可返回原始文本信息)
sql_field_string = description #字符串字段(可全文搜索,可返回原始文本信息)
sql_query_info_pre = SET NAMES utf8 #命令行查询时,设置正确的字符集
sql_query_info = SELECT id,from_id,link_id,company_name,type_name,trade_name,address,description, FROM_UNIXTIME(add_time) AS add_time FROM hr_spider_company WHERE id=$id #命令行查询时,从数据库读取原始数据信息
}
source delta : main
{
sql_query_pre = SET NAMES utf8
sql_query = SELECT * FROM hr_spider_company WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )
sql_query_post_index = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company
}
#index定义
index main
{
source = main #对应的source名称
path = /usr/local/coreseek/var/data/mysql #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
docinfo = extern
mlock = 0
morphology = none
min_word_len = 1
html_strip = 0
#中文分词配置,详情请查看:http://www.coreseek.cn/products-install/coreseek_mmseg/
charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置,/符号结尾
charset_type = zh_cn.utf-8
}
index delta : main
{
source = delta
path = /usr/local/coreseek/var/data/delta
}
#全局index定义
indexer
{
mem_limit = 128M
}
#searchd服务定义
searchd
{
listen = 9312
read_timeout = 5
max_children = 30
max_matches = 1000
seamless_rotate = 0
preopen_indexes = 0
unlink_old = 1
pid_file = /usr/local/coreseek/var/log/searchd_mysql.pid #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
log = /usr/local/coreseek/var/log/searchd_mysql.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
query_log = /usr/local/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
binlog_path = #关闭binlog日志
}
我的测试表名为hr_spider_company,你只需要根据实际需求更改为自己的表名即可。
调用命令列表:
启动后台服务(必须开启)
# /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf
执行索引(查询、测试前必须执行一次)
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate
执行增量索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate
合并索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0
(为了防止多个关键字指向同一个文档加上--merge-dst-range deleted 0 0)
后台服务测试
# /usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf aaa
关闭后台服务
# /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop
自动化命令:
crontab -e
*/1 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate
*/5 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0
30 1 * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate
以下任务计划的意思是:每隔一分钟执行一遍增量索引,每五分钟执行一遍合并索引,每天1:30执行整体索引。
Coreseek官方教程中建议php使用直接include一个php文件进行操作,事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx!)已经进入了php的官方函数库,而且效率的提升不是一点点!但php模块依赖于libsphinxclient包。
[第一步] 安装依赖libsphinxclient
# cd /var/install/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/
# ./configure --prefix=/usr/local/sphinxclient
configure: creating ./config.status
config.status: creating Makefile
config.status: error: cannot find input file: Makefile.in #报错configure失败
//处理configure报错
编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误,然后运行下列指令再次编译就能通过了:
# aclocal
# libtoolize --force
# automake --add-missing
# autoconf
# autoheader
# make clean
//从新configure编译
# ./configure
# make && make install
[第二步] 安装sphinx的PHP扩展
http://pecl.php.net/package/sphinx
# wget http://pecl.php.net/get/sphinx-1.3.0.tgz
# tar zxvf sphinx-1.3.0.tgz
# cd sphinx-1.3.0
# phpize
# ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient
# make && make install
# cd /etc/php.d/
# cp gd.ini sphinx.ini
# vi sphinx.ini
extension=sphinx.so
# service php-fpm restart
打开phpinfo看一下是否已经支持了sphinx模块。
$s =newSphinxClient;
$s->setServer("127.0.0.1",9312);
$s->setMatchMode(SPH_MATCH_PHRASE);
$s->setMaxQueryTime(30);
$res = $s->query("宝马",'main');#[宝马]关键字,[main]数据源source
$err = $s->GetLastError();
var_dump(array_keys($res['matches']));
echo"
"."通过获取的ID来读取数据库中的值即可。"."
";
echo'
';
var_dump($res);
var_dump($err);
echo'';
调用示例二:支持分页
header("Content-type: text/html; charset=utf-8");
require("./sphinxapi.php");
$s =newSphinxClient;
$s->setServer("192.168.252.132",9312);
//SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询
$s->setMatchMode(SPH_MATCH_ALL);
$s->setMaxQueryTime(30);//设置最大搜索时间
$s->SetArrayResult(false);//是否将Matches的key用ID代替
$s->SetSelect ("*");//设置返回信息的内容,等同于SQL
$s->SetRankingMode(SPH_RANK_BM25);//设置评分模式,SPH_RANK_BM25可能使包含多个词的查询的结果质量下降。
//$s->SetSortMode(SPH_SORT_EXTENDED); //发现增加此参数会使结果不准确
//$s->SetSortMode(SPH_SORT_EXTENDED,"from_id asc,id desc"); //设置匹配项的排序模式, SPH_SORT_EXTENDED按一种类似SQL的方式将列组合起来,升序或降序排列。
$weights =array('company_name'=>20);
$s->SetFieldWeights($weights);//设置字段权重
$s->SetLimits (0,30,1000,0);//设置结果集偏移量 SetLimits (便宜量,匹配项数目,查询的结果集数默认1000,阀值达到后停止)
//$s->SetFilter ( $attribute, $values, $exclude=false ); //设置属性过滤
//$s->SetGroupBy ( $attribute, $func, $groupsort="@group desc" ); //设置分组的属性
$res = $s->query('@* "汽车"','main','--single-0-query--');#[宝马]关键字,[news]数据源source
//代码高亮
$tags =array();
$tags_name =array();
foreach($res['matches']as$key=>$value){
$tags[] = $value['attrs'];
$company_name[] = $value['attrs']['company_name'];
$description[] = $value['attrs']['description'];
}
$company_name = $s->BuildExcerpts ($company_name,'main','汽车', $opts=array() );//执行高亮,这里索引名字千万不能用*
$description = $s->BuildExcerpts ($description,'main','汽车', $opts=array() );//执行高亮,这里索引名字千万不能用*
foreach($tagsas$k=>$v)
{
$tags[$k]['company_name'] = $company_name[$k];//高亮后覆盖
$tags[$k]['description'] = $description[$k];//高亮后覆盖
}
// 高亮后覆盖
$i =0;
foreach($res['matches']as$key=>$value){
$res['matches'][$key] = $tags[$i];
$i++;
}
$err = $s->GetLastError();
echo'
';
var_export($res);
var_export($err);
echo'';
******************************************************************************************************************
错误:FATAL: failedto lock pid file '/home/zhangjie_z.pt/local/sphinx/var/log/searchd.pid':Resource temporarily unavailable (searchd alrecoreseek+php之sphinx扩展安装+php调用示例 - CSDN博客ady running?)
意思就是你已经打开了一个search进程,你需要找到相关进程号ps -e|grep searchd,然后kill PID杀死之前的进程,再启动新进程)
启动 searchd 服务时提示如下错误:
index 'test1': search error: failed to open /var/lib/sphinx/test1.sph: sphinx 错误解决 index 'test1': search error: failed to open /var/lib/sphinx/test.sph:No such file or directory; NOT SERVING
这个错误可能是没有建立好索引导致的,所以 indexer --all 很重要
CentOS6.x安装Coreseek和Sphinx扩展for PHP - 简书
安装coreseek与sphinx遇见的问题 - sphinx- - ITkeyowrd
搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例 - CSDN博客
关于coressek的相关笔记整理如下:
讯搜可以替代coreseek