19- Solr集群部署

这个章节只整理一下solr集群的部署方法

solr提供集群模式的example

打开cmd,进入solr文件夹下的bin目录
执行命令

solr -e cloud
使用命令创建
创建成功

图片中红框圈起来的是命令执行过程中需要我们输入的地方,如果不输入都使用默认值也没有关系(直接回车就好)

命令执行完毕之后,就表示solr集群创建成功了,我可以使用访问solr进行访问

访问solr

访问之后我们发现solr的管理界面中多了cloud这个选项。这表示我们现在是使用的solr是以集群的模式运行的。

虽说现在solr集群已经运行起来了,但是和我们想要的solr集群还是有些差别的。
我们使用的 solr -e cloud命令创建的solr集群,使用的是solr内置的zookeeper。在大多数情况下,zookeeper应该是单独部署在其他服务器上的,所以我们还需要把内置的zookeeper替换成我们自己的zookeeper服务。

zookeeper

通过这个日志输出我们可以知道,solr把配置文件上传到了zk,zk监听的是9983端口,我们使用zk图形化工具查看一下,zk中存放的配置文件

zkui

相关的配置文件已经上传到了内置的zk中。

创建自己的Solr集群

本次使用的是solr-6.6.0版本

创建zk集群

根据上一遍文章中的内容,建立zookeeper单机伪集群

上传solr配置文件到zk集群

有两种方式

  1. ./server/scripts/cloud-scripts/zkcli.sh -zkhost localhost:2181,localhost:2182,localhost:2183 -cmd upconfig -confname default -confdir server/solr/configsets/basic_configs/conf
  2. /home/zhouyang/solr-6.6.0/bin/solr zk upconfig -n default -d /home/zhouyang/solr-6.6.0/server/solr/configsets/basic_configs/conf

创建solr node

这里需要创建solr实例的存放位置,我这里选择的是/var/solr目录下面
创建 node1 node2两个文件夹
在solr根目录下的server/solr文件中拷贝solr.xml到node1 node2,并做修改

其中主要修改点就是host 和hostPort,这两个属性会提交到zk中作为存活节点的地址

<?xml version="1.0" encoding="UTF-8" ?>
<solr>
  <solrcloud>
    <str name="host">${host:192.168.196.128}</str>
    <int name="hostPort">${jetty.port:8983}</int>
    <str name="hostContext">${hostContext:solr}</str>

    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>

    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
    <int name="distribUpdateSoTimeout">${distribUpdateSoTimeout:600000}</int>
    <int name="distribUpdateConnTimeout">${distribUpdateConnTimeout:60000}</int>
    <str name="zkCredentialsProvider">${zkCredentialsProvider:org.apache.solr.common.cloud.DefaultZkCredentialsProvider}</str>
    <str name="zkACLProvider">${zkACLProvider:org.apache.solr.common.cloud.DefaultZkACLProvider}</str>
  </solrcloud>
  <shardHandlerFactory name="shardHandlerFactory"
    class="HttpShardHandlerFactory">
    <int name="socketTimeout">${socketTimeout:600000}</int>
    <int name="connTimeout">${connTimeout:60000}</int>
  </shardHandlerFactory>
</solr>

启动命令

执行下面的命令
/home/zhouyang/solr-6.6.0/bin/solr start -p 8983 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node1 -force

/home/zhouyang/solr-6.6.0/bin/solr start -p 8993 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node2 -force

其中 -c 表示以cloud集群的方式启动, -z 表示指定zk集群的地址, -s 表示指定启动的这个solr node 实例的solrhome目录,用来存放这个实例的索引等数据

#!/bin/bash

name=$1
action=$2

echo "name is ${name} action is ${action}"

if [ ${name} = "zk" -o ${name} = "zoo" ]; then
    echo "${action} zookeeper"
    if [ ${action} = "start" ]; then
        /opt/zookeeper_1/bin/zkServer.sh start
        /opt/zookeeper_2/bin/zkServer.sh start
        /opt/zookeeper_3/bin/zkServer.sh start
    elif [ ${action} = "stop" ]; then
        /opt/zookeeper_1/bin/zkServer.sh stop
        /opt/zookeeper_2/bin/zkServer.sh stop
        /opt/zookeeper_3/bin/zkServer.sh stop
    else
        echo "action ${action} error "
    fi
elif [ ${name} = "solr"  ]; then
    echo "${action} solr"
    if [ ${action} = "start" ]; then
        /home/zhouyang/solr-6.6.0/bin/solr start -p 8983 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node1 -force
        /home/zhouyang/solr-6.6.0/bin/solr start -p 8993 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node2 -force
    elif [ ${action} = "stop" ]; then
        /home/zhouyang/solr-6.6.0/bin/solr stop -all
    else
        echo "${action} error"
    fi

else
    echo "${name} error"
fi
echo "${name} ${action} finish"

启动成功之后就solr 集群就算是部署完成了

添加collection

有两种方式
1.使用rest api命令添加collection

这里使用的configName,就是在上传配置文件到zk的时候指定的configName

http://localhost:8983/solr/admin/collections?action=CREATE&name=collectionName&numShards=2&replicationFactor=2&maxShar dsPerNode=2&createNodeSet=nodelist&collection.configName=configName
其中createNodeSet的意思是,可以使用那些node去创建shard_replication,如果没有指定这个参数,则默认在所有存活的node节点里创建shard_replication

  1. 使用 solr create 命令
    下面这个命令有两个作用
    1、使用-d参数后面的路径的配置文件,创建collection
    2、同时把配置文件上传到zk,使用confName作为配置名称
    /home/zhouyang/solr-6.6.0/bin/solr create -c collectionName -d /opt/core_bingdu_conf -n confName -s 3 -rf 2 -port 8983
create参数
执行create命令
已经上传到zk
创建collection成功

配置完成

总结一下配置solr集群的思路
首先solr是依赖zk来实现配置信息的同步,和存活节点,主从的自动切换

所以要先配置好zk,zk的集群配置还是相对简单的,然后上传一些配置到zk

然后就是需要把solr以集群的模式启动起来,让solr能够从zk读取到上传的配置。

  1. 修改solr.in.sh,添加ZK_HOST参数
  2. 在启动命令中使用 -c -z 参数指定zk服务列表

因为我们创建的solr集群是单机伪集群,需要同时在创建命令中指定solrhome目录。每个solr实例创建的时候需要把自己的地址上报给zk,所以需要在每个节点的solrhome目录中添加solr.xml文件,配置solr实例的地址和端口。如果在命令中也指定了端口,以命令中指定的端口为准。

这样集群就建立起来了,然后我们就可以使用一些http api来实现创建collection等操作了。

Solr中collection shard replication core等概念

一个collection中存放的是一个数据源的所有的索引,一个collection可以被分为多个shard(分片),每个shard中存放不同的数据,一个collection中的shards可以分配到不同的solr实例中。为了保证服务的高可用行,每个shard还会根据配置创建多个replication(复本),以防止某个shard损坏造成的,这个shard数据不可用。多个shard复本之间会选出一个leader,对外提供服务,当leader宕机,会重新推举一个leader。

从图上面我们可以知道,collection是跨实例的,一个collection的索引可以存放在不同的solr实例中。
core是属于某个实例的,这个实例上有多少个collection的shard的副本存在就有多少个core

关系图

关系通 和上面的图片无关。关系图中是有3个solr实例,每个shard有3个副本

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容

  • 两年前用过solr5.1版本的,当时只是简单入个门,拿来在项目里建个全文索引,然后再query,其他什么也没做,还...
    Coselding阅读 3,074评论 3 22
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,585评论 18 139
  • 天蒙蒙亮,一艘小帆船从大海深处缓缓的驶向一个小岛。“今天的成绩不错!足足500斤的青鱼”一个身高有两米开外,满脸海...
    绵小羊君阅读 294评论 0 1
  • 柳月芽,仙欲搭,水袖罗袜舞烟霞,风潋滟,暗香拂面,情不显。 春熙撩,咏叹调,爱与花火绕石桥,雾流岚,辉耀星灿,光不...
    未卜先_e4df阅读 264评论 5 6
  • 朋友叶子告诉我她六岁的时候把活生生的五条金鱼晒成鱼干。 叶子并不是有什么心理阴影的小孩,相反她是那种会为养了几年...
    Ellie鳄梨阅读 583评论 0 1