背景:
A部门想将mysql中多张表join成一个sql查询语句,然后将结果同步到es中供搜索使用
环境信息:
源端mysql在阿里云上,有公网ip
目标端es在华为云上,三节点
操作步骤与目的:
配置MySQL供canal访问
1.由于阿里云的rds一般都配置了白名单,因此需要将后续canal所在的ecs的公网ip填入rds的白名单之中
注意外网对应阿里云的经典网络.在专有网络中设置并没有效果
2.确认已开启binlog并是row格式,一般不需要再做修改
安装canal-server端,用于获取mysql的binlog日志
1.在华为云上开通一台ecs,注意要与阿里云的公网ip相通,且与华为云es相通
2.ecs开启后,进行canal-server的安装.其原理是模拟成为mysql的slave备机,从而拿到binlog日志,可供后续使用
2.1.先安装java环境
yum install java-1.8.0-openjdk
2.2.安装canal-server,建议使用官方镜像,这里使用的是1,1.5版本,注意并不是最新版本
docker pull canal/canal-server:v1.1.5
docker run --name canal115 -p 11111:11111 --link mysql5736:mysql5736 -id canal/canal-server:v1.1.5
如果docker服务异常,则建议初始化docker服务
/bin/systemctl start docker.service
systemctl status docker.service
cp /lib/systemd/system/docker.service /etc/systemd/system/docker.service
systemctl daemon-reload
systemctl start docker
如果docker拉取速度感人,可以修改其配置源
1 mkdir -p /etc/docker
2 vi /etc/docker/daemon.json
3 {
4 "registry-mirrors": ["https://yxzrazem.mirror.aliyuncs.com"]
5 }
6 sudo systemctl daemon-reload
7 sudo systemctl restart docker
2.3.进入docker并配置canal-server
1 docker exec -it canal115 /bin/bash
2 cd canal-server/conf/example/
3 vi instance.properties // 修改涉及到的配置 xx调整为对应数据
4
5 # 修改成mysql对应的账号密码，需要保证网络连通，账号密码正确
6 canal.instance.master.address=10.208.xx.xx:3306
7 canal.instance.dbUsername=xx
8 canal.instance.dbPassword=xx
9 # 需要同步的表名称,一般是schema名.*
10 canal.instance.filter.regex=xx.*
11 # 不需要同步的表名称,不需改动
12 canal.instance.filter.black.regex=mysql\\.slave_.*
2.4 开启canal-server服务
1 docker restart canal115
2
3 docker exec -it canal115 /bin/bash
4 tail -100f /home/admin/canal-server/logs/example/example.log // 查看日志
出现the next step is binlog dump说明配置正常.
安装canal-adapter,用于数据同步到es
1.下载canal-adapter
wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.adapter-1.1.5.tar.gz
2.解压安装
mkdir adapter-1.1.5
mv canal.adapter-1.1.5.tar.gz adapter-1.1.5
cd adapter-1.1.5
tar zxvf canal.adapter-1.1.5.tar.gz
3.配置application.yml 用于保存源端与目标端基本信息
adapter-1.1.5/conf/application.yml // 修改涉及到的配置 xx调整为对应数据
# canal tcp consumer 这里配置canal-server所在的docker的ip
canal.tcp.server.host: 172.30.x.x:11111
#配置源端信息
srcDataSources:
defaultDS:
url: jdbc:mysql://10.208.xx.xx:3306/xx?useUnicode=true
username: xx
password: xx
#配置目标端信息
canalAdapters:
- instance: example #无需改动
groups:
- groupId: g1 #无需改动
outerAdapters:
- name: logger
- name: es7 #按目标端es版本设置,有es6和es7
hosts: http://10.208.128.3:9200 #源端的内网访问地址,任一即可
properties:
mode: rest #无需改动
cluster.name: xx #集群名称
security.auth: xx:xx #集群用户名密码
4.设置yml文件,用于保存需要同步的sql语句,注意sql语句有限制
详见:https://github.com/alibaba/canal/wiki/Sync-ES
觉得太长的话,概括如下:
1.只能用左连接left join
2.总表数不能超过3个,也就是可以left join 2张表
3.on条件的字段,必须至少有一个出现在select语句中
如果是全量.则可以在源端生成视图进行同步
但是增量不支持视图,因为关联不上.只能用left join语句
vi /soft/adapter-1.1.5/conf/es7/xx.yml
dataSourceKey: defaultDS
destination: example
groupId: g1
esMapping:
_index: index_xx #对应es的索引名称
_id: _id
sql: "select _id,col2,col3 from xx" #sql语句
commitBatch: 3000
5.在es生成好索引
#删除索引
delete /index_xx
#建索引语句,对col3进行分词处理
PUT /index_xx
{
"settings": {
"analysis": {
"filter": {
"my_synonym": {
"type": "dynamic_synonym"
}
},
"analyzer": {
"ik_synonym": {
"filter": [
"my_synonym"
],
"type": "custom",
"tokenizer": "ik_smart"
}
}
}
},
"mappings" : {
"properties" : {
"col2" : {
"type" : "text"
},
"col3" : {
"type": "text",
"analyzer": "ik_smart",
"search_analyzer": "ik_synonym"
}
}
}
}
}
6.启动服务开始同步
启动adapter
/soft/adapter-1.1.5/bin/startup.sh
查看日志
tail -100f /soft/adapter-1.1.5/logs/adapter/adapter.log
停止进程
/soft/adapter-1.1.5/bin/stop.sh
查看adapter配置情况
more /soft/adapter-1.1.5/conf/application.yml
查看同步表(视图)配置情况
more /soft/adapter-1.1.5/conf/es7/xx.yml
全量同步
curl http://10.208.128.229:8081/etl/es7/xx.yml -X POST
会遇到的一些报错
1.日志提示
java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource
替换jar包
下载v1.1.5-alpha-2 版本下的client-adapter.es7x-1.1.5-SNAPSHOT-jar-with-dependencies.jar 替换原client-adapter.es7x-1.1.5-jar-with-dependencies.jar