doris单机安装部署
doris单机安装部署
原文出处
一、下载Doris
环境要求
Linux系统：Centos7.x或Ubantu16.04及以上版本
Java运行环境: JDK8
查看Java版本
java version
在windows上使用IDM下载工具从doris官网上下载最新二进制版本加快下载速度，通过Xftp上传至Linux系统文件目录中
doris下载地址
IBM下载链接
解压、改名为apachedoris2.0.0
tar zxvf apachedoris2.0.0binx64.tar.gz C /data/soft
mv apachedoris2.0.0binx64 apachedoris2.0.0
· 二、FE的配置、启动
配置FE
cd apachedoris2.0.0/fe
sudo vi conf/feonf
priority_networks=192.168.111.0/24
meta_dir=/path/your/dorismeta
注意
参数priority_networks我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 FE 指定唯一的IP地址。
这里假设你的节点 IP 是 172.23.16.32，那么我们可以通过掩码的方式配置为 172.23.16.0/24。
这里meta_dir你可以不配置，默认是在你的Doris FE 安装目录下的 dorismeta，
单独配置元数据目录，需要你提前创建好你指定的目录
启动FE
./bin/start_fe.sh daemon
./bin/stop_fe.sh
通过web浏览器访问bigdata04:8030
注意：
这里我们使用 Doris 内置的默认用户 root 进行登录，密码是空
这是一个 Doris 的管理界面，只能拥有管理权限的用户才能登录，普通用户不能登录。
三、使用Mysql客户端连接FE
mysql uroot P9030 h bigdata04
mysql>
# 进入Mysql命令行后，执行下面命令查看FE运行状态
mysql>show frontends\G;
这三项为True说明节点正常
注意：
这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看 权限管理
P ：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是feonf里的 query_port
h ： 这里是我们连接的 FE IP地址，如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1。
四、BE的配置、启动
配置BE
cd apachedoris2.0.0/be
vi conf/beonf
priority_networks=192.168.111.0/24
#配置BE数据存储目录
storage_root_path=/path/your/data_dir
# 由于从 1.2 版本开始支持 Java UDF 函数，BE 依赖于 Java 环境。所以要预先配置 `JAVA_HE` 环境变量
JAVA_HE=/opt/jdk1.8.0_341
注意：
参数priority_networks我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 BE 指定唯一的IP地址
storage_root_path默认目录在 BE安装目录的 storage 目录下。
BE 配置的存储目录必须先创建好
安装 Java UDF 函数:
安装Java UDF 函数因为从1.2 版本开始支持Java UDF 函数，需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下，否则可能会启动失败。
启动BE
./bin/start_be.sh daemon
./bin/stop_be.sh
注意：
这里我遇到了两个bug，导致BE无法启动
1.Please set the maximum number of open file descriptors to be 65536 using 'ulimit n 65536'.
- "Message": "[MEM_LIMIT_EXCEEDED]Allocator sys memory check failed: Cannot alloc:65536, consuming tracker:<Load#Id=cd42d433195859602fc7909f71b386>, exec node:<>, process memory used 103.36 MB exceed limit 1.42 GB or sys mem available 36.54 MB less than low water mark 181.91 MB.",
3.Please set vm.max_map_count to be 2000000 under root using 'sysctl w vm.max_map_count=2000000'.
bug解决方法
# 1.修改文件句柄数
# 查看当前大小
ulimit a
# 临时修改
ulimit n 65536
# 永久修改
vi /etc/security/limitsonf
* soft nofile 65536
* hard nofile 65536
# 2.修改max user processed进程数
# 临时修改
ulimit u 65536
# 永久修改
vi /etc/security/limitsonf
* soft nproc 65536
* hard nproc 65536
# 3.调整vm.max_map_count的大小
max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量
# 查看当前值
sysctl a | grep vm.max_map_count
#临时修改
sysctl w vm.max_map_count=2000000
# 永久修改
vi /etc/sysctlonf
vm.max_map_count=2000000
sysctl p
五、添加BE节点到集群
mysql>ALTER SYSTEM ADD BACKEND "bigdata04:9030";
be_host_ip：这里是你 BE 的 IP 地址，和你在 beonf 里的 priority_networks 匹配
heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 beonf 里的 heartbeat_service_port 匹配，默认是 9050。
六、查看BE运行状态
mysql>SHOW BACKENDS\G；
Alive为true表示节点正常
七、创建数据表并上传数据
# 1.创建一个数据库
mysql>create database demo;
# 2.创建数据表；
mysql>use demo;
# 3.创建表
mysql>CREATE TABLE IF NOT EXISTS demo.example_tbl
(
`user_id` LARGEINT NOT NULL CMENT "用户id",
`date` DATE NOT NULL CMENT "数据灌入日期时间",
`city` VARCHAR(20) CMENT "用户所在城市",
`age` SMALLINT CMENT "用户年龄",
`sex` TINYINT CMENT "用户性别",
`last_visit_date` DATETIME REPLACE DEFAULT "19700101 00:00:00" CMENT "用户最后一次访问时间",
`cost` BIGINT SUM DEFAULT "0" CMENT "用户总消费",
`max_dwell_time` INT MAX DEFAULT "0" CMENT "用户最大停留时间",
`min_dwell_time` INT MIN DEFAULT "99999" CMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
# 4.生成示例数据
# sudo vi testsv 后将以下数据粘贴进去保存退出
10000,20171001,北京,20,0,20171001 06:00:00,20,10,10
10000,20171001,北京,20,0,20171001 07:00:00,15,2,2
10001,20171001,北京,30,1,20171001 17:05:45,2,22,22
10002,20171002,上海,20,1,20171002 12:59:12,200,5,5
10003,20171002,广州,32,0,20171002 11:20:00,30,11,11
10004,20171001,深圳,35,0,20171001 10:00:15,100,3,3
10004,20171003,深圳,35,0,20171003 10:20:22,11,6,6
# 5.导入数据
## T testsv : 这里使我们刚才保存的数据文件，如果路径不一样，请指定完整路径
## u root : 这里是用户名密码，我们使用默认用户root，密码是空
## 127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port
curl locationtrusted u root: T testsv H "column_separator:," 127.0.0.1:8030/api/demo/example_tbl/_stream_load
八、查询数据
mysql> select * fr example_tbl;
++++++++++
| user_id | date | city | age | sex | last_visit_date | cost | max_dwell_time | min_dwell_time |
++++++++++
| 10000 | 20171001 | 北京 | 20 | 0 | 20171001 07:00:00 | 35 | 10 | 2 |
| 10001 | 20171001 | 北京 | 30 | 1 | 20171001 17:05:45 | 2 | 22 | 22 |
| 10002 | 20171002 | 上海 | 20 | 1 | 20171002 12:59:12 | 200 | 5 | 5 |
| 10003 | 20171002 | 广州 | 32 | 0 | 20171002 11:20:00 | 30 | 11 | 11 |
| 10004 | 20171001 | 深圳 | 35 | 0 | 20171001 10:00:15 | 100 | 3 | 3 |
| 10004 | 20171003 | 深圳 | 35 | 0 | 20171003 10:20:22 | 11 | 6 | 6 |
++++++++++
6 rows in set (0.07 sec)
mysql> select * fr example_tbl where city='上海';
++++++++++
| user_id | date | city | age | sex | last_visit_date | cost | max_dwell_time | min_dwell_time |
++++++++++
| 10002 | 20171002 | 上海 | 20 | 1 | 20171002 12:59:12 | 200 | 5 | 5 |
++++++++++
1 row in set (0.05 sec)
mysql> select city, sum(cost) as total_cost fr example_tbl group by city;
+++
| city | total_cost |
+++
| 北京 | 37 |
| 上海 | 200 |
| 广州 | 30 |
| 深圳 | 111 |
+++
4 rows in set (0.05 sec)```
上一篇：【模板】Tarjan求强连通分量
下一篇：【模板】二分图匹配
Doris