大数据-ClickHouse技术一(安装部署)
零、大数据-ClickHouse做为列式数据库,是2016年由俄罗斯人开源,独立于Hoodop生态
研究一番使用如下
一、安装
官网安装 | ClickHouse Docs
可以安装到linux服务器,与通过docker安装,方便简单。按照官方文档即可
后续文章使用的是docker方式
二、docker安装文档-服务端
Docker Hub
初始化docker文件见百度网盘:
链接:https://pan.baidu.com/s/12OiRnQhAQiRfb2hnIFXw2A
提取码:netx
文件介绍:docker文件-
ch_data初始化数据文件
ch_initdb数据库初始脚本,用于存放sql、sh脚本。在初始数据化前置同步,比如可以初始化一些数据,或者建基础表、基础库等等
ch_logs用于同步数据库的日志
通过使用docker执行启动命令:
docker run -d -p 18123:8123 -p 19000:9000 -v "$(pwd)/ch_data:/var/lib/clickhouse/" -v "$(pwd)/ch_logs:/var/log/clickhouse-server/" -v "$(pwd)/ch_initdb:/docker-entrypoint-initdb.d/" --name some-clickhouse-server --ulimit nofile=262144:262144 clickhouse/clickhouse-server
三、连接数据库-客户端
可以通过docke自带client服务来启动客户端,也可以通过常用的数据库连接工具
比如Dbeaver-也可以无缝连接ClickHouse数据库
四、初始化数据
docker环境可以初始化一批数据 1000W+ 或者几十亿数据,只需要在docker文件中加入数据文件即可。参考官方文档:示例数据集 | ClickHouse Docs
docker文件配置在:
ch_initdb文件夹中的 data.sh 来初始化库、表、数据 将附带数据文件下载放到同级文件夹中,同步数据库实例的时候将数据加载进去即可
五、数据库查询
支持常用的Mysql语法
比如:SLEECT、 CREATE、ALTER、
尤其对于GROUP BY、SUM、分组计算尤为擅长