企业级自动化运维工具应用实战-ansible

自动化安装流程：

选硬件---系统安装----系统的初始化----服务的安装和配置----机器的管理（日志的收集，软件包的上下线，服务的管理等等）

自动化运维的精髓所在

所谓的运维自动化实际上就是某些运维过程的自动化，比如初始化自动化、测试/部署自动化，加监控自动化，简单报警处理自动化，业务降级/恢复自动化....集腋成裘，慢慢的让系统可以承担更多的重复劳动，减少人力投入和学习成本。

自动化运维常用工具

介绍下puppet

Puppet：更多的体现在配置文件的管理上，实现定期server会和master进行通信，通信过后master会把各种配置定期推送到agent的节点上。
比如，如果要修改nginx配置文件，只要在master上修改，然后master会把配置文件推送到agent端，适用于大型环境

企业级自动化运维工具应用实战-ansible

使用场景：
公司计划在年底做一次大型市场促销活动，全面冲刺下交易额，为明年的上市做准备。公司要求各业务组对年底大促做准备，运维部要求所有业务容量进行三倍的扩容，并搭建出多套环境可以共开发和测试人员做测试，运维老大为了在年底有所表现，要求运维部门同学尽快实现，当你接到这个任务时，有没有更快的解决方式？
（要在短时间内快速的扩充业务容量的最快方法就是横向扩展scale out，那么数量很多的机器，如何快速布置呢，一台一台布置效率就太低了，这时候就可以使用运维自动化工具ansible等等，只要管理一台，其他标准化的机器就都OK了）

目前多数公司遇到的运维问题现状：

1、硬件选型多样化
2、系统多版本并存
3、目录结构混乱
4、运维人员水平参差不齐
5、历史遗留问题多
6、同一软件出现多个版本
7、无法批量化操作
8、工作效率低，故障率高
9、项目上线操作繁琐

日常运维工作中的重要事件：

1、添加监控，收集系统指标
2、对日志进行归档以及管理
3、数据备份于恢复
4、对计划任务进行管理
5、对软件包进行部署和管理
6、对脚本进行批量执行
7、对文件进行批量复制和移动
8、设置文件或者目录对应的权限
9、关闭和启动服务
10、对代码程序进行上下线

ansible是什么

ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。

ansible是基于 paramiko 开发的,并且基于模块化工作，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。ansible不需要在远程主机上安装client/agents，因为它们是基于ssh来和远程主机通讯的。ansible目前已经已经被红帽官方收购，是
自动化运维工具中大家认可度最高的，并且上手容易，学习简单。是每位运维工程师必须掌握的技能之一。

ansible特点

1、部署简单，只需在主控端部署Ansible环境，被控端无需做任何操作；
2、默认使用SSH协议对设备进行管理；
3、有大量常规运维操作模块，可实现日常绝大部分操作。
4、配置简单、功能强大、扩展性强；
5、支持API及自定义模块，可通过Python轻松扩展；
6、通过Playbooks来定制强大的配置、状态管理；
7、轻量级，无需在客户端安装agent，更新时，只需在操作机上进行一次更新即可；
8、提供一个功能强大、操作性强的Web管理界面和REST API接口 ——AWX平台。（目前这个应该是付费项目）

ansible架构图

Ansible：Ansible核心程序。
HostInventory：记录由Ansible管理的主机信息，包括端口、密码、ip等。
（一般端口都是默认端口不用指定也行，基于ssh私钥登录的话密码也不用了，就指定个ip地址或者主机名就成，主机名要能被解析）
Playbooks：“剧本”YAML格式文件，多个任务定义在一个文件中，定义主机需要调用哪些模块来完成的功能。
（类似于shell脚本，多条ansible命令的集合，十分注意格式。）
CoreModules：核心模块，主要操作是通过调用核心模块来完成管理任务。
（现在已经内嵌了巨多模块，已经可以满足我们日常运维的工作了，有特别需要了再自己定义模块）
CustomModules：自定义模块，完成核心模块无法完成的功能，支持多种语言。
ConnectionPlugins：连接插件，Ansible和Host通信使用

ansible任务执行模式

Ansible系统由控制主机对被管节点的操作方式可分为两类，即ad- hoc和playbook：

·ad-hoc模式使用单个模块，支持批量执行单条命令。 ad****-hoc 命令是一种可以快速输入的命令，而且不需要保存起来的命令。就相当于bash中的一句话shell。

·playbook模式是Ansible主要管理方式，也是Ansible功能强大的关键所在。playbook通过多个task集合完成一类功能，如Web服务的安装部署、数据库服务器的批量备份等。可以简单地把playbook理解为通过组合多条ad-hoc操作作的配置文件。

Ansible命令执行过程

1、加载自己的配置文件 默认/etc/ansible/ansible.cfg
2、查找对应的主机配置文件，找到要执行的主机或者组
3、加载自己对应的模块文件，如command
4、通过ansible将模块或命令生成对应的临时py文件，并将该文件传输至远程服务器的对应的目录下
5、对应执行用户的家目录下的.ansible/tmp/XXX/XXX.PY文件
6、给文件+x执行
7、执行并返回结果
8、删除临时py文件，sleep 0退出

ansible安装方式

ansible安装常用两种方式，yum安装和pip程序安装
这里提供二种安装方式,任选一种即可
1使用yum安装
yum install epel-release -y
yum install ansible –y
2 使用pip（python的包管理模块）安装
（与perl的cpanm模式安装类似）
pip install ansible
如果没pip,需先安装pip.yum可直接安装：
yum install python-pip
pip install ansible

ansible程序结构

安装目录
配置文件目录：/etc/ansible/
执行文件目录：/usr/bin/
Lib库依赖目录：/usr/lib/pythonX.X/site-packages/ansible/
Help文档目录：/usr/share/doc/ansible-X.X.X/
Man文档目录：/usr/share/man/man1/

ansible配置文件的查找顺序

(1).检查环境变量ANSIBLE_CONFIG指向的路径文件(export
ANSIBLE_CONFIG=/etc/ansible.cfg)
(2).~/.ansible.cfg,检查当前目录下的ansible.cfg配置文件
(3)./etc/ansible.cfg 检查etc目录的配置文件
先找到哪个，哪个生效。

Ansible配置文件

设置ansible.cfg配置参数，ansible有许多参数，下面列出常用的参数：

inventory： #这个参数表示资源清单inventory文件的位置，资源清单就是
一些Ansible需要连接管理的主 机列表。这个参数的配置实例如下：
inventory = /etc/ansible/hosts      放可管理链接主机的地方
library：Ansible的操作动作，无论是本地或远程，都使用一小段代码来执行，这小段代码称为模块，这个library参数就是指向存放Ansible模块的目录。配置实例如下：
library = /usr/share/ansible            放ansible平时用的模块的地方（自定义模块）
Ansible支持多个目录方式，只要用冒号（：）隔开就可以，同时也会检查当前执行playbook位置下的./library目录。
forks： 设置默认情况下Ansible最多能有多少个进程同时工作， 从Ansible 1.3开始,
fork数量默认自动设置为主机数量或者潜在的主机数量,默认设置最多5个进程并行处理。
具体需要设置多少个，可以根据控制主机的性能和被管节点的数量来确定，可能是 50或100。默认值5是非常保守的值，
配置实例如下：
forks = 5         ansible能一下管理链接多少台机器，默认5台偏保守
sudo_user：
这是设置默认执行命令的用户，也可以在playbook中重新设置这个参数。配置实例如下：
sudo_user = root
remote_port：
这是指定连接被管节点的管理端口，默认是22。除非设置了特殊的SSH端口，不然这个参数一般是 不需要修改的。

配置实例如下：
remote_port = 22
host_key_checking：
    这是设置是否检查SSH主机的密钥。可以设置为True或False，关闭后第一次连接没有提示配置实例
host_key_checking = False
timeout：
这是设置SSH连接的超时间隔，单位是秒。配置实例如下：
timeout = 60
log_path：Ansible系统默认是不记录日志的，如果想把Ansible系统的输出记录到日志文件中，需要设置log_path
来指定一个存储Ansible日志的文件。配置实例如下：
    log_path = /var/log/ansible.log   建议打开日志
另外需要注意，执行Ansible的用户需要有写入日志的权限，模块将会调用被管节点的syslog来记录

Ansible主机清单

可以直接定义一个主机信息，也可以把多个主机放到一个机器组中，起个组名。格式如下（主机匹配还支持统配符来匹配）
1、直接指明主机地址或主机名：

## green.example.com#
# blue.example.com#
# 192.168.100.1
# 192.168.100.10

2、定义一个主机组[组名]把地址或主机名加进去

[mysql_test]
192.168.253.159
192.168.253.160
192.168.253.153
#组成员可以使用通配符来匹配，如下 192.168.2.[1:6]
#表示匹配从192.168.2.1——192.168.2.6的主机

Ansible常用命令

/usr/bin/ansible     # Ansibe AD-Hoc 临时命令执行工具，常用于临时命令的执行
/usr/bin/ansible-doc     # Ansible 模块功能查看工具
/usr/bin/ansible-galaxy  # 下载/上传优秀代码或Roles模块 的官网平台，基于网络的
/usr/bin/ansible-playbook   # Ansible 定制自动化的任务集编排工具
/usr/bin/ansible-pull   # Ansible远程执行命令的工具，拉取配置而非推送配置（使用较少，海量机器时使用，对运维的架构能力要求较高）
/usr/bin/ansible-vault  # Ansible 文件加密工具
/usr/bin/ansible-console    # Ansible基于Linux Consoble界面可与用户交互的命令执行工具

Ansible-doc命令

一般用法:

ansible-doc -l 获取模块信息
ansible-doc -s MOD_NAME 获取指定模块的使用帮助

ansible-doc
-h Usage: ansible-doc [options] [module...]
Options: 
-h, --help show this help message and exit # 显示命令参数API文档
-l, --list List available modules #列出可用的模块
-M MODULE_PATH, --module-path=MODULE_PATH #指定模块的路径
specify path(s) to module library (default=None) 
-s, --snippet Show playbook snippet for specified module(s) #显示playbook制定模块的用法
--version show program's version number and exit # 显示ansible-doc的版本号查看模块列表：
ion
# ansible-doc -l

Ansible命令详解
命令格式：
ansible <host-pattern> [-f forks] [-m module_name] [-a args]
我们可以通过 ansible -h查看帮助
Usage: ansible <host-pattern> [options] Options: 

Ansible配置公私钥

配置ansible使用公钥验证
虽然ansible支持其他主机认证方式，但是我们最常用的的还是基于秘
钥的认证：
1、首先生成秘钥
ssh-keygen -t rsa -P ‘’
2、然后向主机分发秘钥：
ssh-copy-id root@ #@后面跟主机名或者IP地址
3、如果出现以下情况：

# ssh-copy-id -i ~/.ssh/id_rsa.pub 10.1.6.72
-bash: ssh-copy-id: command not found
请尝试：
yum -y install openssh-clientsansible

ansible常用模块：

ping模块：用于测试主机能否连通
commond模块：用于在主机上执行单条命令
shell模块：可在管理主机上执行一些复杂命令
copy模块：大多用于推送配置文件
yum模块：批量化安装服务包
setup模块：获取管理的主机的配置信息
fetch模块：从管理主机上拉取文件
user模块：批量创建用户
group模块：批量创建组
file模块：创建软链接目录什么的
script模块：在管理机上运行脚本，在被管理机上执行
service服务模块：服务的启动和重载等等
cron计划任务模块：添加计划任务

Ansible playbook简介

playbook是ansible用于配置，部署，和管理被控节点的剧本。
通过playbook的详细描述，执行其中的一系列tasks，可以让远端主机达到预期的状态。playbook就像Ansible控制器给被控节点列出的的一系列to-do-list，而被控节点必须要完成。也可以这么理解，playbook 字面意思，即剧本，现实中由演员按照剧本表演，在Ansible中，这次由计算机进行表演，由计算机安装，部署应用，提供对外服务，以及组织计算机处理各种各样的事情

简单的说，就是可以把多条点对点的单条命令集合到一起来实现一整套的操作，比如安装一个服务，推送配置文件到指定目录，再启动服务三个步骤。其中可以调用notify通知机制和tags标签机制，这样就使剧本playbook更加灵活了。

Ansible playbook使用场景

执行一些简单的任务，使用ad-hoc命令可以方便的解决问题，但是有时一个设施过于复杂，需要大量的操作时候，执行的ad-hoc命令是不适合的，这时最好使用playbook。

就像执行shell命令与写shell脚本一样，也可以理解为批处理任务，不过playbook有自己的语法格式。

使用playbook你可以方便的重用这些代码，可以移植到不同的机器上面，像函数一样，最大化的利用代码。在你使用Ansible的过程中，你也会发现，你所处理的大部分操作都是编写playbook。可以把常见的应用都编写成playbook，之后管理服务器会变得十分简单。

Ansible playbook格式

playbook由YMAL语言编写。YAML( /ˈjæməl/ )参考了其他多种语言，包括：XML、C语言、Python、Perl以及电子邮件格式RFC2822，Clark Evans在2001年5月在首次发表了这种语言，另外Ingy döt Net与Oren
Ben-Kiki也是这语言的共同设计者。YMAL格式是类似于JSON的文件格式，便于人理解和阅读，同时便于书写。首先学习了解一下YMAL的格式，对我们后面书写playbook很有帮助。以下为playbook常用到的YMAL格式。

文件的第一行应该以 ”-” (三个连字符)开始，表明YMAL文件的开始。
在同一行中，#之后的内容表示注释，类似于shell，python和ruby。
YMAL中的列表元素以”-”开头然后紧跟着一个空格，后面为元素内容。就像这样

• apple
• banana
• orange
  等价于JSON的这种格式 [ “apple”, “banana”, “orange” ]
  同一个列表中的元素应该保持相同的缩进。否则会被当做错误处理。
  play中hosts，variables，roles，tasks等对象的表示方法都是键值中间以”:”分隔表示,”:”后面还要增加一个空格。
  house:
  family: { name: Doe, parents: [John, Jane], children: [Paul, Mark, Simone] }
  address: { number: 34, street: Main Street, city: Nowheretown, zipcode: 12345 }

在mysql.yml中，主要由三个部分组成。
hosts部分：使用hosts指示使用哪个主机或主机组来运行下面的tasks，每个playbook都必须指定hosts，hosts也可以使用通配符格式。主机或主机组在inventory清单中指定，可以使用系统默认的/etc/ansible/hosts，也可以自己编辑，在运行的时候加上-i选项，指定清单的位置即可。在运行清单文件的时候，–list-hosts选项会显示那些主机将会参与执行task的过程中。
remote_user：指定远端主机中的哪个用户来登录远端系统，在远端系统执行task的用户，可以任意指定，也可以使用sudo，但是用户必须要有执行相应task的权限。
tasks：指定远端主机将要执行的一系列动作。tasks的核心为ansible的模块，前面已经提到模块的用法。tasks包含name和要执行的模块，name是可选的，只是为了便于用户阅读，不过还是建议加上去，模块是必
须的，同时也要给予模块相应的参数。

Playbook的核心元素

Hosts：主机
Tasks：任务列表
Variables 设置方式有4种
Templates：包含了模板语法的文本文件；
Handlers：由特定条件触发的任务；

Playbooks配置文件的基础组件：
Hosts：运行指定任务的目标主机；
remoute_user: 在远程主机上执行任务的用户；
sudo_user：
tasks：任务列表
模块，模块参数；
格式：
(1) action: module arguments
(2) module: arguments
注意：shell和command模块后面直接跟命令，而非key=value类的参数列表；
(1) 某任务的状态在运行后为changed时，可通过“notify”通知给相应的handlers；
(2) 任务可以通过“tags“打标签，而后可在ansible-playbook命令上使用-t指定进行调用；

Playbook完整配置文件

ansible高级用法--角色定制：roles

对于以上所有的方式有个弊端就是无法实现复用假设在同时部署Web、db、ha 时或不同服务器组合不同的应用就需要写多个yml文件。很难实现灵活的调用。roles 用于层次性、结构化地组织playbook。roles 能够根据层次型结构自动装载变量文件、tasks以及handlers等。要使用
roles只需要在playbook中使用include指令即可。简单来讲，roles就是通过分别将变量(vars)、文件(file)、任务(tasks)、模块(modules)及处理器(handlers)放置于单独的目录中，并可以便捷地include它们的一种机制。角色一般用于基于主机构建服务的场景中，但也可以是用于构建守护进程等场景中。
（大致就是把playbook中的各个配置段分开了存放到/etc/roles下对应的目录下，这样在playbook的配置文件中只要调用角色roles就行了，在一个playbook的配置文件中，可以调用多个roles角色，这样就更加方便灵活了。）

roles目录结构

files/：存储由copy或script等模块调用的文件；

tasks/：此目录中至少应该有一个名为main.yml的文件，用于定义task；
其它的文件需要由main.yml进行“包含”调用；

handlers/：此目录中至少应该有一个名为main.yml的文件，用于定义各handler；其它的文件需要由main.yml进行“包含”调用；

vars/：此目录中至少应该有一个名为main.yml的文件，用于定义各variable；其它的文件需要由main.yml进行“包含”调用；

templates/：存储由template模块调用的模板文本；

meta/：此目录中至少应该有一个名为main.yml的文件，定义当前角色的特殊设定及其依赖关系；其它的文件需要由main.yml进行“包含”调用；

default/：此目录中至少应该有一个名为main.yml的文件，用于设定默认变量；

具体过程：

1、在roles目录下生成对应的目录结构
mkdir -pv ./{nginx,mysql,httpd}/{files,templates,vars,tasks,handlers,meta,default}

2、定义/tasks/main.yml的配置文件
- name: cp
copy: src=nginx-1.10.2-1.el7.ngx.x86_64.rpm dest=/tmp/nginx-1.10.2- 1.el7.ngx.x86_64.rpm
- name: install
yum: name=/tmp/nginx-1.10.2-1.el7.ngx.x86_64.rpm state=latest - name: conf
template: src=nginx.conf.j2 dest=/etc/nginx/nginx.conf
tags: nginxconf
notify: new conf to reload
-name: start service
service: name=nginx state=started enabled=true
（把要推送的包放到files目录下，模板文件放到template目录下）

3、修改边变量文件
vars/main.yml 添加变量nginx_port: “8888”

4、定义handlers文件
handlers/main.yml - name: new conf to reload
service: name=nginx state=restarted

5、定义/etc/ansible/nginx.yml的playbook文件
- hosts: nginx
remote_user: root
roles: - nginx

6、可以通过roles传递变量
- hosts: nginx
remote_user: root
roles: - { role: nginx, nginxport: 12345 }

7、也可以配置多个角色
roles: 
# - { role: nginx, nginxport: 12345 } 
- { role: memcached