购买国外vps
由于kolla中的image太庞大了，超过10G。而且存放镜像的国外服务器会被block掉，之前试了使用vps搭建pptp的VPN，但是速度只有小几百k。网络出现波动还会断开连接...
所以建议购买比较高性能的vps，在vps中下载好然后再拉回本地。之前购买了1G内存，20G硬盘的阿里北美vps,可惜由于性能原因，下载过程中导致了vps宕机。我查了半天错，以为是Kolla本身的问题。于是我购买了digitalocean的vps，选择2G内存，40G硬盘。可以按小时计费，这点比较好。
vps的带宽和CPU使用情况
build image
Kolla 依赖于以下几个主要组件
- Ansible > 1.9.4, < 2.0
- Docker > 1.10.0
- docker-py > 1.7.0
- python jinja2 > 2.6.0
几点说明：
- 机器使用的是vmware虚拟机进行的测试。配置上使用 16G RAM, 4 CPU, 2 网卡的配置
- 由于使用了 Docker，所以对于底层系统并还没什么要求，本文使用 CentOS 7 系统。
- Kolla master 分支上使用的是 RDO master 上的源，打包极不稳定，时常会有 Bug 出现。所以本文使用的是 CentOS + 源码的安装方式
加入 Docker 的源
|
1 2 3 4 5 6 7 8 |
sudo tee /etc/yum.repos.d/docker.repo << 'EOF' [dockerrepo] name=Docker Repository baseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/ enabled=1 gpgcheck=1 gpgkey=https://yum.dockerproject.org/gpg EOF |
加入 EPEL 源
|
1 |
yum install -y epel-release |
安装 Kolla 所需依赖
|
1 2 |
yum install -y ansible docker-engine git gcc python-setuptools easy_install -U pip |
Docker 现在使用了 shared mount 功能，默认没有打开，需要手动修改 Docker 启动文件 /usr/lib/systemd/system/docker.service 的 MountFlags
|
1 |
sed -i 's/MountFlags.*/MountFlags=shared/' /usr/lib/systemd/system/docker.service |
启动 Docker 服务
|
1 2 3 |
systemctl daemon-reload systemctl enable docker systemctl start docker |
下载 Kolla 代码并安装依赖
|
1 2 3 4 |
git clone https://github.com/openstack/kolla.git cd kolla yum install python-devel pip install -r requirements.txt -r test-requirements.txt tox |
Build Docker Image
以下如果没有特别说明，所有的操作都是在 Kolla 项目的目录里进行
首先要先生成并修改配置文件
|
1 2 |
tox -e genconfig cp -rv etc/kolla /etc/ |
然后修改 /etc/kolla/kolla-build.conf 文件，它是用来控制 kolla build 过程的。修改后，其主要内容如下 :
|
1 2 3 4 5 |
[DEFAULT] base = centos install_type = source namespace = lokolla push = false |
目前使用mitaka 分支，master分支不稳定
|
1 |
git checkout origin/stable/mitaka |
接下来就是进行漫长的 build, 这个过程主要依赖机器性能和网速。如果快的话，20 多分钟就完成。如果有问题的话，会很久。不过依赖于 Docker Build 的 Cache 功能，就算重跑的话，之前已经 Build 好的也会很快完成。
|
1 |
./tool/build.py -p default |
参数中的 -p default 是指定了只 build 主要的 image, 包括 : mariadb, rabbitmq, cinder, ceilometer, glance, heat, horizon, keystone, neutron, nova, swift 等 . 这些可以只生成的 kolla-build.conf 里找到。
所有image全部下载完成之后，如图：
docker save image
由于Kolla的image数量太多，一个个保存太耗费时间，于是就写了个shell脚本
|
1 2 3 4 5 6 7 8 9 10 |
>docker images > /root/kolla/images.txt awk '{print $1}' /root/kolla/images.txt > /root/kolla/images_cut.txt while read LINE do #echo $LINE docker save $LINE > /home/$LINE.tar echo ok done < /root/kolla/images_cut.txt echo finish |
使用rsync拷贝到本地
|
1 2 |
CentOS/Fedora/RHEL: yum install rsync vi /etc/rsyncd.conf |
拷贝如下条目，path自己改
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
motd file = /etc/rsyncd.motd log file = /var/log/rsyncd.log pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock [kolla] path = /home/lokolla comment = My Very Own Rsync Server uid = nobody gid = nobody read only = no list = yes auth users = bnc secrets file = /etc/rsyncd.scrt |
编辑下面文件
|
1 |
vi /etc/rsyncd.secrets |
输入密码
|
1 |
bnc:bnc |
/etc/rsyncd.secrets 文件权限必须是600，创建好该文件后可以执行： chmod 600 /etc/rsyncd.secrets
如果开启了iptables防火墙，请将873端口加入防火墙允许规则
|
1 2 |
iptables -I INPUT -p tcp --dport 873 -j ACCEPT iptables -I OUTPUT -p tcp --sport 873 -j ACCEPT |
遇到报错
|
1 2 3 4 |
rsync error: error starting client-server protocol (code 5) at main.c(1516) [Receiver=3.0.9] 原因及解决办法： SELinux；（下面这条命令在服务器端执行） setsebool -P rsync_disable_trans on |
最后拷贝image到本地成功，速度也OK
|
1 |
rsync -vzrtopg --progress -e ssh --delete root@45.55.240.159:/home/lokolla /home |
docker load image
docker的镜像被拷贝回本地了。接下去就是把image load回来
同样，也写了shell脚本
|
1 2 3 4 5 6 7 8 9 10 |
#!/bin/sh #============ get the file name =========== Folder_A="/home/lokolla" for file_a in ${Folder_A}/*; do temp_file=`basename $file_a` # echo $temp_file docker load < /home/lokolla/$temp_file echo ok done echo finish |
然后docker images一下就发现镜像都OK了。
run container
globals.yml
依然是先修改配置文件，与 Deploy 相关的主要是两个配置文件 /etc/kolla/passwords.yml 和 /etc/kolla/globals.yml。他们为 ansible 提供一些变量的设定。主要需要修改的是 globals.yml 文件。修改后，其主要内容为 :
|
1 2 3 4 5 6 7 8 9 |
config_strategy: "COPY_ALWAYS" kolla_base_distro: "centos" kolla_install_type: "source" kolla_internal_address: "10.2.0.254" network_interface: "eth0" neutron_external_interface: "eth1" openstack_logging_debug: "true" enable_cinder: "no" enable_heat: "no" |
passwords.yml
这个密码文件可以使用工具自动生成，也可以手动输入；
但是手动输入需要注意格式，在：后需要空一格再输入；而且ssh_key也比较麻烦；
所以推荐使用工具自动生成 。
但是直接输入：
|
1 |
kolla-genpwd |
会提示找不到此命令。这也是官方文档坑的地方，改为：
|
1 |
./root/kolla/.tox/genconfig/bin/kolla-genpwd |
prechecks
kolla 使用一个名为 kolla-ansible 的封装脚本，可以使用
|
1 |
./tools/kolla-ansible prechecks |
来检查一个机器是否满足安装条件。
precheck在其他地方都没什么问题,在IP上会进行下面两步检查，这个IP需要是node之间同一网段的，并且还需要不能被使用的IP地址。
|
1 2 |
TASK [prechecks : Checking if kolla_internal_vip_address and kolla_external_vip_address are not pingable from any node] TASK [prechecks : Checking if kolla_internal_vip_address is in the same network as network_interface on all nodes] |
Deploy部署
使用
|
1 |
./tools/kolla-ansible deploy |
进行正式安装。
在deploy中，Kolla返回这个log，提示需要在外部的registry。但是all-in-one的安装并不需要registry，这个bother了我很久。
我在社区反馈了个bug
https://bugs.launchpad.net/kolla/+bug/1595128
|
1 |
Unknown error message: Tag 2.0.2 not found in repository docker.io/kollaglue/centos-source-heka |
思路如下：那么我在本地自建一个registry，把下载好的image全部pull到本地的registry。然后把Kolla的外部registry指向我本地的registry
奇怪的是，这个path貌似改不了，比如下载好的image tag是lokolla，这边查找的tag是kollaglue。即使我在/etc/kolla/kolla-build.conf中已经
|
1 2 |
[DEFAULT] namespace = lokolla |
这样编辑了
为了指向我的本地registry，在/etc/kolla/kolla-build.conf添加下面的条目
|
1 2 |
docker_registry: "localhost:4000" openstack_release: "latest" |
搭建本地registry
|
1 |
docker run -d -p 4000:5000 --restart=always --name registry registry:2 |
注意：kolla使用了4000端口
Kolla looks for the Docker registry to use port 4000. (Docker default is port 5000)
docker 暴露registry端口的方式
EXPOSE (incoming ports)
Dockefile在网络方面除了提供一个EXPOSE之外，没有提供其它选项。下面这些参数可以覆盖Dockefile的expose默认值：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
EXPOSE (incoming ports) Dockefile在网络方面除了提供一个EXPOSE之外，没有提供其它选项。下面这些参数可以覆盖Dockefile的expose默认值： --expose=[]: Expose a port or a range of ports from the container without publishing it to your host -P=false : Publish all exposed ports to the host interfaces -p=[] : Publish a container᾿s port to the host (format: ip:hostPort:containerPort | ip::containerPort | hostPort:containerPort | containerPort) (use 'docker port' to see the actual mapping) --link="" : Add link to another container (name:alias) --expose可以让container接受外部传入的数据。container内监听的port不需要和外部host的port相同。比如说在container内部，一个HTTP服务监听在80端口，对应外部host的port就可能是49880. 操作人员可以使用--expose，让新的container访问到这个container。具体有三个方式： 1. 使用-p来启动container。 2. 使用-P来启动container。 3. 使用--link来启动container。 如果使用-p或者-P，那么container会开发部分端口到host，只要对方可以连接到host，就可以连接到container内部。当使用-P时，docker会在host中随机从49153 和65535之间查找一个未被占用的端口绑定到container。你可以使用docker port来查找这个随机绑定端口。 当你使用--link方式时，作为客户端的container可以通过私有网络形式访问到这个container。同时Docker会在客户端的container中设定一些环境变量来记录绑定的IP和PORT。 |
编辑 /etc/sysconfig/docker
|
1 2 |
# CentOS other_args="--insecure-registry 192.168.1.100:4000" |
编辑 /etc/systemd/system/docker.service.d/kolla.conf
|
1 2 3 4 5 6 7 |
# CentOS [Service] EnvironmentFile=/etc/sysconfig/docker # It's necessary to clear ExecStart before attempting to override it # or systemd will complain that it is defined more than once. ExecStart= ExecStart=/usr/bin/docker daemon -H fd:// $other_args |
重启docker
|
1 2 3 4 |
# CentOS systemctl daemon-reload systemctl stop docker systemctl start docker |
在本地的registry如图所示
停止registry的命令
|
1 |
docker stop registry && docker rm -v registry |
写了shell脚本自动化把image push到docker仓库（registry）中，为了满足报错的log，并进行了tag的转换（lokolla->kollaglue）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
docker images > /root/kolla/images.txt while read LINE do echo $LINE > /root/kolla/meta.txt awk '{print $1}' /root/kolla/meta.txt > /root/kolla/images_1.txt awk '{print $3}' /root/kolla/meta.txt > /root/kolla/images_3.txt str=$(cat /root/kolla/images_1.txt) echo /kollaglue/${str#*/} > /root/kolla/images_1_new.txt docker tag $(cat /root/kolla/images_3.txt) localhost:4000$(cat /root/kolla/images_1_new.txt) echo tag ok docker push localhost:4000$(cat /root/kolla/images_1_new.txt) echo push ok #echo $(cat /root/kolla/images_3.txt) #echo $(cat /root/kolla/images_1.txt) #echo $(cat /root/kolla/images_1_new.txt) done < /root/kolla/images.txt echo finish |
重新使用 ./tools/kolla-ansible deploy 来开始正式安装。
使用 ./tools/kolla-ansible post-deploy 来生成 /etc/kolla/admin-openrc.sh 文件用来加载认证变量。
最后container全部up起来
在浏览器上输入kollainternaladdress: "192.168.52.197"
域default，用户名密码在/etc/kolla/admin-openrc.sh中
登陆后的界面如下
这样就成功了，不过接下去还有很多“坑要踩”，趁着kolla项目代码量没上去还是值得好好研究一下的。容器化已经势不可挡了。
常见问题
- 今天Kolla镜像又下载不了了。以为是网络问题。进入openstack-kolla的irc聊天组。大牛基本都在这里聊天，发现有公告，原来是服务器正在重建。
|
1 |
static.openstack.org (which hosts logs.openstack.org and tarballs.openstack.org among others) is currently being rebuilt. As jobs can not upload logs they are failing with POST_FAILURE. This should be resolved soon. Please do not recheck until then. |
- 如果在deploy中出现这个问题。在/etc/hosts中加入"127.0.0.1 localhost"即可
|
1 2 3 4 5 6 7 8 9 10 |
TASK: [rabbitmq | fail msg="Hostname has to resolve to IP address of api_interface"] *** failed: [localhost] => (item={'cmd': ['getent', 'ahostsv4', 'localhost'], 'end': '2016-06-24 04:51:39.738725', 'stderr': u'', 'stdout': '127.0.0.1 STREAM localhost\n127.0.0.1 DGRAM \n127.0.0.1 RAW \n127.0.0.1 STREAM \n127.0.0.1 DGRAM \n127.0.0.1 RAW ', 'changed': False, 'rc': 0, 'item': 'localhost', 'warnings': [], 'delta': '0:00:00.033351', 'invocation': {'module_name': u'command', 'module_complex_args': {}, 'module_args': u'getent ahostsv4 localhost'}, 'stdout_lines': ['127.0.0.1 STREAM localhost', '127.0.0.1 DGRAM ', '127.0.0.1 RAW ', '127.0.0.1 STREAM ', '127.0.0.1 DGRAM ', '127.0.0.1 RAW '], 'start': '2016-06-24 04:51:39.705374'}) => {"failed": true, "item": {"changed": false, "cmd": ["getent", "ahostsv4", "localhost"], "delta": "0:00:00.033351", "end": "2016-06-24 04:51:39.738725", "invocation": {"module_args": "getent ahostsv4 localhost", "module_complex_args": {}, "module_name": "command"}, "item": "localhost", "rc": 0, "start": "2016-06-24 04:51:39.705374", "stderr": "", "stdout": "127.0.0.1 STREAM localhost\n127.0.0.1 DGRAM \n127.0.0.1 RAW \n127.0.0.1 STREAM \n127.0.0.1 DGRAM \n127.0.0.1 RAW ", "stdout_lines": ["127.0.0.1 STREAM localhost", "127.0.0.1 DGRAM ", "127.0.0.1 RAW ", "127.0.0.1 STREAM ", "127.0.0.1 DGRAM ", "127.0.0.1 RAW "], "warnings": []}} msg: Hostname has to resolve to IP address of api_interface FATAL: all hosts have already failed -- aborting PLAY RECAP ******************************************************************** to retry, use: --limit @/root/site.retry localhost : ok=87 changed=24 unreachable=0 failed=1 |
- 有时端口号可能被占用也会在precheck中提示，通过端口号找到进程之后就可以用kill －9来杀死了
|
1 2 |
yum install net-tools netstat -apn|grep 5000(端口号) |
工具
在/root/kolla的目录下有几个工具,可以在你deploy到一半中断的时候把本机环境清理一下
|
1 2 3 4 5 |
tools/cleanup-containers tools/cleanup-host #有时需要配合这两个命令： docker kill $(docker ps -a -q) //杀死所有正在运行的containner docker rm $(docker ps -a -q) //删除已经被杀死的container |
版本变动
官网上说现在ansible版本>2.0也OK，但是我实际操作的时候首先precheck这里提示错误，deploy的时候也出错
|
1 |
Some implemented distro versions of Ansible are too old to use distro packaging. Currently, CentOS and RHEL package Ansible >2.0 which is suitable for use with Kolla. Note that you will need to enable access to the EPEL repository to install via yum – to do so, take a look at Fedora’s EPEL docs and FAQ. |
作者简介：
蒋暕青@上海宽带技术及应用工程研究中心：SDN技术实践者，大四北上思博伦实习半年，现工作地点上海
--------------华丽的分割线------------------
本文系《SDNLAB原创文章奖励计划》投稿文章，该计划旨在鼓励广大从业人员在SDN/NFV/Cloud网络领域创新技术、开源项目、产业动态等方面进行经验和成果的文字传播、分享、交流。有意向投稿的同学请通过官方唯一指定投稿通道进行文章投递，投稿细则请参考《SDNLAB原创文章奖励计划》
