发表于 | 分类于 ， ，

因为业务需要了解大数据平台CDH的部署，找了三台虚拟机简单的安装部署一下，踩了一遍坑，留个文档记录一下。

1. 服务器规划

1
2
3
4
5
6
7
8
9
集群规划三台服务器，一台namenode，两台datanode，规划如下：
namenode
192.168.3.131
node-01
192.168.3.132
node-02
192.168.3.133

服务器操作系统均为Centos 7 x86_64

2. 安装前预配置

2.1 关闭防火墙、SELINUX

关闭防火墙

1
2
3
因为是测试环境，为方便起见，直接关闭防火墙，生产环境中最好还是开启防火墙，开放相应端口就行了，或者直接在防火墙中配置集群内服务器白名单
# systemctl stop firewalld
# systemctl disable firewalld

关闭SELINUX

1
2
3
SELINUX建议一定要关掉，配置太麻烦了，而且容易踩坑，官方也建议关掉
# setenforce 0
# sed -i 's/SELINUX=enforcing/#SELINUX=enforcing\nSELINUX=disabled/g' /etc/selinux/config
阅读全文 »

发表于 | 分类于 ，

内网有一台ESXI上的虚拟机，用来做构建服务的，因为构建项目逐渐增加，磁盘空间渐渐不足，严重影响使用。
为解决问题，当务之急是将磁盘分区进行扩容，因为磁盘分区做的LVM，可以很方便的动态扩容，在物理机上可以通过加硬盘的方式来解决问题，而ESXI的虚拟机就更方便了，直接将虚拟机关机修改磁盘大小即可，但是修改完的硬盘空间并不会自动扩展到磁盘分区中，还需要我们做一些操作才可以使用，具体操作如下：

1. 创建新分区

ESXI修改完磁盘大小后，增加的磁盘空间表现为当前磁盘剩余未分配空间，需要使用剩余未分配空间新建分区

1
2
3
4
5
6
7
8
9
10
# fdisk /dev/sda
n       （新建分区）
p       （选择分区类型主分区或扩展分区）
3       （选择分区编号）
回车
回车
t	（修改分区类型）
3	（选择分区）
8e	（Changed type of partition 'Linux' to 'Linux LVM'，修改成LVM类型）
w	（写分区表退出）
阅读全文 »

发表于 | 分类于 ， ，

1. 项目背景

因为工作需要，需部署一套nginx负载均衡群集，群集须保证所有nginx节点配置文件完全一致；要解决不同服务器之间数据一致，一般采用NFS共享文件、DRBD镜像复制或rsync文件同步来实现，相对于rsync，前两者配置稍麻烦，此处我选择rsync文件同步来保证配置文件一致性。

rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。它使用所谓的“Rsync演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。但是rsync仅仅是同步工具，并不能做到监控文件变化并实时同步，因此还需要配合inotify来实现文件实时同步。

inotify是一种强大的、细粒度的、异步的文件系统事件控制机制。linux内核从2.6.13起，加入了inotify支持，通过inotify可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools正是实施监控的软件。

在这里，我们使用inotify监控文件变化，同时通过脚本来触发rsync将发生变化的文件同步到目标服务器。

术语定义：
客户端–>源服务器（SRC）
服务端–>目标服务器（DEST）

阅读全文 »

发表于 | 分类于 ，

pyenv是一个Python多版本管理工具，它可以改变全局的Python版本，安装多个版本的Python，设置目录级别的Python版本，还能创建和管理virtual python environments 。所有的设置都是用户级别的操作，不需要sudo 命令。
pyenv通过系统修改环境变量来实现Python不同版本的切换，它在PATH的最前面插入了一个垫片路径（shims）：~/.pyenv/shims:/usr/local/bin:/usr/bin:/bin。所有对 Python 可执行文件的查找都会首先被这个 shims 路径截获，从而使后方的系统路径失效。

1. 安装pyenv

1.1 git拉取pyenv代码

1
# git clone https://github.com/pyenv/pyenv.git ~/.pyenv
阅读全文 »

发表于 | 分类于 ， ，

1. RabbitMQ介绍

RabbitMQ是实现AMQP（高级消息队列协议）的消息中间件的一种，最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。RabbitMQ主要是为了实现系统之间的双向解耦而实现的。当生产者大量产生数据时，消费者无法快速消费，那么需要一个中间层。保存这个数据。

AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。

RabbitMQ是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

---以上内容我抄的
阅读全文 »

发表于 | 分类于 ，

因为众所周知的原因，在国内访问docker官方yum源经常会出现不可知状态，为了正常使用docker，我们需要将docker yum源修改为国内yum源来解决访问慢或者无法访问的问题。
目前国内大多数开放镜像站都提供了docker yum源，如：阿里云、USTC等，此处以阿里云为例。

1. 修改docker-ce.repo文件，配置国内镜像站地址

docker-ce.repo文件可从阿里云或USTC镜像站下载，阿里云下载地址：https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

不知为何，阿里云与USTC镜像站上默认的docker-ce.repo文件内部地址均是指向docker官方站https://download-stage.docker.com 这样导致直接下载下来的repo文件无法正常使用，需要将baseurl修改为国内镜像站的地址。

1
2
3
# vim /etc/yum.repos.d/docker-ce.repo
# sed -i 's@https://download-stage.docker.com/linux/centos/7/@https://mirrors.aliyun.com/docker-ce/linux/centos/7/@g' /etc/yum.repos.d/docker-ce.repo
# sed -i 's@https://download-stage.docker.com/linux/centos/gpg@https://mirrors.aliyun.com/docker-ce/linux/centos/gpg@g' /etc/yum.repos.d/docker-ce.repo

修改完成后，yum安装docker就可以直接使用国内yum源了。

阅读全文 »

发表于 | 分类于 ，

移动互联网时代，讲究的是快速迭代，为了完善产品功能，一款APP需要不断的更新版本发布功能；而为了不影响用户体验，很多时候我们无法做到每个版本都强制用户更新；这样一来势必要保证APP多版本共存，作为APP与服务端交互的交互的api接口也将存在多个接口共存的情况，所以，我们必须考虑到如何实现APP接口多版本共存。

1. APP接口多版本共存的几种实现方式

1.1 URL请求中加入版本信息

例如：
www.xxx.com/api.xxx?version=v1
www.xxx.com/api.xxx?version=v2

1.2 使用不同子域名来区分不同版本的api接口

例如：
api1.xxx.com
api2.xxx.com

1.3 URL中加入不同版本路径来区分不同版本的api接口

例如：
www.xxx.com/v1/api
www.xxx.com/v2/api

1.4 在URL提交header中加入版本信息

例如：
header信息中直接添加一个字段：http_AppVersion = 1

阅读全文 »

发表于 | 分类于 ，

1. 配置前准备工作

准备MongoDB程序文件

1
2
3
4
5
6
# wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.4.1.tgz
# tar zxf mongodb-linux-x86_64-rhel62-3.4.1.tgz
# cp -r mongodb-linux-x86_64-rhel62-3.4.1 /usr/local/
# ln -s /usr/local/mongodb-linux-x86_64-rhel62-3.4.1 /usr/local/mongodb
# ls /usr/local/mongodb
bin  GNU-AGPL-3.0  MPL-2  README  THIRD-PARTY-NOTICES

为MongoDB配置环境变量

1
2
3
# vim /etc/profile.d/mongodb.sh
export PATH=/usr/local/mongodb/bin:$PATH
# source /etc/profile.d/mongodb.sh
阅读全文 »

发表于 | 分类于 ，

1. 配置前准备工作

部署规划

1
2
3
4
5
6
7
8
9
10
11
集群使用三台服务器，每服务器上分别部署两个实例（端口监听6379、7379），一共6个实例来组建集群。
redis安装路径
/usr/local/redis3
链接至
/usr/local/redis
redis数据存放位置
/home/redis/{6379,7379}/data
redis日志文件、pid文件位置
/home/redis/{6379,7379}/log
redis配置文件位置
/home/redis/{6379,7379}/config

准备redis安装程序

1
2
# wget http://download.redis.io/releases/redis-3.2.6.tar.gz
# tar zxf redis-3.2.6.tar.gz
阅读全文 »

发表于 | 分类于 ， ，

1. 配置前准备工作

部署规划

集群使用三台服务器，分别部署zookeeper、dubbo-admin服务，其中zookeeper分别部署在三台服务器上，dubbo-admin部署于三台服务器其中一台上，三台zookeeper构成集群，而dubbo-admin是否正常对于dubbo服务正常运行并不会造成任何影响，因此dubbo采用单点部署。
zookeeper安装路径：
/usr/local/zookeeper-3.4.6/
链接至
/usr/local/zookeeper/
zookeeper数据存放路径
/home/zookeeper/data/
zookeeper日志存放路径
/usr/local/zookeeper/log/
clientPort:2181
zookeeper数据交换端口:2888
zookeeper选举端口:3888

准备安装程序

1
2
3
4
5
# ls /home/soft/
dubbo-admin-tomcat.tar.gz  dubbo-monitor-simple-2.8.4-assembly.tar.gz  jdk-8u111-linux-x64.rpm  zookeeper-3.4.6.tar.gz
# tar zxf zookeeper-3.4.6.tar.gz
# mv /home/soft/zookeeper-3.4.6 /usr/local/
# ln -s /usr/local/zookeeper-3.4.6 /usr/local/zookeeper

创建相关安装目录

1
2
3
4
# mkdir -pv /home/zookeeper/data/
mkdir: created directory `/home/zookeeper'
mkdir: created directory `/home/zookeeper/data/'
# mkdir /usr/local/zookeeper/log/
阅读全文 »