基于Docker的Jenkins持续集成

来自linux中国网wiki
Evan讨论 | 贡献2021年6月10日 (四) 06:09的版本
跳到导航 跳到搜索

install

站内资源

Jenkins进行持续集成 相关配置的看这个吧

Jenkins实现PHP持续集成部署

Jenkins迁移之备份和还原

Jenkins自动化构建和部署例子


NOTE 注意 国内环境安装完 记得 Jenkins安装插件提速 在后面章节哦

/data/apps/jenkins

 mkdir docker4jenkins
 cd docker4jenkins 
 #mkdir -p /data/jenkins 



vi docker-compose.yml

services:
  jenkins:
    #image: jenkins/jenkins:lts
    image: jenkins/jenkins:2.235.5-lts-alpine
    #image: jenkins/jenkins:2.190.3-alpine #202011 迁移用的版本 可以跑phing2.16
    ports:
    - 7099:8080/tcp
    - 50000:50000/tcp
    environment:
      TZ: Asia/Shanghai
    restart: always
    volumes:
    #- /data/jenkins:/var/jenkins_home:rw
    - jenkins_home:/var/jenkins_home:rw
version: '3.0'
volumes:
  jenkins_home:
    driver: local
    
    
    #run 
 docker-compose  up -d  jenkins

install config

打开 url 时行  初始化 记住 若是自定义了用户名 
注意 如果在初始化时用了自定义的名,就不要选择下面第一个 有admin字样的选项了

可能要改的变量  这里我加了2021  还有暴露给母鸡的端口也可能要改 如果一台机器有多个 jenkins 
    restart: always
    volumes:
    #- /data/jenkins:/var/jenkins_home:rw
    - jenkins_home2021:/var/jenkins_home:rw
version: '3.0'
volumes:
  jenkins_home2021:
    driver: local





    
    
密码就查看logs

 f47e158768be4c2ba0c891396cf5a55f
jenkins_1  | 
jenkins_1  | This may also be found at: /var/jenkins_home/secrets/initialAdminPassword
jenkins_1  | 
    
    
docker run --name=jenkins -it -u root -d -p 8080:8080 -p 50000:50000 -v /data/jenkins:/var/jenkins_home 3f08dc4f3f5d


docker-compose up   -d 



cat initialAdminPassword 
05765dd93d604cd094b516ba9cc06c1a

ng 

cat ci.conf 
   server {
        listen       80;
        server_name  market-ci.com;
 

        location / {
            proxy_pass http://172.31.127.223:7099;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
           
        }
     }



重装要删除volumes  然后要重启 docker 
/home/data/docker/volumes/docker4jenkins_jenkins_home/

如果默认 在这个目录 
  /var/lib/docker/volumes




docker-compose up -d
ERROR: The Compose file './docker-compose.yml' is invalid because:
Unsupported config option for services.jenkins: 'name'







不用  volumes 会报错 
[root@prod-cailuw-marke-lvs02 docker4jenkins]# docker logs  7444b6cf02a2
touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
Can not write to /var/jenkins_home/copy_reference_file.log. Wrong volume permissions?
touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
Can not write to /var/jenkins_home/copy_reference_file.log. Wrong volume permissions?
touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied

居然再来一次  没有初始化界面 ?

firewall-cmd --permanent --add-port=7099/tcp
firewall-cmd --reload  

还是不通  只能作域名了喽  hostname 


alpine jenkins

Jenkins实践基础:Alpine版Jenkins(LTS版)

常用命令

重启
http://localhost:8080/restart  http://localhost:8080/reload

常用参数


Transfers set  

Remote directory
填写 tempjar  如果是用root用户 那就是 /root/tempjar/

有些项目改了 绝对路径居然是不行的 


install plugins

maven

ins maven

因为jenkins本身不带maven插件,所以需要自己安装下,由于我们的虚拟机中是没有直接安装maven软件的,我们可以在全局工具配置中安装maven, 选择一个合适的版本,勾选自动安装,之后直接保存,需注意的是,现在jenkins并不会立即给你安装maven软件

这是要做的动作 note 接下来我们在插件管理中查找maven插件,我们选择好Maven Integration plugin插件,然后点击直接安装

配置maven

大家都知道我们要从maven库下载代码需要配置setting.xml,用jenkins时也需要把setting.xml配置好。在目录/docker/jenkins_home/tools/hudson.tasks.Maven_MavenInstallation/jenkins-in-maven/conf下修改setting.xml文件


新建 就可以看到 列表 有 构建一个maven 项目 安装成功

maven 配置文件

maven 配置  可以在母机修改 

/docker/jenkins_home/tools/hudson.tasks.Maven_MavenInstallation/jenkins-in-maven/conf下修改setting.xml文件。
母机可能的目录
/home/data/docker/volumes/docker4jenkins_jenkins_home/_data/tools/hudson.tasks.Maven_MavenInstallation/maven3.6.2/conf

JDK

1.JDK和JRE的区别
JRE: Java Runtime Environment 
JDK:Java Development Kit

JRE顾名思义是java运行时环境,包含了java虚拟机,java基础类库。是使用java语言编写的程序运行所需要的软件环境,是提供给想运行java程序的用户使用的。 
JDK顾名思义是java开发工具包,是程序员使用java语言编写java程序所需的开发工具包,是提供给程序员使用的。JDK包含了JRE,同时还包含了编译java源码的编译器javac,还包含了很多java程序调试和分析的工具:jconsole,jvisualvm等工具软件,还包含了java程序编写所需的文档和demo例子程序。 
如果你需要运行java程序,只需安装JRE就可以了。如果你需要编写java程序,需要安装JDK。

Jenkins-->
Update Center-->
安装/更新 插件中 ->
Oracle Java SE Development Kit Installer 
可见 oracle jdk安装了 

注意,自动安装jdk需要你填入oracle的账号密码,这样Jenkins才能自动帮你到oracle安装。如果没有oracle账号

jenkins配置多个JDK

ssh plgins

--> Manager plugin ->  Publish Over SSH 

usage 

全局配置 -》SSH Servers 
	Name 可以是别名  hostname 是ip 
	
ssh 那要添加你的pri key  远程服务器添加pubkey 

【Jenkins 插件】使用 Publish Over SSH 远程传输文件和自动部署

dokcer 插件

为了发布 docker

git 用户

 系统-->凭证
 Enter directly ->Key	  添加 pri key


要在 Key 框里添加你的 pri key 不然会出这报错
Failed to connect to repository : Command "git ls-remote -h ssh://[email protected]:2222/lxtx-cailu-java-projects/lxtx-cailu-market.git HEAD" returned status code 128:
stdout:
stderr: Permission denied (publickey).
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.


行情改成这样的 git 

ssh://[email protected]:2222/lxtx-cailu-java-projects/lxtx-cailu-market.git

数据库更新

 liquibase


使用 LiquiBase 管理数据库变更 数据库版本管理(含与Spring Boot Gradle Liquibase 插件整合的demo)

LiquiBase 进行数据库持续更新

python plugin

Jenkins 执行python脚本 安装如下两个 plugin
 python_plugin    python_wrapper_plugin

任务中添加python脚本即可,点击保存时候,自动会在下图中目录生成.py文件 jenkins执行python脚本的方法

生成SSHKey

先进入容器

docker exec -it jenkins /bin/bash
进入容器后生成sshkey

ssh-keygen -t dsa -C "[email protected]"

获取公钥
1.进入容器  
2. 直接cat 一下 mount的目录  eg tail /var/lib/docker/volumes/jenkins/_data/.ssh/id_rsa.pub

jenkins时区设置


【系统管理】-【脚本命令行】里运行
System.setProperty('org.apache.commons.jelly.tags.fmt.timeZone', 'Asia/Shanghai')

如果想永久 还是加在 yaml文件里


时间问题 以前思源的文档有 
-v /etc/localtime:/etc/localtime 让容器使用和服务器同样的时间设置


https://wiki.jenkins.io/display/JENKINS/Change+time+zone

trouble

第二天不能登录 这个是输入错了吧 Invalid username or password

迁移 jenkins 要注意的


java.io.IOException: Cannot run program "/var/jenkins_home/tools/hudson.model.JDK/jdk/bin/java" (in directory "/var/jenkins_home/workspace/pro-cailu-market"): error=2, No such file or directory
maven 
要重新 配置  全局-->maven 安装  


hudson.AbortException: Unable to install JDK unless a valid username/password is provided.

填写 oracle用户和密码 原来  用户 密码是oracle提供的 

http://market-ci.com/descriptorByName/hudson.tools.JDKInstaller/enterCredential

要重新添加 git 用户 和密码



Remote directory
填写 tempjar  如果是用root用户 那就是 /root/tempjar/

Jenkins安装插件提速 插件换源

Jenkins 插件中心国内镜像源发布


现在感觉不改更快 

 docker-compose  exec  --user root   jenkins  bash 
 
 cd /var/jenkins_home/updates
 
sed -i 's#https://updates.jenkins.io/download#https://mirrors.tuna.tsinghua.edu.cn/jenkins#g' default.json

 sed -i 's#http://updates.jenkins-ci.org/download#https://mirrors.tuna.tsinghua.edu.cn/jenkins#g' default.json 
 sed -i 's#http://www.google.com#https://www.baidu.com#g' default.json


重启生效  docker-compose restart jenkins 
#不用下面这个吧
http://192.168.10.54:7099/restart 



https://blog.csdn.net/weixin_43557605/article/details/104587304

docker-compose 相关文件被删除

处理办法 数据目录(我用了默认的)没被 删除 ,再搞个 docker-compose.yml 文件就行了 和对应目录 

Jenkins忘记密码


#2021 试过有效果 
/var/jenkins_home/users/admin/config.xml

新版本
jenkins_jenkins_home/_data/users/admin_1216381497456990300

 cat config.xml   | grep passwordHash
      <passwordHash>#jbcrypt:$2a$10$MiIVR0rr/UhQBqT.bBq0QehTiQVqgNpUGyWW2nJObaVAM/2xSQdSq</passwordHash>


123456加密后: #jbcrypt:$2a$10$MiIVR0rr/UhQBqT.bBq0QehTiQVqgNpUGyWW2nJObaVAM/2xSQdSq

修改 /users/admin/comfig.xml 文件后,保存重新启动Jenkins程序。

再以用户名admin 密码123456 成功登录

#note 这是基于docker的jenkins
jenkins@c58dc265c073:~/users$ pwd
/var/jenkins_home/users

cat users.xml
 <entry>
      <string>lxtxadmin</string>
      <string>lxtxadmin_7295399102977240796</string>

 cd  lxtxadmin_7295399102977240796/
 
  cat config.xml   | grep passwordHash
      <passwordHash>#jbcrypt:$2a$10$h/LCaTsmNht3F04LbZPsY.OtTyx1e/P7pit6Te7KjGVXkhe/caqyW</passwordHash>


#jbcrypt:$2a$10$MiIVR0rr/UhQBqT.bBq0QehTiQVqgNpUGyWW2nJObaVAM/2xSQdSq   
123456

这个写法有问题啦  前面不是固定的啦  
sed  -i  's!#jbcrypt:$2a$10$h/LCaTsmNht3F04LbZPsY.OtTyx1e/P7pit6Te7KjGVXkhe/caqyW!#jbcrypt:$2a$10$DdaWzN64JgUtLdvxWIflcuQu2fgrrMSAMabF5TSrGK5nXitqK9ZMS!' config.xml 

后者是111111的hash值 6个1

docker-compose  restart
当然 最后记得要改回得比较强的密码喽
 

这个有用 jenkins 忘记密码或认证配置出错后解决办法

Jenkins - Jenkins 忘记密码

该Jenkins实例似乎已离线。

Jenkins 2.176.3

原因   近来网络管理又严格了 

updates/default.json

jenkins在下载插件之前会先检查网络连接,其会读取这个文件中的网址。默认是:
访问谷歌

处理办法   改成可以直接访问的就行了

jenkins@jenkins-hellotest:~/updates$ pwd
/var/jenkins_home/updates

sed  -i 's/google/baidu/' default.json

打开主页空白

打开   
http://192.168.10.214:7099/pluginManager/advanced

最后要恢复回来 ,不然打开主页空白呢 
http://updates.jenkins.io/update-center.json
https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

/pluginManager/advanced  改回原来的 
http://updates.jenkins.io/update-center.json


https://blog.csdn.net/harry5508/article/details/91958249

https://www.cnblogs.com/effortsing/p/10013412.html

https://blog.csdn.net/huoyunshen88/article/details/8509886

https://www.jianshu.com/p/1e411d225186

web打不开 wrapper Up (unhealthy)

重启并等 一下下  过程如下 
 docker-compose  ps 
    Name           Command           State                                      Ports                              
-------------------------------------------------------------------------------------------------------------------
gitlab_web_1   /assets/wrapper   Up (unhealthy)   0.0.0.0:2222->22/tcp, 0.0.0.0:4433->443/tcp, 0.0.0.0:7080->80/tcp
root@jenkins2020:/data/apps/gitlab# docker-compose  restart  
Restarting gitlab_web_1 ... done
root@jenkins2020:/data/apps/gitlab# docker-compose  ps 
    Name           Command               State                                         Ports                              
--------------------------------------------------------------------------------------------------------------------------
gitlab_web_1   /assets/wrapper   Up (health: starting)   0.0.0.0:2222->22/tc

 docker-compose  ps 
    Name           Command          State                                     Ports                              
-----------------------------------------------------------------------------------------------------------------
gitlab_web_1   /assets/wrapper   Up (healthy)   0.0.0.0:2222->22/tcp, 0.0.0.0:4433->443/tcp, 0.0.0.0:7080->80/tcp
root@jenkins2020:/data/apps/gitlab# 


删除home数据目录

mkdir  -p /var/lib/docker/volumes/jenkins_jenkins_home/_data #可能要创建回去

see also

https://hub.docker.com/r/jenkins/jenkins

Docker+Jenkins持续集成环境(1)使用Docker搭建Jenkins+Docker持续集成环境

Jenkins与Docker的持续集成实践

http://www.itmuch.com/work/jenkins-in-action/

Jenkins使用, maven插件配置修改

Jenkins+maven+docker 解决项目持续集成

Docker版本Jenkins的使用

Install Jenkins using Docker Compose

learn

Jenkins学习之路