云原生基站

OpenClaw安装

Sat, 11 Apr 2026 11:36:15 GMT

[!info] Windows环境安装
用户目录名不能带中文,如 C:\Users\中文
模型使用魔塔社区里的千问3.5
使用飞书

1 环境安装#

2 安装OpenClaw#

Terminal window展开收起

1
# 允许Windows使用脚本
2
set-executionpolicy remotesigned
3
执行策略更改
4
执行策略可帮助你防止执行不信任的脚本。更改执行策略可能会产生安全风险，如 https:/go.microsoft.com/fwlink/?LinkID=135170
5
中的 about_Execution_Policies 帮助主题所述。是否要更改执行策略?
6
[Y] 是(Y)  [A] 全是(A)  [N] 否(N)  [L] 全否(L)  [S] 暂停(S)  [?] 帮助 (默认值为“N”): y
7

8
# 设置国内源
9
npm config set registry https://registry.npmmirror.com/
10

11
# 升级npm
12
 npm install -g npm
13

14
# 安装openclaw
15
npm install -g openclaw@latest

展开收起

3 配置大模型#

[!bug] 如果安装没报错但找不到openclaw命令,把以下命令查到的结果加到path环境变了里

npm config get prefix

[!attention] 如果使用火山,千问官方模型直接选择配置就行,但这里没办法直接用魔塔社区里的模型,后面通过改配置文件修改

Terminal window展开收起

1
# 配置
2
openclaw onboard
3
  I understand this is personal-by-default and shared/multi-user use requires lock-down. Continue?
4
|  Yes   #选择yes
5
|
6
o  Onboarding mode
7
|  QuickStart #快速配置
8
|
9
o  QuickStart -------------------------+
10
|                                      |
11
|  Gateway port: 18789                 |
12
|  Gateway bind: Loopback (127.0.0.1)  |
13
|  Gateway auth: Token (default)       |
14
|  Tailscale exposure: Off             |
15
|  Direct to chat channels.            |
16
|                                      |
17
+--------------------------------------+
18
o  Model/auth provider
19
|  Skip for now #跳过模型商
20
|
21
o  Filter models by provider
22
|  All providers
23
|
24
o  Default model
25
|  Enter model manually
26
|
27
o  Default model
28
|  Qwen/Qwen3.5-27B #手动输入模型

展开收起

3.1 手动配置模型#

C:\Users\home\.openclaw展开收起

1
  "models": {
2
    "providers": {
3
      "Qwen": {
4
        "baseUrl": "https://api-inference.modelscope.cn/v1",
5
        "apiKey": "ms-02b89aed-61b9-4c7d-948d-e81236a",
6
        "api": "openai-completions",
7
        "models": [
8
          {
9
            "id": "Qwen3.5-27B",
10
            "name": "Qwen3.5-27B",
11
            "reasoning": false,
12
            "input": [
13
              "text"
14
            ],
15
            "cost": {
16
              "input": 0,
17
              "output": 0,
18
              "cacheRead": 0,
19
              "cacheWrite": 0
20
            },
21
            "contextWindow": 128000,
22
            "maxTokens": 8192
23
          }
24
        ]
25
      }
26
    }
27
  },
28
  # 这里前面加上
29
  "agents": {

展开收起

4 配置飞书#

Terminal window展开收起

1
o  Select channel (QuickStart)
2
|  Feishu/Lark (飞书) #使用飞书
3
|
4
o  Install Feishu plugin?
5
|  Download from npm (@openclaw/feishu) #选择下载
6
|
7
o  Feishu credentials --------------------------------------------------------------+
8
|                                                                                   |
9
|  1) Go to Feishu Open Platform (open.feishu.cn)                                   |
10
|  2) Create a self-built app                                                       |
11
|  3) Get App ID and App Secret from Credentials page                               |
12
|  4) Enable required permissions: im:message, im:chat, contact:user.base:readonly  |
13
|  5) Publish the app or add it to a test group                                     |
14
|  Tip: you can also set FEISHU_APP_ID / FEISHU_APP_SECRET env vars.                |
15
|  Docs: feishu                 |
16
|                                                                                   |
17
+-----------------------------------------------------------------------------------+
18
|
19
o  How do you want to provide this App Secret?
20
|  Enter App Secret
21
|
22
*  Enter Feishu App Secret
23
|  stF3rKOLcJNzsNvdzP5Yfdhgi132zoi #获取方式如下图
24
|
25
o  Enter Feishu App ID
26
|  cli_a93a69d11323dbc6 #获取方式如下图
27
[info]: [ 'client ready' ]
28
|
29
o  Feishu connection mode
30
|  WebSocket (default)
31
|
32
o  Which Feishu domain?
33
|  Feishu (feishu.cn) - China
34
|
35
o  Group chat policy
36
|   Open - respond in all groups (requires mention)

展开收起

image.png|558

image.png|1073

4.1#

参考

CrowdSec 安全预防

Mon, 11 Aug 2025 16:36:15 GMT

[!attention] 此文档根据[[通过 Ngnix 日志监控]]生成的日志进行防御, 如果用默认日志格式使用 CrowdSec 官方方案

1 安装#

Terminal window

1
curl -s https://install.crowdsec.net | sudo sh
2
dnf install crowdsec
3
# 正常linux安装这个就行
4
dnf install crowdsec-firewall-bouncer-iptables

2 配置 Nginx 解析器#

2.1 删除默认解析器#

cscli parsers remove crowdsecurity/nginx-logs

2.2 添加自定义解析器#

1
cat /etc/crowdsec/parsers/s01-parse/nginx.yaml
2
filter: "evt.Line.Labels.type == 'nginx'"
3
onsuccess: next_stage
4
name: crowdsecurity/nginx-logs
5
description: "Parse nginx access and error logs"
6
pattern_syntax:
7
  NGCUSTOMUSER: '[a-zA-Z0-9\.\@\-\+_%]+'
8
  NGCUSTOMURIPATH: "(?:/[A-Za-z0-9$.+!*'\\(\\)\\{\\},~:;=@\\#%&_\\-]*)+"
9
  NGCUSTOMURIPATHPARAM: '%{NGCUSTOMURIPATH}(?:%{URIPARAM})?'
10
nodes:
11
  # access日志解析
12
  - filter: 'evt.Line.Raw matches "^{"'
13
    name: "nginx-json-access"
14
    statics:
15
      - meta: service
16
        value: "http"
17
      - meta: source_ip
18
        expression: JsonExtract(evt.Line.Raw, "remote_ip")
19
      - meta: http_status
20
        expression: JsonExtract(evt.Line.Raw, "status")
21
      - meta: http_path
22
        expression: JsonExtract(evt.Line.Raw, "url")
23
      - meta: http_verb
24
        expression: JsonExtract(evt.Line.Raw, "request_method")
25
      - meta: http_user_agent
26
        expression: JsonExtract(evt.Line.Raw, "http_user_agent")
27
      - meta: target_fqdn
28
        expression: JsonExtract(evt.Line.Raw, "domain")
29
      - target: evt.StrTime
30
        expression: JsonExtract(evt.Line.Raw, "timestamp")
31
      - meta: log_type
32
        value: http_access-log
33
  # error日志解析
34
  - grok:
35
      pattern: '(%{IPORHOST:target_fqdn} )?%{NGINXERRTIME:time} \[%{LOGLEVEL:loglevel}\] %{NONNEGINT:pid}#%{NONNEGINT:tid}: (\*%{NONNEGINT:cid} )?%{GREEDYDATA:message}, client: %{IPORHOST:remote_addr}, server: %{DATA:target_fqdn}, request: "%{WORD:verb} ([^/]+)?%{NGCUSTOMURIPATHPARAM:request}( HTTP/%{NUMBER:http_version})?", host: "%{IPORHOST}(:%{NONNEGINT})?"'
36
      apply_on: message
37
      statics:
38
        - meta: log_type
39
          value: http_error-log
40
        - target: evt.StrTime
41
          expression: evt.Parsed.time
42
        - meta: source_ip
43
          expression: "evt.Parsed.remote_addr"
44
        - meta: http_status
45
          expression: "evt.Parsed.status"
46
        - meta: http_path
47
          expression: "evt.Parsed.request"
48
        - meta: http_verb
49
          expression: "evt.Parsed.verb"
50
        - meta: log_type
51
          value: http_error-log
52
    pattern_syntax:
53
      NO_DOUBLE_QUOTE: '[^"]+'
54
    onsuccess: next_stage
55
    nodes:
56
      - filter: "evt.Parsed.message contains 'was not found in'"
57
        pattern_syntax:
58
          USER_NOT_FOUND: 'user "%{NO_DOUBLE_QUOTE:username}" was not found in "%{NO_DOUBLE_QUOTE}"'
59
        grok:
60
          pattern: '%{USER_NOT_FOUND}'
61
          apply_on: message
62
        statics:
63
          - meta: sub_type
64
            value: "auth_fail"
65
          - meta: username
66
            expression: evt.Parsed.username
67
      - filter: "evt.Parsed.message contains 'password mismatch'"
68
        pattern_syntax:
69
          PASSWORD_MISMATCH: 'user "%{NO_DOUBLE_QUOTE:username}": password mismatch'
70
        grok:
71
          pattern: '%{PASSWORD_MISMATCH}'
72
          apply_on: message
73
        statics:
74
          - meta: sub_type
75
            value: "auth_fail"
76
          - meta: username
77
            expression: evt.Parsed.username
78
      - filter: "evt.Parsed.message contains 'limiting requests, excess'"
79
        statics:
80
          - meta: sub_type
81
            value: "req_limit_exceeded"

展开收起

2.3 重启#

systemctl restart crowdsec

2.4 查看解析器#

Terminal window展开收起

1
cscli parsers list
2
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
3
 PARSERS
4
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
5
 Name                                📦 Status            Version  Local Path
6
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
7
 crowdsecurity/dateparse-enrich      ✔️  enabled          0.2      /etc/crowdsec/parsers/s02-enrich/dateparse-enrich.yaml
8
 crowdsecurity/geoip-enrich          ✔️  enabled          0.5      /etc/crowdsec/parsers/s02-enrich/geoip-enrich.yaml
9
 crowdsecurity/http-logs             ✔️  enabled          1.3      /etc/crowdsec/parsers/s02-enrich/http-logs.yaml
10
 crowdsecurity/nginx-logs            🏠  enabled,local             /etc/crowdsec/parsers/s01-parse/nginx.yaml
11
 crowdsecurity/public-dns-allowlist  ✔️  enabled          0.1      /etc/crowdsec/parsers/s02-enrich/public-dns-allowlist.yaml
12
 crowdsecurity/sshd-logs             ✔️  enabled          3.0      /etc/crowdsec/parsers/s01-parse/sshd-logs.yaml
13
 crowdsecurity/syslog-logs           ✔️  enabled          0.8      /etc/crowdsec/parsers/s00-raw/syslog-logs.yaml
14
 crowdsecurity/whitelists            ✔️  enabled          0.3      /etc/crowdsec/parsers/s02-enrich/whitelists.yaml
15
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────

展开收起

3 测试#

[!attention] 官网文档写的不算详细, 这里看日志查看, 默认 http 测试 remediation: false 不做封禁做提醒
而且默认有白名单, 参考 [[#4.5 查看白名单]]

3.1 Nginx 测试#

Terminal window

1
# curl http://192.168.10.69/crowdsec-test-NtktlJHV4TfBSK3wvlhiOBnl
2
<html>
3
<head><title>404 Not Found</title></head>
4
<body>
5
<center><h1>404 Not Found</h1></center>
6
<hr><center>nginx</center>
7
</body>
8
</html>
9
# tail /var/log/crowdsec.log
10
# 有这个就算成功
11
time="2025-08-19T11:24:46+08:00" level=info msg="Ip 192.168.10.69 performed 'crowdsecurity/http-generic-test' (1 events over 0s) at 2025-08-19 03:24:46.08421494 +0000 UTC"
12
time="2025-08-19T11:24:46+08:00" level=info msg="(46b3cee0c8f44000bdf64a4361ef27cdhIHcI4Rh4SBtD4zE/crowdsec) crowdsecurity/http-generic-test by ip 192.168.10.69 : 4h ban on Ip 192.168.10.69"

3.1.1 暴力访问测试#

Terminal window

1
ab -c 300 -n 30000 http://registry.ccops.cc/
2
cscli decisions list
3
╭───────┬──────────┬──────────────────┬────────────────────────────────────────┬────────┬─────────┬────┬────────┬────────────┬──────────╮
4
│   ID  │  Source  │    Scope:Value   │                 Reason                 │ Action │ Country │ AS │ Events │ expiration │ Alert ID │
5
├───────┼──────────┼──────────────────┼────────────────────────────────────────┼────────┼─────────┼────┼────────┼────────────┼──────────┤
6
│ 14997 │ crowdsec │ Ip:192.168.10.68 │ crowdsecurity/nginx-req-limit-exceeded │ ban    │         │    │ 6      │ 3h58m23s   │ 3        │
7
╰───────┴──────────┴──────────────────┴────────────────────────────────────────┴────────┴─────────┴────┴────────┴────────────┴──────────╯

3.2 Ssh 测试#

[!info] 规则是输错 5 次密码被屏蔽

Terminal window

1
ssh 192.168.10.69
2
root@192.168.10.69's password:
3
Permission denied, please try again.
4
root@192.168.10.69's password:
5

6
# 查看
7
cscli decisions list
8
╭────────┬──────────┬──────────────────┬─────────────────────────────────┬────────┬─────────┬────┬────────┬────────────┬──────────╮
9
│   ID   │  Source  │    Scope:Value   │              Reason             │ Action │ Country │ AS │ Events │ expiration │ Alert ID │
10
├────────┼──────────┼──────────────────┼─────────────────────────────────┼────────┼─────────┼────┼────────┼────────────┼──────────┤
11
│ 824994 │ crowdsec │ Ip:192.168.10.67 │ crowdsecurity/ssh-bf            │ ban    │         │    │ 7      │ 3h59m8s    │ 71       │
12
│ 824993 │ crowdsec │ Ip:192.168.10.69 │ crowdsecurity/http-generic-test │ ban    │         │    │ 1      │ 3h57m33s   │ 70       │
13
╰────────┴──────────┴──────────────────┴─────────────────────────────────┴────────┴─────────┴────┴────────┴────────────┴──────────╯

4 不生效排错#

[!info] 先参考 CrowdSec Security Engine Setup Health-Check | CrowdSec

Terminal window展开收起

1
# 解析状态
2
cscli metrics show acquisition
3
╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
4
│ Acquisition Metrics                                                                                                      │
5
├────────────────────────────────┬────────────┬──────────────┬────────────────┬────────────────────────┬───────────────────┤
6
│ Source                         │ Lines read │ Lines parsed │ Lines unparsed │ Lines poured to bucket │ Lines whitelisted │
7
├────────────────────────────────┼────────────┼──────────────┼────────────────┼────────────────────────┼───────────────────┤
8
│ file:/var/log/messages         │ 374        │ -            │ 374            │ -                      │ -                 │
9
│ file:/var/log/nginx/access.log │ 8          │ 8            │ -              │ 1                      │ -                 │
10
│ file:/var/log/nginx/error.log  │ 8          │ 8            │ -              │ -                      │ -                 │
11
│ file:/var/log/secure           │ 4          │ -            │ 4              │ -                      │ -                 │
12
╰────────────────────────────────┴────────────┴──────────────┴────────────────┴────────────────────────┴───────────────────╯
13
# 屏蔽状态
14
cscli decisions list
15
╭────────┬──────────┬──────────────────┬────────────────────────────────────────┬────────┬─────────┬────┬────────┬────────────┬──────────╮
16
│   ID   │  Source  │    Scope:Value   │                 Reason                 │ Action │ Country │ AS │ Events │ expiration │ Alert ID │
17
├────────┼──────────┼──────────────────┼────────────────────────────────────────┼────────┼─────────┼────┼────────┼────────────┼──────────┤
18
│ 689992 │ crowdsec │ Ip:192.168.2.2   │ crowdsecurity/http-generic-test        │ ban    │         │    │ 1      │ 3h30m5s    │ 60       │
19
│ 689991 │ crowdsec │ Ip:192.168.10.68 │ crowdsecurity/nginx-req-limit-exceeded │ ban    │         │    │ 6      │ 3h10m27s   │ 55       │
20
╰────────┴──────────┴──────────────────┴────────────────────────────────────────┴────────┴─────────┴────┴────────┴────────────┴──────────╯

展开收起

4.1 没有日志#

[!faq] 查看路径配置

Terminal window

1
vim /etc/crowdsec/acquis.yaml
2
filenames:
3
  - /var/log/nginx/error.log
4
  - /var/log/nginx/access.log
5
labels:
6
  type: nginx

4.2 测试解析#

[!info] 能解析, 但是不生效这里要看下字段有没有数据, 如果为空或者没对应变量是没办法加黑名单的

Terminal window展开收起

1
tail -n 1 /var/log/nginx/access.log | cscli explain -f- --type nginx -v
2
line: {"timestamp":"2025-08-19T11:17:01.466+08:00","server_ip":"192.168.10.69","remote_ip":"192.168.2.2","xff":"-","remote_user":"-","domain":"192.168.10.69","url":"/favicon.ico","referer":"http://192.168.10.69/","upstreamtime":"-","responsetime":"0.000","request_method":"GET","status":"404","response_length":"696","request_length":"417","protocol":"HTTP/1.1","upstreamhost":"-","http_user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/139.0.0.0 Safari/537.36 Edg/139.0.0.0"}
3
......
4
  ├ s01-parse
5
  |  └ 🟢 crowdsecurity/nginx-logs (+8 ~2)
6
  |    └ update evt.Stage : s01-parse -> s02-enrich
7
  |    └ update evt.StrTime :  -> 2025-08-19T11:17:01.466+08:00
8
  |    └ create evt.Meta.http_verb : GET
9
  |    └ create evt.Meta.service : http
10
  |    └ create evt.Meta.target_fqdn : 192.168.10.69
11
  |    └ create evt.Meta.http_path : /favicon.ico
12
  |    └ create evt.Meta.http_status : 404
13
  |    └ create evt.Meta.log_type : http_access-log
14
  |    └ create evt.Meta.source_ip : 192.168.2.2
15
  |    └ create evt.Meta.http_user_agent : Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/139.0.0.0 Safari/537.36 Edg/139.0.0.0
16
......

展开收起

4.3 解析也没问题#

[!check] tail -f /var/log/crowdsec.log 有日志没有任何报错的话查看规则, 与修复组件

Terminal window展开收起

1
vim /etc/crowdsec/scenarios/http-generic-test.yaml
2
type: trigger
3
name: crowdsecurity/http-generic-test
4
description: "Crowdsec Generic Test Scenario: basic HTTP trigger"
5
filter: evt.Meta.log_type in ["http_access-log", "http_error-log"] and
6
  evt.Meta.http_path == "/crowdsec-test-NtktlJHV4TfBSK3wvlhiOBnl"
7
blackhole: 5m
8
groupby: "evt.Meta.source_ip"
9
labels:
10
  confidence: 0
11
  spoofable: 3
12
  behavior: "http:test"
13
  label: "CrowdSec Generic Test Scenario"
14
  service: http
15
  remediation: false  # 这里如果不是true的话不会加入黑名单,只做警告
16

17
# 看看是否在运行,有没有报错

展开收起

4.4 crowdsec 没有日志#

[!attention] 下面 tainted 规则会不生效

Terminal window展开收起

1
cscli collections list
2
─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
3
 COLLECTIONS
4
─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
5
 Name                                 📦 Status            Version  Local Path
6
─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
7
 crowdsecurity/base-http-scenarios    ⚠️  enabled,tainted  1.2      /etc/crowdsec/collections/base-http-scenarios.yaml
8
 crowdsecurity/http-cve               ✔️  enabled          2.9      /etc/crowdsec/collections/http-cve.yaml
9
 crowdsecurity/linux                  ✔️  enabled          0.3      /etc/crowdsec/collections/linux.yaml
10
 crowdsecurity/nginx                  ⚠️  enabled,tainted  0.2      /etc/crowdsec/collections/nginx.yaml
11
 crowdsecurity/sshd                   ✔️  enabled          0.7      /etc/crowdsec/collections/sshd.yaml
12
 crowdsecurity/whitelist-good-actors  ✔️  enabled          0.2      /etc/crowdsec/collections/whitelist-good-actors.yaml
13
─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
14

15
# 强制重新安装
16
cscli collections install crowdsecurity/nginx --force
17
cscli collections list
18
─────────────────────────────────────────────────────────────────────────────────────────────────────────────────
19
 COLLECTIONS
20
─────────────────────────────────────────────────────────────────────────────────────────────────────────────────
21
 Name                                 📦 Status    Version  Local Path
22
─────────────────────────────────────────────────────────────────────────────────────────────────────────────────
23
 crowdsecurity/base-http-scenarios    ✔️  enabled  1.2      /etc/crowdsec/collections/base-http-scenarios.yaml
24
 crowdsecurity/http-cve               ✔️  enabled  2.9      /etc/crowdsec/collections/http-cve.yaml
25
 crowdsecurity/linux                  ✔️  enabled  0.3      /etc/crowdsec/collections/linux.yaml
26
 crowdsecurity/nginx                  ✔️  enabled  0.2      /etc/crowdsec/collections/nginx.yaml
27
 crowdsecurity/sshd                   ✔️  enabled  0.7      /etc/crowdsec/collections/sshd.yaml
28
 crowdsecurity/whitelist-good-actors  ✔️  enabled  0.2      /etc/crowdsec/collections/whitelist-good-actors.yaml
29
─────────────────────────────────────────────────────────────────────────────────────────────────────────────────
30

31
# 查看规则
32
cscli scenarios list |grep test
33
 crowdsecurity/http-generic-test                   ✔️  enabled  0.2      /etc/crowdsec/scenarios/http-generic-test.yaml
34
 crowdsecurity/ssh-generic-test                    ✔️  enabled  0.2      /etc/crowdsec/scenarios/ssh-generic-test.yaml

展开收起

4.5 查看白名单#

[!info] 默认有个白名单包含这几个网段

1
vim /etc/crowdsec/parsers/s02-enrich/whitelists.yaml
2
name: crowdsecurity/whitelists
3
description: "Whitelist events from private ipv4 addresses"
4
whitelist:
5
  reason: "private ipv4/ipv6 ip/ranges"
6
  ip:
7
    - "::1"
8
  cidr:
9
    - "127.0.0.0/8"
10
    # - "192.168.0.0/16" #比如我测试ip在这个网段需要注释
11
    - "10.0.0.0/8"
12
    - "172.16.0.0/12"
13

14
systemctl reload crowdsec
15
tail -f /var/log/crowdsec.log
16
......
17
time="2025-08-21T10:30:03+08:00" level=info msg="Ip 192.168.10.100 performed 'crowdsecurity/http-generic-test' (1 events over 0s) at 2025-08-21 02:30:03.614720769 +0000 UTC"
18
time="2025-08-21T10:30:03+08:00" level=info msg="(f3ae08a73a984eaa86ed2325bbae816dvIPsfAPcQL7VPmNo) alert : crowdsecurity/http-generic-test by ip 192.168.10.100"

展开收起

5 补充#

5.1 traefik#

1
### 5.3 安装插件
2
```bash
3
# 解析器
4
cscli parsers install crowdsecurity/traefik-logs
5
# 规则
6
cscli scenarios install aidalinfo/tcpudp-flood-traefik

5.2 配置日志路径#

Terminal window

1
filenames:
2
  - /data/server/traefik/logs/*.log
3
labels:
4
  type: traefik

5.3 Traefik 配置#

5.3.1 日志格式#

Terminal window

1
log:
2
  level: WARN
3
  format: json
4
  filePath: /logs/log.log

5.3.2 限流设置#

[!attention] 默认没有像 nginx 访问次数过得放到黑名单功能, 需要手动写

1
rateLimit:
2
  average: 200
3
  burst: 400
4
  period: 1m
5
  sourceCriterion:
6
    ipStrategy: {}

5.3.2.1 判断脚本#

[!info] 参考 nginx-req-limit-exceeded 修改, 5 分钟内出现 10 次 429 就会把 ip 拉进黑名单

Terminal window展开收起

1
vim /etc/crowdsec/scenarios/http-too-many-429.yaml
2
type: trigger
3
name: crowdsecurity/http-too-many-429
4
description: "Trigger when too many HTTP 429 responses are detected from an IP"
5
filter: >
6
  evt.Meta.log_type in ["http_access-log", "http_error-log"]
7
  and evt.Meta.http_status == "429"
8
blackhole: 5m
9
groupby: "evt.Meta.source_ip"
10
capacity: 10
11
leak_speed: "5m"
12
labels:
13
  confidence: 2
14
  spoofable: 3
15
  behavior: "http:too_many_429"
16
  label: "HTTP Abuse - Too many 429 responses"
17
  service: http
18
  remediation: true
19

20
systemctl reload crowdsec
21
cscli scenarios list |grep 429
22
 crowdsecurity/http-too-many-429                   🏠  enabled,local           /etc/crowdsec/scenarios/http-too-many-429.yaml

展开收起

5.4 测试#

Terminal window

1
# 访问指定接口
2
time="2025-08-21T11:24:20+08:00" level=info msg="Ip 58.58.46.222 performed 'crowdsecurity/http-generic-test' (1 events over 0s) at 2025-08-21 03:24:20.155108373 +0000 UTC"
3
time="2025-08-21T11:24:20+08:00" level=info msg="(baf616cd5658442f8ee0e8b9bf75b504EnzI0rjx9lA2AwQN) alert : crowdsecurity/http-generic-test by ip 58.58.46.222 (CN/4134)"
4
time="2025-08-21T11:24:22+08:00" level=info msg="Signal push: 1 signals to push"
5

6
# 暴力访问
7
time="2025-08-21T13:36:33+08:00" level=info msg="Ip 58.58.46.222 performed 'crowdsecurity/http-too-many-429' (11 events over 120.80587ms) at 2025-08-21 05:36:33.286411245 +0000 UTC"
8
time="2025-08-21T13:36:33+08:00" level=info msg="(baf616cd5658442f8ee0e8b9bf75b504EnzI0rjx9lA2AwQN/crowdsec) crowdsecurity/http-too-many-429 by ip 58.58.46.222 (CN/4134) : 4h ban on Ip 58.58.46.222"

6 监控#

[!attention] 默认只允许本机访问监控接口

Terminal window

1
vim /etc/crowdsec/config.yaml
2
prometheus:
3
  enabled: true
4
  level: aggregated # full所有指标,aggregated最小指标
5
  listen_addr: 192.168.10.102
6
  listen_port: 6060
7

8
systemctl restart crowdsec

dashboards获取

7 多机器规则控制#

[!abstract] 参考文档
此文档使用一个完整安装的 CrowdSec 节点读取其中一个节点 nginx 日志, 然后把规则下发到别的节点 bouncer
完整安装的 CrowdSec负责处理日志,分析日志内容,根据安全场景规则进行匹配,并将生成的警报发送给本地API,Bouncer 会查询LAPI，获取需要执行的防护决策

image.png

7.1 修改 crowdsec 配置#

Terminal window

1
vim /etc/crowdsec/config.yaml
2
api:
3
  server:
4
    log_level: info
5
    listen_uri: 192.168.10.102:8080
6
    auto_registration:
7
      enabled: true
8
      token: "VEcdkTmx00BqVChVYd7z165RD1vrPEFoUr27A19IXXFK893vtI6Kk6lI9rgBFUa8" #最少32字符
9
      allowed_ranges:
10
        - 192.168.10.0.0/24 # 要加入的网段
11

12
# 不修改这里会启动失败
13
vim /etc/crowdsec/local_api_credentials.yaml
14
url: http://192.168.10.102:8080

7.2 bouncers 配置#

7.3 crowdsec 节点操作#

删除默认的bouncers

Terminal window

1
cscli bouncers list
2
 Name                            IP Address  Valid  Last API pull
3
──────────────────────────────────────────────────────────────────────────────────
4
 cs-firewall-bouncer-1755741169  127.0.0.1   ✔️     2025-08-21T06:36:13Z  crowdsec-firewall-bouncer
5

6
cscli bouncers remove cs-firewall-bouncer-1755741169

添加新的bouncers, 记得记录 token

Terminal window

1
$ cscli bouncers add testnouncer-69
2
API key for 'testnouncer-69':
3

4
   PSp7V0zNR1QTa/kMF6c+9RCob7N5g50D08li4BsDIHI # 下一步需要使用
5

6
Please keep this key since you will not be able to retrieve it!
7

8
$ cscli bouncers add testnouncer-70
9
API key for 'testnouncer-70':
10

11
   AxZBJ1l9vxqZMXTxQDAvba7I/QjvNCCxXyt+dwaia30

7.4 bouncer 节点操作#

每个节点配置 api 与 token

Terminal window

1
# 安装
2
dnf -y install crowdsec-firewall-bouncer-iptables
3
# 修改配置
4
vim /etc/crowdsec/bouncers/crowdsec-firewall-bouncer.yaml
5
api_url: http://192.168.10.102:8080/
6
api_key: PSp7V0zNR1QTa/kMF6c+9RCob7N5g50D08li4BsDIHI
7

8
# 重启
9
systemctl restart crowdsec-firewall-bouncer

查看bouncers, 这里加入两个bouncers

Terminal window

1
cscli bouncers list
2
──────────────────────────────────────────────────────────────────────────────────────────
3
 Name             IP Address      Valid  Last API pull         Type
4
──────────────────────────────────────────────────────────────────────────────────────────
5
 testnouncer-69   192.168.10.69   ✔️     2025-08-25T02:10:52Z  crowdsec-firewall-bouncer
6
 testnouncer-70   192.168.10.70   ✔️     2025-08-25T02:10:45Z  crowdsec-firewall-bouncer
7
──────────────────────────────────────────────────────────────────────────────────────────

7.5 测试#

Terminal window展开收起

1
# 完整安装节点查看
2
cscli decisions list
3
╭────────┬──────────┬──────────────────┬────────────────────────────────────────┬────────┬─────────┬────┬────────┬────────────┬──────────╮
4
│   ID   │  Source  │    Scope:Value   │                 Reason                 │ Action │ Country │ AS │ Events │ expiration │ Alert ID │
5
├────────┼──────────┼──────────────────┼────────────────────────────────────────┼────────┼─────────┼────┼────────┼────────────┼──────────┤
6
│ 705002 │ crowdsec │ Ip:192.168.10.68 │ crowdsecurity/nginx-req-limit-exceeded │ ban    │         │    │ 6      │ 3h41m24s   │ 54       │
7
╰────────┴──────────┴──────────────────┴────────────────────────────────────────┴────────┴─────────┴────┴────────┴────────────┴──────────╯
8

9
# bouncers 节点查看
10
iptables -L CROWDSEC_CHAIN -n
11
Chain CROWDSEC_CHAIN (1 references)
12
target     prot opt source               destination
13
# 默认crowdsec规则都放到 crowdsec-blacklists-1 里
14
DROP       0    --  0.0.0.0/0            0.0.0.0/0            match-set crowdsec-blacklists-1 src /* CrowdSec: crowdsec */
15
DROP       0    --  0.0.0.0/0            0.0.0.0/0            match-set crowdsec-blacklists-0 src /* CrowdSec: CAPI */
16
# ipset查看
17
ipset list crowdsec-blacklists-1
18
Name: crowdsec-blacklists-1
19
Type: hash:net
20
Revision: 7
21
Header: family inet hashsize 1024 maxelem 131072 timeout 300 bucketsize 12 initval 0x6c14caa6
22
Size in memory: 536
23
References: 1
24
Number of entries: 1
25
Members:
26
192.168.10.68 timeout 13188

展开收起

Kubespray 国内安装k8s集群

Fri, 01 Aug 2025 09:12:35 GMT

|> [!attention]

部署节点建议使用 k8s 集群完的节点

主机名	IP	配置信息	系统	内核
console	192.168.10.100	CPU: 4C 内存: 8GB 磁盘: 500GB	AlmaLinux 9.6	6.1.147
test-master-101	192.168.10.101	CPU: 4C 内存: 8GB 磁盘: 500GB	AlmaLinux 9.6	6.1.147
test-worker-102	192.168.10.102	CPU: 16 C 内存: 64 GB 磁盘: 500GB	AlmaLinux 9.6	6.1.147
test-worker-103	192.168.10.103	CPU: 16 C 内存: 64 GB 磁盘: 500 GB	AlmaLinux 9.6	6.1.147
test-worker-104	192.168.10.104	CPU: 16 C 内存: 64 GB 磁盘: 500 GB	AlmaLinux 9.6	6.1.147

1 准备环境#

1.1 节点#

Terminal window展开收起

1
# cat <<EOF > /etc/sysctl.d/k8s.conf
2
net.ipv4.ip_forward = 1
3
net.bridge.bridge-nf-call-iptables = 1
4
fs.may_detach_mounts = 1
5
vm.overcommit_memory=1
6
vm.panic_on_oom=0
7
fs.inotify.max_user_watches=89100
8
fs.file-max=52706963
9
fs.nr_open=52706963
10
net.netfilter.nf_conntrack_max=2310720
11

12
net.ipv4.tcp_keepalive_time = 600
13
net.ipv4.tcp_keepalive_probes = 3
14
net.ipv4.tcp_keepalive_intvl =15
15
net.ipv4.tcp_max_tw_buckets = 36000
16
net.ipv4.tcp_tw_reuse = 1
17
net.ipv4.tcp_max_orphans = 327680
18
net.ipv4.tcp_orphan_retries = 3
19
net.ipv4.tcp_syncookies = 1
20
net.ipv4.tcp_max_syn_backlog = 16384
21
net.ipv4.ip_conntrack_max = 65536
22
net.ipv4.tcp_max_syn_backlog = 16384
23
net.ipv4.tcp_timestamps = 0
24
net.core.somaxconn = 16384
25

26
net.ipv6.conf.all.disable_ipv6 = 0
27
net.ipv6.conf.default.disable_ipv6 = 0
28
net.ipv6.conf.lo.disable_ipv6 = 0
29
net.ipv6.conf.all.forwarding = 1
30
EOF
31

32
# sysctl --system 生效

展开收起

1
mkdir -p /data/server/kubespray
2
cd /data/server/kubespray
3
# 这里用2.28.0版本
4
wget https://github.com/kubernetes-sigs/kubespray/archive/refs/tags/v2.28.0.tar.gz
5
tar -zxvf kubespray-2.28.0.tar.gz
6
cd kubespray-2.28.0.tar.gz
7

8
cat docker-compose.yaml
9
services:
10
  kubespray:
11
    image: quay.io/kubespray/kubespray:v2.28.0
12
    command: tail -f /dev/null
13
    restart: always
14
    container_name: kubespray
15
    volumes:
16
      - ./kubespray-2.28.0:/kubespray
17
      - /home/kubespray-cluster:/kubespray/inventory # 单独把配置文件拆出来更好管理
18
      - /root/.ssh:/root/.ssh
19

20
for image in $(cat images.list); do skopeo copy --insecure-policy --src-tls-verify=false --dest-tls-verify=false  docker://${image} docker://tst-registry.bluethink.local/library/${image#*/}; done

展开收起

1.2 获取离线资源#

Terminal window

1
docker-compose up -d
2
docker exec -it  kubespray bash
3
cd contrib/offline && bash generate_list.sh
4
mv temp /kubespray
5
exit
6
cd kubespray-2.28.0/temp
7
# 修改files.list文件，加上files.m.daocloud.io前缀
8
sed -i "s#https://#https://files.m.daocloud.io/#g" files.list
9

10
# 修改images.list文件，修改成daocloud的镜像加速配置
11
sed -i "s@quay.io@quay.m.daocloud.io@g" images.list
12
sed -i "s@docker.io@docker.m.daocloud.io@g" images.list
13
sed -i "s@registry.k8s.io@k8s.m.daocloud.io@g" images.list
14
sed -i "s@ghcr.io@ghcr.m.daocloud.io@g" images.list

1.2.1 二进制包#

[!info] Wget -x 会根据远程文件的 URL 路径，在本地创建完整的目录结构。
这里使用 dufs 当做 webdav 服务, 数据目录存放在 /data/server/dufs/data

Terminal window展开收起

1
# 执行以下命令将依赖的静态文件全部下载到 temp/kubespray 目录下
2
mkdir -p /data/server/dufs/data
3
wget -x -P temp/kubespray -i temp/files.list
4

5
cd /data/server/dufs
6
cat docker-compose.yaml
7
services:
8
  dufs:
9
    image: sigoden/dufs
10
    container_name: dufs
11
    network_mode: host
12
    expose:
13
      - "5000"
14
    command: ["data", "--allow-upload", "--allow-search"]
15
    volumes:
16
      - ./data:/data
17
    restart: always
18
    environment:
19
      TZ: 'Asia/Shanghai'
20

21
docker-compose up -d
22

23
# 浏览器访问测试
24
http://$ip:5000/kubespray/

展开收起

1.2.2 容器镜像#

[!info] ${image#*/}，Shell 参数扩展语法，移除镜像名称中第一个/及其之前的所有字符

Terminal window

1
cd /data/server/kubespray/kubespray-2.28.0/temp
2
for image in $(cat images.list); do skopeo copy --insecure-policy --src-tls-verify=false --dest-tls-verify=false  docker://${image} docker://tst-registry.bluethink.local/library/${image#*/}; done

2 配置 Kubespray#

2.1 节点配置#

Terminal window展开收起

1
cd /data/server/kubespray/kubespray-2.28.0
2
cp -rf inventory/sample/ /home/kubespray-cluster/test_cluster/
3
cd /home/kubespray-cluster/test_cluster/
4
cat inventory.ini
5
[kube_control_plane]
6
master-101 ansible_host=192.168.10.101 ip=192.168.10.101 etcd_member_name=etcd1
7

8
[etcd:children]
9
kube_control_plane
10

11
[kube_node]
12
test-worker-102 ansible_host=192.168.10.102 ip=192.168.10.102
13
test-worker-103 ansible_host=192.168.10.103 ip=192.168.10.103
14
test-worker-104 ansible_host=192.168.10.104 ip=192.168.10.104
15

16
# 修改ntp服务器地址
17
cat group_vars/all/all.yml
18
ntp_enabled: true
19
ntp_manage_config: false
20
ntp_servers:
21
  - "ntp1.aliyun.com"
22
  - "ntp2.aliyun.com"
23
  - "ntp3.aliyun.com"
24
  - "s1c.time.edu.cn"
25
  - "ntp.ntsc.ac.cn"
26
  - "cn.ntp.org.cn"
27
# 开启日志
28
unsafe_show_logs: true

展开收起

2.2 k8s 配置#

此文件修改以下内容

Terminal window展开收起

1
cat group_vars/k8s_cluster/k8s-cluster.yml
2
kube_network_plugin: calico # Kubernetes 网络插件
3
kube_service_addresses: 10.233.0.0/18 # Service 的 ClusterIP 地址范围
4
kube_pods_subnet: 10.233.64.0/18 # Pod 的 IP 地址范围
5
kube_network_node_prefix: 24 # 分配给每个节点的 Pod IP 子网前缀长度
6
kube_apiserver_port: 6443  # (https) # API Server 端口
7
kube_proxy_mode: ipvs # Kube-proxy 代理模式
8
cluster_name: tst-cluster.local # 集群名称/DNS 域
9
dns_mode: coredns # DNS 模式
10
container_manager: containerd # 容器运行时
11
k8s_image_pull_policy: IfNotPresent # 镜像拉取策略
12
event_ttl_duration: "1h0m0s" # 事件保留时长
13
auto_renew_certificates: true # 自动续订证书
14
kube_proxy_nodeport_addresses: ["primary"]
15
# 离线下载相关配置
16
download_run_once: false
17
download_localhost: false
18
download_force_cache: false

展开收起

2.3 Containerd 配置#

[!attention] 当前部署脚本使用的 containerd 2.x, 导致以前的私有库配置不生效
参考: Issue #12296
需要每个节点手动添加 /root/.docker/config.json,pull镜像使用的nerdctl, 提前 login
手动批量登录#
ansible -i k8s host-all -m command -a “nerdctl login —insecure-registry hjq-registry.bluethink.cn: 80 -u ccops -p 1123 “
手动批量替换#
ansible -i k8s redis -m command -a “sed -i ‘s/registry.bluethink.cn:80/registry.bluethink.cn/g’ /root/.docker/config.json”

Terminal window展开收起

1
vim ../../roles/container-engine/containerd/templates/config.toml.j2
2
[plugins."io.containerd.cri.v1.images".registry]
3
  config_path = "{{ containerd_cfg_dir }}/certs.d"
4
# 此段下面添加
5
{% for registry in containerd_registry_auth if registry['registry'] is defined %}
6
{% if (registry['username'] is defined and registry['password'] is defined) or registry['auth'] is defined %}
7
    [plugins."io.containerd.cri.v1.images".registry.configs."{{ registry['registry'] }}".auth]
8
{% if registry['username'] is defined and registry['password'] is defined %}
9
      password = "{{ registry['password'] }}"
10
      username = "{{ registry['username'] }}"
11
{% else %}
12
      auth = "{{ registry['auth'] }}"
13
{% endif %}
14
{% endif %}
15
{% endfor %}
16

17
# 默认从https改为http
18
vim ../../roles/container-engine/containerd/templates/hosts.toml.j2
19
server = "{{ item.server | default("http://" + item.prefix) }}"

展开收起

2.3.1 配置私有库#

Terminal window

1
cat group_vars/all/containerd.yml
2
---
3
containerd_storage_dir: "/data/containerd"
4
containerd_state_dir: "/run/containerd"
5
containerd_oom_score: 0
6

7
containerd_grpc_max_recv_message_size: 16777216
8
containerd_grpc_max_send_message_size: 16777216
9

10
containerd_debug_level: "info"
11

12

13
containerd_max_container_log_line_size: 16384

2.3.2 Calico 配置#

1
cat group_vars/k8s_cluster/k8s-net-calico.yml
2
calico_cni_name: k8s-pod-network
3
calico_pool_blocksize: 26
4
global_as_num: "64512"
5
calico_network_backend: bird
6
calico_ipip_mode: 'CrossSubnet'
7
calico_vxlan_mode: 'Never'
8
calico_ip_auto_method: "interface=ens192"

2.4 配置离线安装#

Terminal window展开收起

1
cat group_vars/all/offline.yml
2
---
3
registry_host: "tst-registry.bluethink.local/library" #镜像仓库地址
4
files_repo: "http://192.168.10.100:5000/kubespray" #dufs地址
5

6
containerd_registries_mirrors:
7
  - prefix: "{{ registry_host }}"
8
    mirrors:
9
      - host: "{{ registry_host }}"
10
        capabilities: ["pull", "resolve"]
11
        skip_verify: true
12
containerd_registry_auth:
13
  - registry: tst-registry.bluethink.local
14
    username: bluethink
15
    password: 1qaz@WSX
16

17
kube_image_repo: "{{ registry_host }}"
18
gcr_image_repo: "{{ registry_host }}"
19
github_image_repo: "{{ registry_host }}"
20
docker_image_repo: "{{ registry_host }}"
21
quay_image_repo: "{{ registry_host }}"
22

23
kubeadm_download_url: "{{ files_repo }}/dl.k8s.io/release/v{{ kube_version }}/bin/linux/{{ image_arch }}/kubeadm"
24
kubectl_download_url: "{{ files_repo }}/dl.k8s.io/release/v{{ kube_version }}/bin/linux/{{ image_arch }}/kubectl"
25
kubelet_download_url: "{{ files_repo }}/dl.k8s.io/release/v{{ kube_version }}/bin/linux/{{ image_arch }}/kubelet"
26

27
cni_download_url: "{{ files_repo }}/github.com/containernetworking/plugins/releases/download/v{{ cni_version }}/cni-plugins-linux-{{ image_arch }}-v{{ cni_version }}.tgz"
28

29
crictl_download_url: "{{ files_repo }}/github.com/kubernetes-sigs/cri-tools/releases/download/v{{ crictl_version }}/crictl-v{{ crictl_version }}-{{ ansible_system | lower }}-{{ image_arch }}.tar.gz"
30

31
etcd_download_url: "{{ files_repo }}/github.com/etcd-io/etcd/releases/download/v{{ etcd_version }}/etcd-v{{ etcd_version }}-linux-{{ image_arch }}.tar.gz"
32

33
calicoctl_download_url: "{{ files_repo }}/github.com/projectcalico/calico/releases/download/v{{ calico_ctl_version }}/calicoctl-linux-{{ image_arch }}"
34
calico_crds_download_url: "{{ files_repo }}/github.com/projectcalico/calico/archive/v{{ calico_version }}.tar.gz"
35

36
ciliumcli_download_url: "{{ files_repo }}/github.com/cilium/cilium-cli/releases/download/v{{ cilium_cli_version }}/cilium-linux-{{ image_arch }}.tar.gz"
37

38
helm_download_url: "{{ files_repo }}/get.helm.sh/helm-v{{ helm_version }}-linux-{{ image_arch }}.tar.gz"
39

40
crun_download_url: "{{ files_repo }}/github.com/containers/crun/releases/download/{{ crun_version }}/crun-{{ crun_version }}-linux-{{ image_arch }}"
41

42
kata_containers_download_url: "{{ files_repo }}/github.com/kata-containers/kata-containers/releases/download/{{ kata_containers_version }}/kata-static-{{ kata_containers_version }}-{{ image_arch }}.tar.xz"
43

44
cri_dockerd_download_url: "{{ files_repo }}/github.com/Mirantis/cri-dockerd/releases/download/v{{ cri_dockerd_version }}/cri-dockerd-{{ cri_dockerd_version }}.{{ image_arch }}.tgz"
45

46
runc_download_url: "{{ files_repo }}/github.com/opencontainers/runc/releases/download/v{{ runc_version }}/runc.{{ image_arch }}"
47

48
crio_download_url: "{{ files_repo }}/storage.googleapis.com/cri-o/artifacts/cri-o.{{ image_arch }}.v{{ crio_version }}.tar.gz"
49
skopeo_download_url: "{{ files_repo }}/github.com/lework/skopeo-binary/releases/download/v{{ skopeo_version }}/skopeo-linux-{{ image_arch }}"
50

51
containerd_download_url: "{{ files_repo }}/github.com/containerd/containerd/releases/download/v{{ containerd_version }}/containerd-{{ containerd_version }}-linux-{{ image_arch }}.tar.gz"
52
nerdctl_download_url: "{{ files_repo }}/github.com/containerd/nerdctl/releases/download/v{{ nerdctl_version }}/nerdctl-{{ nerdctl_version }}-{{ ansible_system | lower }}-{{ image_arch }}.tar.gz"
53

54
gvisor_runsc_download_url: "{{ files_repo }}/storage.googleapis.com/gvisor/releases/release/{{ gvisor_version }}/{{ ansible_architecture }}/runsc"
55
gvisor_containerd_shim_runsc_download_url: "{{ files_repo }}/storage.googleapis.com/gvisor/releases/release/{{ gvisor_version }}/{{ ansible_architecture }}/containerd-shim-runsc-v1"

展开收起

3 部署集群#

Terminal window

1
# ansible-playbook -i inventory/test_cluster/inventory.ini reset.yml -b # 重置k8s集群
2
# 单独安装某个组件
3
# ansible-playbook -i inventory/mycluster/hosts.yaml cluster.yml --tags=containerd --user=root -b -v cluster.yml
4
# ansible-playbook -i inventory/mycluster/hosts.yaml cluster.yml --tags=download --user=root -b -v cluster.yml
5
# ansible-playbook -i inventory/vld_cluster/inventory.ini --user=root -b -v upgrade-cluster.yml 升级集群
6
ansible-playbook -i inventory/test_cluster/inventory.ini --tags=download  --user=root -b -v cluster.yml
7
  ansible-playbook -i inventory/test_cluster/inventory.ini --user=root -b -v cluster.yml # 重新部署

通过 Ngnix 日志监控

Thu, 01 May 2025 17:25:58 GMT

1 Nginx#

1.1 安装#

Terminal window展开收起

1
yum -y install yum-utils
2
vim /etc/yum.repos.d/nginx.repo
3
[nginx-stable]
4
name=nginx stable repo
5
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
6
gpgcheck=1
7
enabled=1
8
gpgkey=https://nginx.org/keys/nginx_signing.key
9
module_hotfixes=true
10

11
[nginx-mainline]
12
name=nginx mainline repo
13
baseurl=http://nginx.org/packages/mainline/centos/$releasever/$basearch/
14
gpgcheck=1
15
enabled=0
16
gpgkey=https://nginx.org/keys/nginx_signing.key
17
module_hotfixes=true
18
yum -y install nginx

展开收起

1.2 配置#

Terminal window展开收起

1
vim /etc/nginx/nginx.conf
2
    map "$time_iso8601 # $msec" $time_iso8601_ms { "~(^[^+]+)(\+[0-9:]+) # \d+\.(\d+)$" $1.$3$2; }
3
    log_format main
4
        '{"timestamp":"$time_iso8601_ms",'
5
        '"server_ip":"$server_addr",'
6
        '"remote_ip":"$remote_addr",'
7
        '"xff":"$http_x_forwarded_for",'
8
        '"remote_user":"$remote_user",'
9
        '"domain":"$host",'
10
        '"url":"$request_uri",'
11
        '"referer":"$http_referer",'
12
        '"upstreamtime":"$upstream_response_time",'
13
        '"responsetime":"$request_time",'
14
        '"request_method":"$request_method",'
15
        '"status":"$status",'
16
        '"response_length":"$bytes_sent",'
17
        '"request_length":"$request_length",'
18
        '"protocol":"$server_protocol",'
19
        '"upstreamhost":"$upstream_addr",'
20
        '"http_user_agent":"$http_user_agent"'
21
        '}';

展开收起

2 Clickhouse#

2.1 准备配置文件#

Terminal window展开收起

1
cat >> docker-compose.yml <<EOF
2
services:
3
  clickhouse:
4
    image: clickhouse:25.6
5
    container_name: clickhouse
6
    network_mode: host
7
    restart: always
8
    expose:
9
      - "8123"
10
      - "9000"
11
    volumes:
12
      #- ./config/docker_related_config.xml:/etc/clickhouse-server/config.d/docker_related_config.xml:rw
13
      #- ./config/config.xml:/etc/clickhouse-server/config.xml:rw
14
      #- ./config/users.xml:/etc/clickhouse-server/users.xml:rw
15
      - /etc/localtime:/etc/localtime:ro
16
      - ./log:/var/log/clickhouse-server
17
      - ./data:/var/lib/clickhouse/:rw
18
EOF
19
mkdir config
20
docker cp clickhouse:/etc/clickhouse-server/config.xml ./config
21
docker cp clickhouse:/etc/clickhouse-server/users.xml ./config
22
docker cp clickhouse:/etc/clickhouse-server/config.d/docker_related_config.xml ./config

展开收起

2.2 关闭监听地址#

Terminal window

1
# 第3行如下：
2
vim config/docker_related_config.xml
3
<clickhouse>
4
     <!-- Listen wildcard address to allow accepting connections from other containers and host network. -->
5
    <!-- listen_host>::</listen_host -->

2.3 配置主文件#

1
cat >> config/config.xml <<EOF
2
<clickhouse replace="true">
3
    <logger>
4
        <level>debug</level>
5
        <log>/var/log/clickhouse-server/clickhouse-server.log</log>
6
        <errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog>
7
        <size>1000M</size>
8
        <count>3</count>
9
    </logger>
10
    <display_name>ch_accesslog</display_name>
11
    <listen_host>0.0.0.0</listen_host>
12
    <http_port>8123</http_port>
13
    <tcp_port>9000</tcp_port>
14
    <user_directories>
15
        <users_xml>
16
            <path>users.xml</path>
17
        </users_xml>
18
        <local_directory>
19
            <path>/var/lib/clickhouse/access/</path>
20
        </local_directory>
21
    </user_directories>
22
</clickhouse>
23

24
EOF

展开收起

2.4 配置用户#

这里我都配置一个密码了

Terminal window展开收起

1
#PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'
2
#9aiHCto/
3
#885551fc11e6ce714c2a947f0fb958945c84804c1cfcff575b67ea795ef357ef
4
#方便查看我没有加密,如果需要加密<password>1qaz@WSX</password>修改错下面这段
5
#<password_sha256_hex>885551fc11e6ce714c2a947f0fb958945c84804c1cfcff575b67ea795ef357ef</password_sha256_hex>
6

7
cat config/users.xml
8
<clickhouse>
9
    <profiles>
10
        <default>
11
        </default>
12
        <readonly>
13
            <readonly>1</readonly>
14
        </readonly>
15

16
    </profiles>
17
    <users>
18
        <default>
19
            <password>1qaz@WSX</password>
20
            <networks>
21
                <ip>::/0</ip>
22
            </networks>
23
            <profile>default</profile>
24
            <quota>default</quota>
25
            <access_management>1</access_management>
26
            <named_collection_control>1</named_collection_control>
27
        </default>
28
        <nginx>
29
            <password>1qaz@WSX</password>
30
            <networks>
31
                <ip>::/0</ip>
32
            </networks>
33
            <profile>default</profile>
34
            <access_management>1</access_management>
35
            <quota>default</quota>
36
            <access_management>1</access_management>
37
            <named_collection_control>1</named_collection_control>
38
        </nginx>
39
    </users>
40

41
    <quotas>
42
        <default>
43
            <interval>
44
                <duration>3600</duration>
45
                <queries>0</queries>
46
                <errors>0</errors>
47
                <result_rows>0</result_rows>
48
                <read_rows>0</read_rows>
49
                <execution_time>0</execution_time>
50
            </interval>
51
        </default>
52
    </quotas>
53
</clickhouse>

展开收起

2.5 创建数据库#

Terminal window展开收起

1
docker exec -it clickhouse clickhouse-client --user nginx --password 1qaz@WSX
2
ch_accesslog :)
3
CREATE DATABASE IF NOT EXISTS nginxlogs ENGINE=Atomic;
4

5
CREATE TABLE nginxlogs.nginx_access
6
(
7
    `timestamp` DateTime64(3, 'Asia/Shanghai'),
8
    `server_ip` String,
9
    `domain` String,
10
    `request_method` String,
11
    `status` Int32,
12
    `top_path` String,
13
    `path` String,
14
    `query` String,
15
    `protocol` String,
16
    `referer` String,
17
    `upstreamhost` String,
18
    `responsetime` Float32,
19
    `upstreamtime` Float32,
20
    `duration` Float32,
21
    `request_length` Int32,
22
    `response_length` Int32,
23
    `client_ip` String,
24
    `client_latitude` Float32,
25
    `client_longitude` Float32,
26
    `remote_user` String,
27
    `remote_ip` String,
28
    `xff` String,
29
    `client_city` String,
30
    `client_region` String,
31
    `client_country` String,
32
    `http_user_agent` String,
33
    `client_browser_family` String,
34
    `client_browser_major` String,
35
    `client_os_family` String,
36
    `client_os_major` String,
37
    `client_device_brand` String,
38
    `client_device_model` String,
39
    `createdtime` DateTime64(3, 'Asia/Shanghai')
40
)
41
ENGINE = MergeTree
42
PARTITION BY toYYYYMMDD(timestamp)
43
PRIMARY KEY (timestamp,
44
 server_ip,
45
 status,
46
 top_path,
47
 domain,
48
 upstreamhost,
49
 client_ip,
50
 remote_user,
51
 request_method,
52
 protocol,
53
 responsetime,
54
 upstreamtime,
55
 duration,
56
 request_length,
57
 response_length,
58
 path,
59
 referer,
60
 client_city,
61
 client_region,
62
 client_country,
63
 client_browser_family,
64
 client_browser_major,
65
 client_os_family,
66
 client_os_major,
67
 client_device_brand,
68
 client_device_model
69
)
70
TTL toDateTime(timestamp) + toIntervalDay(30)
71
SETTINGS index_granularity = 8192;

展开收起

3 Grafana#

3.1 安装插件#

Terminal window

1
docker container exec -it grafana grafana cli plugins install grafana-clickhouse-datasource
2
docker restart grafana

3.2 测试访问 Clickhouse#

image.png

4 部署Vector采集日志#

4.1 Vector部署#

Terminal window展开收起

1
# 创建部署目录和docker-compose.yaml
2
mkdir -p /data/server/vector/conf
3
cd /data/server/vector
4
touch access_vector_error.log
5
wget https://raw.githubusercontent.com/P3TERX/GeoLite.mmdb/download/GeoLite2-City.mmdb
6
cat <<-EOF > docker-compose.yaml
7
services:
8
  vector:
9
    image: timberio/vector:0.48.X-alpine
10
    container_name: vector
11
    hostname: vector
12
    restart: always
13
    entrypoint: vector --config-dir /etc/vector/conf
14
    ports:
15
      - 8686:8686
16
    volumes:
17
      - /var/log/nginx:/nginx_logs  # 这是需要采集的日志的路径需要挂载到容器内
18
      - ./access_vector_error.log:/tmp/access_vector_error.log
19
      - ./GeoLite2-City.mmdb:/etc/vector/GeoLite2-City.mmdb
20
      - ./conf:/etc/vector/conf
21
      - /etc/localtime:/etc/localtime
22
EOF

展开收起

4.2 Vector配置#

Terminal window

1
cd conf
2
cat <<-EOF > vector.yaml
3
timezone: "Asia/Shanghai"
4
api:
5
  enabled: true
6
  address: "0.0.0.0:8686"
7
EOF

4.2.1 Nginx 日志采集#

1
vim nginx-access.yaml
2
sources:
3
  01_file_nginx_access:
4
    type: file
5
    include:
6
      - /nginx_logs/access.log  #nginx请求日志路径
7
transforms:
8
  02_parse_nginx_access:
9
    drop_on_error: true
10
    reroute_dropped: true
11
    type: remap
12
    inputs:
13
      - 01_file_nginx_access
14
    source: |
15
      .message = string!(.message)
16
      if contains(.message,"\\x") { .message = replace(.message, "\\x", "\\\\x") }
17
      . = parse_json!(.message)
18
      .createdtime = to_unix_timestamp(now(), unit: "milliseconds")
19
      .timestamp = to_unix_timestamp(parse_timestamp!(.timestamp , format: "%+"), unit: "milliseconds")
20
      .url_list = split!(.url, "?", 2)
21
      .path = .url_list[0]
22
      .query = .url_list[1]
23
      .path_list = split!(.path, "/", 3)
24
      if length(.path_list) > 2 {.top_path = join!(["/", .path_list[1]])} else {.top_path = "/"}
25
      .duration = round(((to_float(.responsetime) ?? 0) - (to_float(.upstreamtime) ?? 0)) ?? 0,3)
26
      if .xff == "-" { .xff = .remote_ip }
27
      .client_ip = split!(.xff, ",", 2)[0]
28
      .ua = parse_user_agent!(.http_user_agent , mode: "enriched")
29
      .client_browser_family = .ua.browser.family
30
      .client_browser_major = .ua.browser.major
31
      .client_os_family = .ua.os.family
32
      .client_os_major = .ua.os.major
33
      .client_device_brand = .ua.device.brand
34
      .client_device_model = .ua.device.model
35
      .geoip = get_enrichment_table_record("geoip_table", {"ip": .client_ip}) ?? {"city_name":"unknown","region_name":"unknown","country_name":"unknown"}
36
      .client_city = .geoip.city_name
37
      .client_region = .geoip.region_name
38
      .client_country = .geoip.country_name
39
      .client_latitude = .geoip.latitude
40
      .client_longitude = .geoip.longitude
41
      del(.path_list)
42
      del(.url_list)
43
      del(.ua)
44
      del(.geoip)
45
      del(.url)
46
sinks:
47
  03_ck_nginx_access:
48
    type: clickhouse
49
    inputs:
50
      - 02_parse_nginx_access
51
    endpoint: http://192.168.1.241:8123  #clickhouse http接口
52
    database: nginxlogs  #clickhouse 库
53
    table: nginx_access  #clickhouse 表
54
    auth:
55
      strategy: basic
56
      user: nginx  #clickhouse 用户
57
      password: 1qaz@WSX  #clickhouse 密码
58
    compression: gzip
59
  04_out_nginx_dropped:
60
    type: file
61
    inputs:
62
      - 02_parse_nginx_access.dropped
63
    path: /tmp/access_vector_error.log  #解析异常的日志
64
    encoding:
65
      codec: json
66
enrichment_tables:
67
  geoip_table:
68
    path: "/etc/vector/GeoLite2-City.mmdb"
69
    type: geoip
70
    locale: "zh-CN"

展开收起

5 Grafana Dashboards#

NGINX请求日志分析看板 20241024 StarsL.cn | Grafana Labs

image.png

6 告警#

[!info] 这里使用夜莺告警, 原理差不多, 主要是查询语句

6.1 分钟内 Xx 域名放过 500 次数#

1
SELECT count() AS error_count
2
FROM nginxlogs.nginx_access
3
WHERE
4
  status >= 500
5
  AND domain = 'xx.ccops.cc'
6
  AND timestamp >= now() - toIntervalMinute(5)

文章参考: 云原生日志平台：采集、可视化分析、监控全实践

如何安全的备份Kubernetes

Tue, 29 Apr 2025 16:25:58 GMT

一, 备份ETCD#

1 备份脚本#

1
cat /data/etcd_backup_dir/etcd_backup.sh
2
#!/bin/bash
3
date;
4
CACERT="/etc/ssl/etcd/ssl/ca.pem"
5
CERT="/etc/ssl/etcd/ssl/admin-${hostname}.pem" # 证书路径,因为我的文件名里有主机名这里些好吃呢个变量
6
EKY="/etc/ssl/etcd/ssl/admin-${hostname}-key.pem"
7
IP=$(hostname -I | awk '{print $1}')
8
ENDPOINTS="${IP}:2379"
9
ETCDCTL_API=3 etcdctl \
10
--cacert="${CACERT}" --cert="${CERT}" --key="${EKY}" \
11
--endpoints=${ENDPOINTS} \
12
snapshot save /data/etcd_backup_dir/etcd-snapshot-`date +%Y%m%d`.db
13
# 备份到/data/etcd_backup_dir/下
14
# 备份保留30天
15
find /data/etcd_backup_dir/ -name *.db -mtime +30 -exec rm -f {} \;

展开收起

2 定时任务#

Terminal window

1
crontab -e
2
0 23 * * 6 sh /data/etcd_backup_dir/etcd_backup.sh

二, 使用Velero备份#

[!hint] 主要优势

部分恢复而非全集群恢复

跨集群迁移资源

更灵活的备份策略管理

选择性备份特定资源

Velero包含：在集群上运行的服务器与本地运行的命令行客户端这两部分

1 客户端安装#

选择最新版本下载

Terminal window

1
tar -zxvf velero-v1.16.0-linux-amd64.tar.gz
2
mv velero-v1.16.0-linux-amd64/velero /usr/bin/
3
velero version
4
Client:
5
        Version: v1.16.0
6
        Git commit: 8f31599fe4af5453dee032beaf8a16bd75de91a5
7
<error getting server version: no matches for kind "ServerStatusRequest" in version "velero.io/v1">
8
# 命令补全
9
velero completion bash >/etc/profile.d/velero.sh

2 服务端安装#

2.1 镜像准备#

Terminal window

1
docker pull ccr.ccs.tencentyun.com/ccops/all:velero-v1.16.0
2
docker pull ccr.ccs.tencentyun.com/ccops/all:velero-plugin-for-aws-v1.12.0

2.2 存储准备#

[!attention] 只要是符合s3协议即可,官方带了个minio部署到k8s的yaml 带的这个没做数据持久化,并且还是弱密码,修改下

1
cat velero-v1.16.0-linux-amd64/examples/minio/00-minio-deployment.yaml
2
---
3
apiVersion: v1
4
kind: Namespace
5
metadata:
6
  name: velero
7

8
---
9
apiVersion: apps/v1
10
kind: Deployment
11
metadata:
12
  namespace: velero
13
  name: minio
14
  labels:
15
    component: minio
16
spec:
17
  strategy:
18
    type: Recreate
19
  selector:
20
    matchLabels:
21
      component: minio
22
  template:
23
    metadata:
24
      labels:
25
        component: minio
26
    spec:
27
      nodeSelector:
28
        minio.storage.sys: "yes"
29
      volumes:
30
      - name: storage
31
        hostPath:
32
         path: /data/server/velero-minio/data
33
         type: DirectoryOrCreate
34
      - name: config
35
        hostPath:
36
         path: /data/server/velero-minio/config
37
         type: DirectoryOrCreate
38
      containers:
39
      - name: minio
40
        image: quay.io/minio/minio:latest
41
        imagePullPolicy: IfNotPresent
42
        args:
43
        - server
44
        - /storage
45
        - --config-dir=/config
46
        env:
47
        - name: MINIO_ACCESS_KEY
48
          value: "velero-minio"
49
        - name: MINIO_SECRET_KEY
50
          value: "1qaz@WSX"
51
        ports:
52
        - containerPort: 9000
53
        volumeMounts:
54
        - name: storage
55
          mountPath: "/storage"
56
        - name: config
57
          mountPath: "/config"
58

59
---
60
apiVersion: v1
61
kind: Service
62
metadata:
63
  namespace: velero
64
  name: minio
65
  labels:
66
    component: minio
67
spec:
68
  type: ClusterIP
69
  ports:
70
    - port: 9000
71
      targetPort: 9000
72
      protocol: TCP
73
  selector:
74
    component: minio
75

76
---
77
apiVersion: batch/v1
78
kind: Job
79
metadata:
80
  namespace: velero
81
  name: minio-setup
82
  labels:
83
    component: minio
84
spec:
85
  template:
86
    metadata:
87
      name: minio-setup
88
    spec:
89
      restartPolicy: OnFailure
90
      nodeSelector:
91
        minio.storage.sys: "yes"
92
      volumes:
93
      - name: config
94
        hostPath:
95
         path: /data/server/velero-minio/config
96
         type: DirectoryOrCreate
97
      containers:
98
      - name: mc
99
        image: quay.io/minio/mc:latest
100
        imagePullPolicy: IfNotPresent
101
        command:
102
        - /bin/sh
103
        - -c
104
        - "mc --config-dir=/config config host add velero http://minio:9000 velero-minio 1qaz@WSX && mc --config-dir=/config mb -p velero/velero"
105
        volumeMounts:
106
        - name: config
107
          mountPath: "/config"
108
# 给节点打标签
109
kubectl label nodes <node-name> minio.storage.sys=yes
110

111
kubectl apply -f velero-v1.16.0-linux-amd64/examples/minio/00-minio-deployment.yaml
112
namespace/velero created
113
deployment.apps/minio created
114
service/minio created
115
job.batch/minio-setup created
116

117
kubectl get pod -n velero
118
NAME                    READY   STATUS      RESTARTS   AGE
119
minio-cd47fcf59-sm2gn   1/1     Running     0          103s
120
minio-setup-smb9p       0/1     Completed   0          103s

展开收起

2.3 安装服务端#

[!attention] 建议存到文件里网上都是直接命令行,如果以后升级不好维护,建议存储到文件里

1
cat velero-install.sh
2

3
#!/bin/bash
4
cat > credentials-velero << EOF
5
[default]
6
aws_access_key_id = velero-minio
7
aws_secret_access_key = 1qaz@WSX
8
EOF
9

10
velero install    \
11
   --image ccr.ccs.tencentyun.com/ccops/all:velero-v1.16.0  \
12
   --plugins ccr.ccs.tencentyun.com/ccops/all:velero-plugin-for-aws-v1.12.0  \
13
   --provider aws   \
14
   --bucket velero   \
15
   --namespace velero  \
16
   --secret-file ./credentials-velero  \
17
   --use-volume-snapshots=false   \
18
   --backup-location-config region=minio,s3ForcePathStyle="true",s3Url=http://minio.velero:9000
19

20
sh velero-install.sh
21
CustomResourceDefinition/backuprepositories.velero.io: attempting to create resource
22
CustomResourceDefinition/backuprepositories.velero.io: attempting to create resource client
23
CustomResourceDefinition/backuprepositories.velero.io: created
24
......
25
Deployment/velero: attempting to create resource client
26
Deployment/velero: created
27
Velero is installed! ⛵ Use 'kubectl logs deployment/velero -n velero' to view the status.
28
# 看到这行说明安装没问题
29
kubectl get pod -n velero
30
NAME                      READY   STATUS      RESTARTS   AGE
31
minio-cd47fcf59-sm2gn     1/1     Running     0          36m
32
minio-setup-smb9p         0/1     Completed   0          36m
33
velero-76454754b9-fqqnw   1/1     Running     0          86s

展开收起

3 测试#

3.1 安装测试nginx#

[!attention] 建议存到文件里官网测试的nginx例子pull不下来镜像,自己需要手动改下

Terminal window

1
kubectl apply -f velero-v1.16.0-linux-amd64/examples/nginx-app/base.yaml
2
kubectl get pod -n nginx-example
3
NAME                                READY   STATUS    RESTARTS   AGE
4
nginx-deployment-7f796bc6dc-hxqqd   1/1     Running   0          37s
5
nginx-deployment-7f796bc6dc-pjzxp   1/1     Running   0          21s

3.2 备份#

Terminal window

1
velero backup create nginx-backup --selector app=nginx
2
Backup request "nginx-backup" submitted successfully.
3
Run `velero backup describe nginx-backup` or `velero backup logs nginx-backup` for more details.

3.3 还原#

3.3.1 模拟丢失配置#

Terminal window

1
kubectl delete namespace nginx-example
2
kubectl get ns nginx-example
3
Error from server (NotFound): namespaces "nginx-example" not found

3.3.2 还原#

Terminal window

1
velero restore create --from-backup nginx-backup
2
Restore request "nginx-backup-20250423165832" submitted successfully.
3
Run `velero restore describe nginx-backup-20250423165832` or `velero restore logs nginx-backup-20250423165832` for more details.
4
# 查看还原
5
velero restore get
6
NAME                          BACKUP         STATUS      STARTED                         COMPLETED                       ERRORS   WARNINGS   CREATED                         SELECTOR
7
nginx-backup-20250423165832   nginx-backup   Completed   2025-04-23 16:58:32 +0800 CST   2025-04-23 16:58:33 +0800 CST   0        1   2025-04-23 16:58:32 +0800 CST   <none>
8
# 查看恢复的pod
9
kubectl get pod -n nginx-example
10
NAME                                READY   STATUS    RESTARTS   AGE
11
nginx-deployment-7f796bc6dc-hxqqd   1/1     Running   0          23s
12
nginx-deployment-7f796bc6dc-pjzxp   1/1     Running   0          23s

4 高级备份功能#

Terminal window

1
# 每天1点备份一次nginx-example空间资源
2
velero schedule create nginx-daily --schedule="0 1 * * *" --include-namespaces nginx-example
3
# 备份除"backup=ignore"这个标签的所有资源
4
velero backup create nginx-backup --selector 'backup notin (ignore)'
5
# 每周日0点备份一次所有集群资源，并且设置保留时间2160小时
6
velero create schedule cluster-all --schedule="0 0 * * 0" --ttl 2160h

Jenkins-pipeline进阶使用

Sat, 15 Mar 2025 11:31:50 GMT

[!jenkins文章分为三部分]
第一部分为docker安装Jenkins与常用插件使用,[[Jenkins安装]]
第二部分为运行pipeline并通过k8s pod打包 [[Jenkins-pipeline使用]]
第三部分为,pipeline高阶使用,如map,共享库,此文章

1 复杂情况 dockerfile不通用#

如果buildDockerImage输入dockerfile,使用输入的dockerfile,输入使用,默认全局的DOCKER_DOCKERFILE_ID 同事,这里加了个map,根据不同应用名配置不通jar包路径

1
pipeline {
2
  stages {
3
    stage('镜像制作') {
4
      steps {
5
        container('docker') {
6
          script {
7
            // 定义map,根据不同应用名配置不通jar包路径
8
            def jarPath = [
9
                'app1': 'path/to/app1.jar',
10
                'app2': 'path/to/app2.jar',
11
            ]
12
            jarPathbuildDockerImage("${jarPath[APP_NAME]}")
13
          }
14
        }
15
      }
16
    }
17
  }
18
}
19

20
def buildDockerImage(dockerfileContent = null) {
21
  if (dockerfileContent) {
22
    writeFile file: 'Dockerfile', text: dockerfileContent
23
  } else {
24
    configFileProvider([configFile(fileId: "${DOCKER_DOCKERFILE_ID}", targetLocation: "dockerfile")]){
25
      // 替换dockerfile文件中的变量
26
      def docker = readFile encoding: "UTF-8", file: "dockerfile"
27
      def dockerfile = docker.replaceAll("#APP_NAME","${APP_NAME}")
28
                             .replaceAll("#PROJECT","${PROJECT}")
29
                             .replaceAll("#SW_OAP","${SW_OAP}")
30
                             .replaceAll("#jarPath","${jarPath}")
31
      // 生成新的 dockerfile 部署文件
32
      writeFile encoding: 'UTF-8', file: './Dockerfile', text: "${dockerfile}"
33
    }
34
  }
35
  sh "cat Dockerfile"
36
}

展开收起

2 共享存储库#

[!done] 正常情况有好多pipeline,有些步骤都是重复的,下面简单介绍下如何复用pipeline

2.1 pipeline简单拆分#

1
pipeline {
2
  stages {
3
    stage('拉取代码') {
4
      steps {
5
        script {
6
          checkoutCode()
7
        }
8
      }
9
    }
10
  }
11
}
12
// 迁移到共享库只需要checkoutCode为文件名,函数名换成call
13
def checkoutCode() {
14
  git(credentialsId: "${GIT_ID}", url: "$GIT_URL", branch: "${BRANCH_NAME}", changelog: true, poll: false)
15
}

展开收起

2.2 拆分部分放到共享存储库#

目录结构

Terminal window

1
jenkins-shared-libraries/
2
├── src/ # 公共函数方法，供其他地方调用。
3
│   └── global.groovy
4
├── vars/ # 构建流程主逻辑
5
│   └── checkoutCode.groovy
6
└── (其他如README.md等)

2.3 vars 下例子#

1
# ${xxx}引用的变量对应pipeline里变量
2
cat /vars/checkoutCode.groovy
3
def call() {
4
  git(credentialsId: "${GIT_ID}", url: "$GIT_URL", branch: "${BRANCH_NAME}", changelog: true, poll: false)
5
}

2.4 src 下例子#

[!info] 大部分情况 pipeline 脚本放到 vars 目录就可以简单介绍下 src 目录使用场景: 比如我 pipeline 用了好几个 template 模板文件, 如 dockerfile, deployment, 我每个脚本都要替换里面的变量, 替换变量的操作就可以放到 src 下实现, 如下

2.5 使用共享存储库#

image.png

pipeline里引用

1
@Library('jenkins-shared-libraries@main') _
2
pipeline {
3
  agent any
4
  parameters {
5
    choice choices: ['app1', 'app2'], description: '选择发布程序', name: 'APP_NAME'
6
  }
7
  options { buildDiscarder(logRotator(numToKeepStr: '10', artifactNumToKeepStr: '5')) }
8
  environment {
9
    BRANCH_NAME = '环境名（分支名）'
10
    GIT_ID = 'git凭据名称'
11
    GIT_URL = "https://git.xxx.com/${APP_NAME}.git（git的url）"
12
  }
13
  stages {
14
    stage('拉取代码') {
15
      steps {
16
        script {
17
          checkoutCode()
18
        }
19
      }
20
  }
21
  }
22
}

展开收起

3 多选#

[!success] 有的公司会把所有微服务代码都放到一个仓库,如果每个都进行一次mvn打包时间非常长,这是一个支持一个大仓库根据应用名,打包不同服务的例子
大概内容就是应用名称为目录名,但使用docker部署,不同服务部署到对应节点
需要的插件:

Publish Over SSH

Extended Choice Parameter

Config File Provider

1
pipeline {
2
  parameters {
3
    // 配置多选
4
    extendedChoice name: 'APP_NAME', type: 'PT_CHECKBOX', description: '请勾选所要发布的项目模块', quoteValue: false, saveJSONParameterToFile: false, value: 'schedule,web-township-background', visibleItemCount: 2, multiSelectDelimiter: ',', defaultValue: 'account-server'
5
  }
6
  options { buildDiscarder(logRotator(numToKeepStr: '10', artifactNumToKeepStr: '5')) }
7
  environment {
8
    PROJECT = '项目名'
9
    BRANCH_NAME = '环境名（分支名）'
10
    HARBOR_NAMESPACE = 'docker仓库凭据名称'
11
    GIT_ID = 'git凭据名称'
12
    GIT_URL = "https://git.xxx.com/${APP_NAME}.git（git的url）"
13
    REGISTRY = '镜像仓库地址'
14
    DOCKER_COMPOSE_ID = 'global-docker-compose-file' # docker-compose模板名称
15
    DOCKER_DOCKERFILE_ID = 'global-dockerfile-file' # dockerfile模板
16
    SW_OAP = 'skywalking OPA地址'
17
    ROBOT_ID = '机器人id'
18
  }
19
  agent any
20
  tools {
21
    maven 'maven'
22
    jdk 'jdk8'
23
  }
24
......
25
这部分跟其他的一样,省略
26
......
27
  stages {
28
    stage('镜像制作') {
29
      steps {
30
        script {
31
          // for 上面的多选变量,','分割
32
          for (appName in APP_NAME.tokenize(',')) {
33
            // 按应用名称区分目录,进入到对应的应用目录
34
            dir("${appName}") {
35
              // 进行打包
36
              buildDockerImage(appName)
37
            }
38
          }
39
        }
40
      }
41
    }
42
    stage('更新版本') {
43
      steps {
44
        script {
45
          // 生成字典,分别是应用名,部署节点,应用端口
46
          def App = [
47
            'app1': ['host': 'host-231', 'port': '8080'],
48
            'app2': ['host': 'host-241', 'port': '8081'],
49
          ]
50
          for (appName in APP_NAME.tokenize(',')) {
51
            // 根据应用名称与暴露端口生成对应的docker-ompose.yaml
52
            dockerCompose(appName, App[appName]['port'])
53
            // 发送生成的docker-ompose.yaml文件到对应的节点,然后启动
54
            sshDeploy(appName, App[appName]['host'])
55
          }
56
        }
57
      }
58
    }
59
  }
60
}
61
// 为了省事,方便理解直接写到下面
62
// 制作镜像函数
63
def buildDockerImage(String appName, String port = '') {
64
  // 设置 Docker 镜像名称
65
  def dockerImageName = "${REGISTRY}/${appName}:1.${BUILD_NUMBER}"
66
  if ("${REGISTRY}" == '') {
67
      dockerImageName = "${REGISTRY}/${appName}:1.${BUILD_NUMBER}"
68
  }
69
  // 读取 docker-compose 部署文件
70
  configFileProvider([configFile(fileId: "${DOCKER_COMPOSE_ID}", targetLocation: "docker-compose")]){
71
    // 替换docker-compose文件中的变量
72
    def dockercompose = readFile encoding: "UTF-8", file: "docker-compose"
73
    def dockercomposefile = dockercompose.replaceAll("#APP_NAME","${appName}")
74
                   .replaceAll("#APP_IMAGE_NAME","${dockerImageName}")
75
                   .replaceAll("#APP_PORT","${port}")
76
    // 生成新的 docker-compose 部署文件
77
    writeFile encoding: 'UTF-8', file: 'docker-compose.yml', text: "${dockercomposefile}"
78
  }
79
}
80
// ssh远程更新函数
81
def sshDeploy(String appName,String hostName) {
82
  sshPublisher(publishers: [sshPublisherDesc(configName: "${hostName}", transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: """
83
    docker-compose -f /data/app/${appName}/docker-compose.yml up -d
84
  """, execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: "${appName}/", remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'docker-compose.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
85
}

展开收起

4 审批支持#

4.1 最简单方式,点击才能继续执行pipeline#

1
pipeline {
2
  agent any
3
  stages {
4
    stage('拉取代码') {
5
      steps {
6
        input id: 'approve' , message: '是否同意更新生产环境', ok: 'Yes'
7
      }
8
    }
9
  }
10
}

4.2 飞书接收验证号,验证码匹配个更新#

1
pipeline {
2
  options {
3
    buildDiscarder(logRotator(numToKeepStr: '10', artifactNumToKeepStr: '5'))
4
    timeout(time:12, unit:'HOURS')
5
    skipDefaultCheckout()
6
  }
7
  environment {
8
    ROBOT_ID = '机器人id'
9
    // 生成随机数
10
    max = 100000
11
    randomToken = "${Math.abs(new Random().nextInt(max+1))}"
12
  }
13
  agent any
14
  stages {
15
    stage('审批') {
16
      steps {
17
        sh 'echo ${randomToken}'
18
        script {
19
          tokenApprove(randomToken)
20
        }
21
      }
22
    }
23
  }
24
}
25

26
def tokenApprove(String randomToken) {
27
  larkrandomToken(env.randomToken)
28
  def isAbort  = false   //取消按钮
29
  timeout(time:12, unit:'HOURS'){  //等待审批人审批，并通过timeout设置任务过期时间，防止任务永远挂起
30
    try {
31
      def token = input(
32
        id: 'inputap', message: "xx申请更新服务", ok:"同意", , parameters: [
33
        [$class: 'StringParameterDefinition',defaultValue: "", name: 'token',description: '请输入发布的秘钥' ]
34
        ])
35
      if ( "${token}" == env.randomToken) {
36
      } else {
37
        error '秘钥错误，任务已终止'
38
      }
39
    }catch(e) { // input false
40
      throw e
41
    }
42
  }
43
}
44
def larkrandomToken(String randomToken) {
45
  lark(
46
    robot: "${ROBOT_ID}",
47
    type: "CARD",
48
    title: "📣 xx更新生产环境审批",
49
    text: [
50
      "🔑 **密钥是**: <font color='red'>${randomToken}</font>",
51
      "<at id=all></at>"
52
    ],
53
  buttons: [
54
     [
55
        title: "更改记录",
56
        url: "${BUILD_URL}changes"
57
     ],
58
     [
59
        title: "审批地址",
60
        type: "danger",
61
        url: "${JOB_DISPLAY_URL}"
62
    ]
63
    ]
64
  )
65
}

展开收起

5 完整配置#

可以查看共享库部分源码

pipeline配置,代码整洁多了

1
@Library('jenkins-shared-libraries@main') _
2
//// 配置多选,与单选二选一
3
//properties([
4
//   parameters([
5
//     [
6
//       $class: 'ChoiceParameter',
7
//       choiceType: 'PT_CHECKBOX',  // 复选
8
//       name: 'APP_NAME',
9
//       description: '选择应用',
10
//       script: [
11
//         $class: 'GroovyScript', // Groovy脚本
12
//         script: [
13
//           classpath: [],
14
//           sandbox: true,
15
//           // 要返回的结果,写在一行
16
//           script: "return ['app1', 'app2']"
17
//         ]
18
//       ]
19
//     ]
20
//   ])
21
// ])
22
pipeline {
23
  parameters {
24
    choice choices: ['app1', 'app2'], description: '选择发布程序', name: 'APP_NAME'
25
  }
26
  environment {
27
    PROJECT = '项目名'
28
    BRANCH_NAME = '环境名（分支名）'
29
    HARBOR_NAMESPACE = 'docker仓库凭据名称'
30
    GIT_ID = 'git凭据名称'
31
    GIT_URL = "https://git.xxx.com/${APP_NAME}.git（git的url）"
32
    REGISTRY = '镜像仓库地址'
33
    KUBECONFIG_ID = 'kubeconfig id'
34
    KUBERNETES_APP_REPLICAS = 'deployment副本数'
35
    KUBERNETES_DEPLOYMENT_ID = 'global-kubernetes-deployment' # deployment模板名称
36
    DOCKER_DOCKERFILE_ID = 'global-dockerfile-file' # dockerfile模板
37
    SW_OAP = 'skywalking OPA地址'
38
    ROBOT_ID = '机器人id'
39
    max = 100000
40
    randomToken = "${Math.abs(new Random().nextInt(max+1))}"
41
  }
42
  agent {
43
    kubernetes {
44
      inheritFrom 'mypod'
45
    }
46
  }
47
  options {
48
    buildDiscarder(logRotator(numToKeepStr: '10', artifactNumToKeepStr: '5'))
49
    timeout(time:12, unit:'HOURS')
50
    skipDefaultCheckout()
51
  }
52
  stages {
53
    stage('拉取代码') {
54
      steps {
55
        script {
56
          checkoutCode()
57
        }
58
      }
59
      post {
60
        failure {
61
          echo "❌ 代码拉取失败"
62
          failedsendNotification("拉取代码", "❌失败")
63
        }
64
      }
65
    }
66
    stage('编译打包') {
67
      steps {
68
        script {
69
          buildPackage()
70
        }
71
      }
72
      post {
73
        failure {
74
          echo "❌ 打包失败"
75
          failedsendNotification("maven打包", "❌失败")
76
        }
77
      }
78
    }
79
    stage('镜像制作') {
80
      steps {
81
        container('docker') {
82
          script {
83
            // 定义map,根据不同应用名配置不通jar包路径
84
            def jarPath = [
85
                'app1': 'path/to/app1.jar',
86
                'app2': 'path/to/app2.jar',
87
            ]
88
            jarPathbuildDockerImage("${jarPath[APP_NAME]}")
89
          }
90
        }
91
      }
92
      post {
93
        failure {
94
          echo "❌ 镜像制作"
95
          failedsendNotification("镜像制作", "❌失败")
96
        }
97
      }
98
    }
99
    stage('审批') {
100
      steps {
101
        sh 'echo ${randomToken}'
102
        script {
103
          tokenApprove(randomToken)
104
        }
105
      }
106
    }
107
    stage('更新版本') {
108
      steps {
109
        script {
110
          deployToKubernetes()
111
        }
112
      }
113
      post {
114
        failure {
115
          echo "❌ 更新版本失败"
116
          failedsendNotification("更新版本", "❌失败")
117
        }
118
      }
119
    }
120
  }
121
  post {
122
    success {
123
      successsendNotification()
124
    }
125
  }
126
}

展开收起

Jenkins pipeline使用

Tue, 11 Feb 2025 15:50:52 GMT

[!jenkins文章分为三部分]
第一部分为docker安装Jenkins与常用插件使用,此文章 [[Jenkins安装]]
第二部分为运行pipeline并通过k8s pod打包 ,此文章
第三部分为,pipeline高阶使用,如map,共享库,参考 [[Jenkins-pipeline进阶使用]]

1 准备#

[!info] 提前安装好插件参考 [[Jenkins安装]]主要是 Config File Provider

1.1 dockerfile模板#

1
# global-dockerfile-file
2
FROM ccr.ccs.tencentyun.com/ccops/all:jdk-17
3
EXPOSE 18100
4
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
5
ENV TZ=Asia/Shanghai\
6
    # jvm配置,按需选择
7
    JAVA_OPTS="-Xmx4096m -Xms4096m  -Xmn1536m -Xss256k -XX:+UseConcMarkSweepGC -XX:  +UseCompressedClassPointers -XX:+PrintGCDetails -XX:+PrintGC -XX:+PrintGCTimeStamps -Xloggc:/var/  app/logs/gc.log -verbose:gc -Djava.awt.headless=true" \
8
    # skywalking agent,如果不需要刻意删除
9
    JAVA_TOOL_OPTIONS="-javaagent:/skywalking/agent/skywalking-agent.jar" \
10
    SW_AGENT_NAMESPACE="#PROJECT" \
11
    SW_AGENT_NAME="#PROJECT::#APP_NAME" \
12
    SW_AGENT_COLLECTOR_BACKEND_SERVICES="#SW_OAP"
13
# jar路径不统一,配合pipeline jarPath map使用
14
ADD #jarPath  /#APP_NAME.jar
15
ENTRYPOINT java ${JAVA_OPTS} -jar /#APP_NAME.jar --spring.profiles.active=prod

展开收起

1.2 deployment模板#

1
# global-kubernetes-deployment
2
apiVersion: apps/v1
3
kind: Deployment
4
metadata:
5
  name: #APP_NAME
6
spec:
7
  replicas: #APP_REPLICAS
8
  selector:
9
    matchLabels:
10
      app: #APP_NAME
11
      service: #APP_NAME
12
  strategy:
13
    type: Recreate
14
  template:
15
    metadata:
16
      labels:
17
        app: #APP_NAME
18
        service: #APP_NAME
19
    spec:
20
      volumes:
21
        - name: skywalking-agent
22
          emptyDir: { }
23
      containers:
24
      - image: #APP_IMAGE_NAME
25
        name: #APP_NAME
26
        # 探针相关,按需修改
27
        startupProbe:
28
          tcpSocket:
29
            port: 8080
30
          failureThreshold: 30
31
          periodSeconds: 10
32
        readinessProbe:
33
          tcpSocket:
34
            port: 8080
35
          initialDelaySeconds: 30
36
          periodSeconds: 10
37
        livenessProbe:
38
          tcpSocket:
39
            port: 8080
40
          initialDelaySeconds: 15
41
          periodSeconds: 20
42
        ports:
43
        - containerPort: 8080
44
          name: server
45
    # 下面这部分是集成skywalking-agent,按需开启
46
        volumeMounts:
47
          - name: skywalking-agent
48
            mountPath: /skywalking
49
      initContainers:
50
      - name: agent-container
51
        image: ccr.ccs.tencentyun.com/ccops/all:skywalking-java-agent-9.4.0
52
        volumeMounts:
53
          - name: skywalking-agent
54
            mountPath: /agent
55
        command: [ "/bin/sh" ]
56
        args: [ "-c", "cp -R /skywalking/agent /agent/" ]
57
---
58
apiVersion: v1
59
kind: Service
60
metadata:
61
  name: #APP_NAME
62
  labels:
63
    app: #APP_NAME
64
spec:
65
  type: ClusterIP
66
  ports:
67
  - name: server
68
    port: 8080
69
    targetPort: 8080
70
  selector:
71
    app: #APP_NAME

展开收起

2 不集成通知与k8s#

1
pipeline {
2
  parameters {
3
      choice choices: ['app1', 'app2'], description: '选择发布程序', name: 'APP_NAME'
4
  }
5
  options { buildDiscarder(logRotator(numToKeepStr: '10', artifactNumToKeepStr: '5')) }
6
  environment {
7
    PROJECT = '项目名'
8
    BRANCH_NAME = '环境名（分支名）'
9
    HARBOR_NAMESPACE = 'docker仓库凭据名称'
10
    GIT_ID = 'git凭据名称'
11
    GIT_URL = "https://git.xxx.com/${APP_NAME}.git（git的url）"
12
    REGISTRY = '镜像仓库地址'
13
    KUBECONFIG_ID = 'kubeconfig id'
14
    KUBERNETES_APP_REPLICAS = 'deployment副本数'
15
    KUBERNETES_DEPLOYMENT_ID = 'global-kubernetes-deployment' # deployment模板名称
16
    DOCKER_DOCKERFILE_ID = 'global-dockerfile-file' # dockerfile模板
17
    SW_OAP = 'skywalking OPA地址'
18
  }
19
  agent any
20
  tools {
21
    maven 'maven'
22
    jdk 'jdk17'
23
  }
24
  stages {
25
    stage('拉取代码') {
26
      steps {
27
        git(credentialsId: "${GIT_ID}", url: "$GIT_URL", branch: "${BRANCH_NAME}", changelog: true, poll: false)
28
      }
29
  }
30
    stage('编译打包') {
31
      steps {
32
        sh 'mvn clean package install -Dmaven.test.skip=true -DarchetypeCatalog=local'
33
      }
34
    }
35
    stage('镜像制作') {
36
      steps {
37
        // 设置 Docker 镜像名称
38
        def dockerImageName = "${REGISTRY}/${APP_NAME}:1.${BUILD_NUMBER}"
39
        // 使用 configFileProvider 插件提供 Dockerfile 文件
40
        configFileProvider([configFile(fileId: "${DOCKER_DOCKERFILE_ID}", targetLocation: "dockerfile")]){
41
          // 替换dockerfile文件中的变量
42
          def docker = readFile encoding: "UTF-8", file: "dockerfile"
43
          def dockerfile = docker.replaceAll("#APP_NAME","${APP_NAME}")
44
                                 .replaceAll("#PROJECT","${PROJECT}")
45
                                 .replaceAll("#SW_OAP","${SW_OAP}")
46
                                 .replaceAll("#jarPath","${jarPath}")
47
          // 生成新的 dockerfile 部署文件
48
          writeFile encoding: 'UTF-8', file: './Dockerfile', text: "${dockerfile}"
49
        }
50
        // 提供 Docker 环境，使用 Docker 工具来进行 Docker 镜像构建与推送
51
        docker.withRegistry("http://${REGISTRY}", "${HARBOR_NAMESPACE}") {
52
            def customImage = docker.build("${dockerImageName}")
53
            customImage.push()
54
        }
55
      }
56
    }
57
    stage('更新版本') {
58
      steps {
59
        // 使用 Kubectl Cli 插件的方法，提供 Kubeconfig
60
        withKubeConfig([credentialsId: "${KUBECONFIG_ID}"]) {
61
        // 读取 Kubernetes 部署文件
62
        configFileProvider([configFile(fileId: "${KUBERNETES_DEPLOYMENT_ID}", targetLocation: "deployment.yaml")]){
63
          script {
64
            // 替换deployment文件中的变量
65
            def deploy = readFile encoding: "UTF-8", file: "deployment.yaml"
66
            def deployfile = deploy.replaceAll("#APP_NAME","${APP_NAME}")
67
                           .replaceAll("#APP_REPLICAS","${KUBERNETES_APP_REPLICAS}")
68
                           .replaceAll("#APP_IMAGE_NAME","${dockerImageName}")
69
            // 生成新的 Kubernetes 部署文件
70
            writeFile encoding: 'UTF-8', file: './deploy.yaml', text: "${deployfile}"
71
            // sh "cat deploy.yaml"
72
            // 执行 Kuberctl 命令进行部署操作
73
            sh "kubectl apply -n ${PROJECT} -f deploy.yaml"
74
            }
75
          }
76
        }
77
      }
78
    }
79
  }
80
}

展开收起

3 集成k8s#

没写的直接复用不集成k8s的配置就可以

1
pipeline {
2
......
3
  agent {
4
    kubernetes {
5
      inheritFrom 'mypod'
6
    }
7
  }
8
  stages {
9
    stage('拉取代码') {
10
      steps { # 不指定container默认使用jnlp
11
        git(credentialsId: "${GIT_ID}", url: "$GIT_URL", branch: "${BRANCH_NAME}", changelog: true, poll: false)
12
      }
13
  }
14
    stage('镜像制作') {
15
      steps {
16
        container('docker') {
17
            // 创建 Dockerfile 文件，但只能在方法块内使用
18
          configFileProvider([configFile(fileId: "${DOCKER_DOCKERFILE_ID}", targetLocation: "dockerfile")]){
19
            script {
20
              // 设置 Docker 镜像名称
21
              def dockerImageName = "${REGISTRY}/${PROJECT}/${APP_NAME}:1.${BUILD_NUMBER}"
22
              // 替换dockerfile文件中的变量
23
              def docker = readFile encoding: "UTF-8", file: "dockerfile"
24
              def dockerfile = docker.replaceAll("#APP_NAME","${APP_NAME}")
25
                                     .replaceAll("#PROJECT","${PROJECT}")
26
                                     .replaceAll("#SW_OAP","${SW_OAP}")
27
              // 生成新的 dockerfile 部署文件
28
              writeFile encoding: 'UTF-8', file: './Dockerfile', text: "${dockerfile}"
29
              // sh "cat ./Dockerfile"
30
              // 提供 Docker 环境，使用 Docker 工具来进行 Docker 镜像构建与推送
31
              docker.withRegistry("http://${REGISTRY}", "${HARBOR_NAMESPACE}") {
32
                  def customImage = docker.build("${dockerImageName}")
33
                  customImage.push()
34
              }
35
            }
36
          }
37
        }
38
      }
39
    }
40
......
41
  }
42
}

展开收起

4 集成飞书#

需要安装此插件

1
pipeline {
2
......
3
  environment {
4
    ROBOT_ID = '告警机器人id'
5
  }
6
  agent {
7
    kubernetes {
8
      inheritFrom 'mypod'
9
    }
10
  }
11
  stages {
12
    stage('拉取代码') {
13
      steps {
14
        git(credentialsId: "${GIT_ID}", url: "$GIT_URL", branch: "${BRANCH_NAME}", changelog: true, poll: false)
15
      }
16
      post {
17
        failure {
18
          echo "❌ 代码拉取失败"
19
          // 发送失败通知
20
          sendNotification("拉取代码", "❌失败")
21
        }
22
      }
23
  }
24
  }
25
  post {
26
    success {
27
      lark (
28
        robot: "${ROBOT_ID}",
29
        type: "CARD",
30
        title: "📢 ${PROJECT} ${APP_NAME} 构建成功通知  ",
31
        text: [
32
            "📋 **任务名称**：[${JOB_NAME}](${JOB_URL})",
33
            "🔢 **任务编号**：[${BUILD_DISPLAY_NAME}](${BUILD_URL})",
34
            "🌟 **构建状态**: <font color='green'>成功</font>",
35
            "🕐 **构建用时**: ${currentBuild.duration / 1000} 秒",
36
            "📜 **更新内容**: $changeString",
37
            "<at id=all></at>"
38
        ],
39
        buttons: [
40
           [
41
              title: "更改记录",
42
              url: "${BUILD_URL}changes"
43
           ],
44
           [
45
              title: "控制台",
46
              type: "danger",
47
              url: "${BUILD_URL}console"
48
          ]
49
        ]
50
      )
51
    }
52
  }
53
}
54
# 告警失败函数
55
def sendNotification(String stageName, String status) {
56
  lark(
57
    robot: "${ROBOT_ID}",
58
    type: "CARD",
59
    title: "❌ ${PROJECT} ${APP_NAME} ${stageName}失败通知",
60
    text: [
61
      "📌 **阶段**: ${stageName}",
62
      "🔢 **状态**: <font color='red'>${status}</font>",
63
      "<at id=all></at>"
64
    ]
65
  )
66
}
67
......
68
# 此部分为了获取commit信息,如果不需要可以不加,但需要删除更新内容
69
@NonCPS
70
def getChangeString() {
71
    MAX_MSG_LEN = 100
72
    def changeString = ""
73

74
    echo "Gathering SCM changes"
75
    def changeLogSets = currentBuild.changeSets
76
    for (int i = 0; i < changeLogSets.size(); i++) {
77
        def entries = changeLogSets[i].items
78
        for (int j = 0; j < entries.length; j++) {
79
            def entry = entries[j]
80
            truncated_msg = entry.msg.take(MAX_MSG_LEN)
81
            changeString += " - ${truncated_msg} [${entry.author}]\n"
82
        }
83
    }
84
    if (!changeString) {
85
        changeString = " - No new changes"
86
    }
87
    return changeString
88
}

展开收起

5 完整配置#

1
pipeline {
2
  parameters {
3
      choice choices: ['app1', 'app2'], description: '选择发布程序', name: 'APP_NAME'
4
  }
5
  options { buildDiscarder(logRotator(numToKeepStr: '10', artifactNumToKeepStr: '5')) }
6
  environment {
7
    PROJECT = '项目名'
8
    BRANCH_NAME = '环境名（分支名）'
9
    HARBOR_NAMESPACE = 'docker仓库凭据名称'
10
    GIT_ID = 'git凭据名称'
11
    GIT_URL = "https://git.xxx.com/${APP_NAME}.git（git的url）"
12
    REGISTRY = '镜像仓库地址'
13
    KUBECONFIG_ID = 'kubeconfig id'
14
    KUBERNETES_APP_REPLICAS = 'deployment副本数'
15
    KUBERNETES_DEPLOYMENT_ID = 'global-kubernetes-deployment' # deployment模板名称
16
    DOCKER_DOCKERFILE_ID = 'global-dockerfile-file' # dockerfile模板
17
    SW_OAP = 'skywalking OPA地址'
18
  }
19

20
  agent {
21
    kubernetes {
22
      inheritFrom 'mypod'
23
    }
24
  }
25
  stages {
26
    stage('拉取代码') {
27
      steps {
28
        git(credentialsId: "${GIT_ID}", url: "$GIT_URL", branch: "${BRANCH_NAME}", changelog: true, poll: false)
29
      }
30
      post {
31
        failure {
32
          echo "❌ 代码拉取失败"
33
          sendNotification("拉取代码", "❌失败")
34
        }
35
      }
36
    }
37
    stage('编译打包') {
38
      steps {
39
        sh 'mvn clean package install -Dmaven.test.skip=true -DarchetypeCatalog=local'
40
      }
41
      post {
42
        failure {
43
          echo "❌ 打包失败"
44
          sendNotification("maven打包", "❌失败")
45
        }
46
      }
47
    }
48
    stage('镜像制作') {
49
      steps {
50
        container('docker') {
51
            // 创建 Dockerfile 文件，但只能在方法块内使用
52
          configFileProvider([configFile(fileId: "${DOCKER_DOCKERFILE_ID}", targetLocation: "dockerfile")]){
53
            script {
54
              // 设置 Docker 镜像名称
55
              def dockerImageName = "${REGISTRY}/${PROJECT}/${APP_NAME}:1.${BUILD_NUMBER}"
56
              // 替换dockerfile文件中的变量
57
              def dockerfile = readFile encoding: "UTF-8", file: "dockerfile"
58
              def dockerfile = dockerfile.replaceAll("#APP_NAME","${APP_NAME}")
59
                                     .replaceAll("#PROJECT","${PROJECT}")
60
                                     .replaceAll("#SW_OAP","${SW_OAP}")
61
              // 生成新的 dockerfile 部署文件
62
              writeFile encoding: 'UTF-8', file: './Dockerfile', text: "${dockerfile}"
63
              // sh "cat ./Dockerfile"
64
              // 提供 Docker 环境，使用 Docker 工具来进行 Docker 镜像构建与推送
65
              docker.withRegistry("http://${REGISTRY}", "${HARBOR_NAMESPACE}") {
66
                  def customImage = docker.build("${dockerImageName}")
67
                  customImage.push()
68
              }
69
            }
70
          }
71
        }
72
      }
73
      post {
74
        failure {
75
          echo "❌ 镜像制作"
76
          sendNotification("镜像制作", "❌失败")
77
        }
78
      }
79
    }
80
    stage('更新版本') {
81
      steps {
82
        // 使用 Kubectl Cli 插件的方法，提供 Kubeconfig
83
        withKubeConfig([credentialsId: "${KUBECONFIG_ID}"]) {
84
        // 读取 Kubernetes 部署文件
85
        configFileProvider([configFile(fileId: "${KUBERNETES_DEPLOYMENT_ID}", targetLocation: "deployment.yaml")]){
86
          script {
87
            // 替换deployment文件中的变量
88
            def deploy = readFile encoding: "UTF-8", file: "deployment.yaml"
89
            def deployfile = deploy.replaceAll("#APP_NAME","${APP_NAME}")
90
                           .replaceAll("#APP_REPLICAS","${KUBERNETES_APP_REPLICAS}")
91
                           .replaceAll("#APP_IMAGE_NAME","${dockerImageName}")
92
            // 生成新的 Kubernetes 部署文件
93
            writeFile encoding: 'UTF-8', file: './deploy.yaml', text: "${deployfile}"
94
            // sh "cat deploy.yaml"
95
            // 执行 Kuberctl 命令进行部署操作
96
            sh "kubectl apply -n ${PROJECT} -f deploy.yaml"
97
            }
98
          }
99
        }
100
      }
101
      post {
102
        failure {
103
          echo "❌ 更新版本失败"
104
          sendNotification("更新版本", "❌失败")
105
        }
106
      }
107
    }
108
  }
109
  post {
110
    success {
111
      lark (
112
        robot: "${ROBOT_ID}",
113
        type: "CARD",
114
        title: "📢 ${PROJECT} ${APP_NAME} 构建成功通知  ",
115
        text: [
116
            "📋 **任务名称**：[${JOB_NAME}](${JOB_URL})",
117
            "🔢 **任务编号**：[${BUILD_DISPLAY_NAME}](${BUILD_URL})",
118
            "🌟 **构建状态**: <font color='green'>成功</font>",
119
            "🕐 **构建用时**: ${currentBuild.duration / 1000} 秒",
120
            "📜 **更新内容**: $changeString",
121
            "<at id=all></at>"
122
        ],
123
        buttons: [
124
           [
125
              title: "更改记录",
126
              url: "${BUILD_URL}changes"
127
           ],
128
           [
129
              title: "控制台",
130
              type: "danger",
131
              url: "${BUILD_URL}console"
132
          ]
133
        ]
134
      )
135
    }
136
  }
137
}
138

139
def sendNotification(String stageName, String status) {
140
  lark(
141
    robot: "${ROBOT_ID}",
142
    type: "CARD",
143
    title: "❌ ${PROJECT} ${APP_NAME} ${stageName}失败通知",
144
    text: [
145
      "📌 **阶段**: ${stageName}",
146
      "🔢 **状态**: <font color='red'>${status}</font>",
147
      "<at id=all></at>"
148
    ]
149
  )
150
}
151

152
@NonCPS
153
def getChangeString() {
154
    MAX_MSG_LEN = 100
155
    def changeString = ""
156

157
    echo "Gathering SCM changes"
158
    def changeLogSets = currentBuild.changeSets
159
    for (int i = 0; i < changeLogSets.size(); i++) {
160
        def entries = changeLogSets[i].items
161
        for (int j = 0; j < entries.length; j++) {
162
            def entry = entries[j]
163
            truncated_msg = entry.msg.take(MAX_MSG_LEN)
164
            changeString += " - ${truncated_msg} [${entry.author}]\n"
165
        }
166
    }
167
    if (!changeString) {
168
        changeString = " - No new changes"
169
    }
170
    return changeString
171
}

展开收起

Jenkins安装

Wed, 05 Feb 2025 15:31:50 GMT

[!jenkins文章分为三部分]
第一部分为docker安装Jenkins与常用插件使用,此文章
第二部分为运行pipeline并通过k8s pod打包 [[Jenkins-pipeline使用]]
第三部分为,pipeline高阶使用,如map,共享库,参考 [[Jenkins-pipeline进阶使用]]

1 安装#

[!attention] 这里使用的lts镜像,官网查的版本不准,建议去这里查[Jenkins lts 更新记录](https://www.jenkins.io/changelog-stable/ 把2.492.3换成查到的最新版本,如果需要jdk8就改成lts-jdk8 -如果不需要集成k8s,取消注释,准备好二进制

1
services:
2
  jenkins:
3
    image: ccr.ccs.tencentyun.com/ccops/all:jenkins-2.492.3-lts-jdk17
4
    user: root
5
    container_name: jenkins
6
    restart: always
7
    environment:
8
      TZ: "Asia/Shanghai"
9
      JENKINS_UC: "https://mirrors.tuna.tsinghua.edu.cn/jenkins/"
10
      JENKINS_UC_DOWNLOAD: "https://mirrors.tuna.tsinghua.edu.cn/jenkins/"
11
      JAVA_OPTS: "-Dhudson.model.DownloadService.noSignatureCheck=true"
12
      # MAVEN_HOME: "/usr/local/maven"
13
      # PATH: "$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH"
14
    ports:
15
      - "8080:8080"
16
      - "50000:50000"
17
    volumes:
18
      - ./data:/var/jenkins_home
19
      - /etc/localtime:/etc/localtime
20
      # pipeline复用
21
      # - ./script:/var/jenkins_home/script
22
      # - bin/docker:/usr/bin/docker
23
      # - bin/kubectl:/usr/bin/docker
24
      # - bin/apache-maven-3.9.9:/usr/local/maven

展开收起

1.1 准备国内源,防止插件安装不上#

2.492.1换成对应的版本,我这是2.492.3,但是没有,只能先用这个如果版本不对应插件可能安装不上

Terminal window

1
cat data/hudson.model.UpdateCenter.xml
2
<?xml version='1.1' encoding='UTF-8'?>
3
<sites>
4
  <site>
5
    <id>default</id>
6
    <url>https://mirrors.huaweicloud.com/jenkins/updates/dynamic-stable-2.492.1/update-center.json</url>
7
  </site>
8
</sites>

2 登陆#

查看密码

Terminal window

1
cat data/secrets/initialAdminPassword
2
4c0418dc42524016beb2aa7a67196693

image.png

登录后选择自己安装插件,先安装这几个

image.png

3 插件#

3.1 安装#

http://jenkins:8080/manage/pluginManager/available

名称	作用
Pipeline: Stage View	展示pipeline步骤
Git	通用clone代码插件
Git Parameter	能够与 Git 插件结合使用，动态获取 Git 项目中分支信息
Docker Pipeline	构建隐藏docker build,账号密码等命令
Rebuilder	重复上次构建
AnsiColor	扩展 echo -e指令，输出增加颜色。
Config File Provider	存储 k8s Deployment 模板等信息
Pipeline Utility Steps	操作文件的插件,与Config File Provider结合使用
Kubernetes	使用 Kubernetes 集群运行 Jenkins agent
Lark Notice Plugin	可选,钉钉,飞书告警插件,不支持在线安装,点击这里安装
Pipeline: Groovy Libraries	可选,共享 Pipeline 脚本
Job Configuration History	pipeline回滚功能
Extended Choice Parameter	支持多选,但现在有漏洞并且不维护,2025年4月17日
Active Choices	更高级的扩展选项,也支持多选,但配置复杂
Publish Over SSH	支持远程传输文件与执行命令
Material Theme与Blue Ocean	美化页面,但Blue Ocean支持功能比较少,比如不支持Active Choices插件
Kubernetes CLI	隐藏 kubeconfig
Generic Webhook Trigger	通过解析GitLab Webhook的JSON数据动态触发对应Job

3.2 插件使用#

3.2.1 Git#

pipeline 例子

1
git(credentialsId: "${GIT_ID}", url: "$GIT_URL", branch: "${BRANCH_NAME}", changelog: true, poll: false)

3.2.2 AnsiColor#

3.2.3 Config File Provider#

http://jenkins:8080/manage/configfiles/

image.png

3.2.4 Pipeline Utility Steps#

pipeline例子

1
onfigFileProvider([configFile(fileId: "${KUBERNETES_DEPLOYMENT_ID}", targetLocation: "deployment.yaml")]){
2
  script {
3
    // 替换deployment文件中的变量
4
    deploy = readFile encoding: "UTF-8", file: "deployment.yaml"
5
    deployfile = deploy.replaceAll("#APP_NAME","${APP_NAME}")
6
                   .replaceAll("#APP_REPLICAS","${KUBERNETES_APP_REPLICAS}")
7
                   .replaceAll("#APP_IMAGE_NAME","${dockerImageName}")
8
    // 生成新的 Kubernetes 部署文件
9
    writeFile encoding: 'UTF-8', file: './deploy.yaml', text: "${deployfile}"
10
    sh "cat deploy.yaml"
11
  }
12
}

3.2.5 Kubernetes#

3.2.5.1 添加kubeconfig#

image.png

3.2.5.2 添加集群#

image.png

选择刚才添加的凭据
image.png
测试

image.png

3.2.5.3 Pod模板#

这里建议自己制作镜像,把maven,kubelet什么的放进来,方便维护,用k8s与不用k8s好切换 jdk版本按需选择

1
cat Dockerfile
2
FROM jenkins/inbound-agent:latest-jdk17
3
ADD make/kubectl /usr/bin/kubectl
4
ADD make/apache-maven-3.9.9 /usr/local/maven
5
ENV MAVEN_HOME=/usr/local/maven
6
ENV PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH
7
ENV TZ=Asia/Shanghai
8
USER root
9
RUN cp /usr/share/zoneinfo/${TZ} /etc/localtime \
10
    && echo "${TZ}" > /etc/timezone
11
USER jenkins

maven配置

1
cat make/apache-maven-3.9.9/conf/settings.xml
2
<?xml version="1.0" encoding="UTF-8"?>
3
<settings xmlns="http://maven.apache.org/SETTINGS/1.2.0"
4
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
5
          xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.2.0 https://maven.apache.org/xsd/settings-1.2.0.xsd">
6
<localRepository>/data/repo</localRepository>
7
  <pluginGroups>
8

9
  </pluginGroups>
10
  <proxies>
11

12
  </proxies>
13
  <servers>
14

15
  </servers>
16
  <mirrors>
17
    <mirror>
18
      <id>alimaven</id>
19
      <name>aliyun maven</name>
20
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
21
      <mirrorOf>central</mirrorOf>
22
    </mirror>
23
  </mirrors>
24
  <profiles>
25
    <profile>
26
       <id>jdk-17</id>
27
       <activation>
28
           <activeByDefault>true</activeByDefault>
29
           <jdk>17</jdk>
30
       </activation>
31
       <properties>
32
          <maven.compiler.source>17</maven.compiler.source>
33
          <maven.compiler.target>17</maven.compiler.target>
34
          <maven.compiler.compilerVersion>17</maven.compiler.compilerVersion>
35
      </properties>
36
    </profile>
37
  </profiles>
38
</settings>

展开收起

pod模板

为了演示这里单独加个docker in docker容器,也可以制作all镜像的时候安装docker

如果加容器了就需要pipeline里添加 container(‘docker’),要不然默认用jnlp容器执行

1
apiVersion: v1
2
kind: Pod
3
metadata:
4
  labels:
5
    app: jenkins-slave
6
spec:
7
  securityContext:
8
    runAsUser: 0
9
    privileged: true
10
  nodeSelector:
11
    node-role.kubernetes.io/jenkins-slave: "yes"
12
  containers:
13
  - name: jnlp
14
    tty: true
15
    workingDir: /home/jenkins/agent
16
    image: ccr.ccs.tencentyun.com/ccops/all:inbound-jdk17-all
17
    volumeMounts:
18
      - name: data
19
        mountPath: /data/repo
20
  - name: docker
21
    workingDir: /home/jenkins/agent
22
    image: ccr.ccs.tencentyun.com/ccops/all:docker-28.0.4-cli
23
    command: ["cat"]
24
    tty: true
25
    volumeMounts:
26
      - mountPath: /var/run/docker.sock
27
        name: dockersock
28
        readOnly: true
29
      - mountPath: /etc/docker/daemon.json
30
        name: dockerdaemon
31
        readOnly: true
32
  volumes:
33
    - name: data
34
      nfs:
35
        path: /data/nfs_data
36
        server: 192.1.1.1
37
    - name: dockersock
38
      hostPath:
39
        path: /var/run/docker.sock
40
    - name: dockerdaemon
41
      hostPath:
42
        path: /etc/docker/daemon.json

展开收起

这里添加

image.png

3.2.6 Lark Notice Plugin#

参考,很简单

3.2.7 Extended Choice Parameter#

支持多选,但有漏洞并且不在维护

1
pipeline {
2
......
3
  parameters {
4
    extendedChoice name: 'APP_NAME', type: 'PT_CHECKBOX', description: '请勾选所要发布的项目模块', quoteValue: false, saveJSONParameterToFile: false, value: 'app1,app2', visibleItemCount: 7, multiSelectDelimiter: ',', defaultValue: 'app1'
5
  }
6
......

3.2.8 Active Choices#

1
properties([
2
  parameters([
3
    [
4
      $class: 'ChoiceParameter',
5
      choiceType: 'PT_CHECKBOX',  // 复选
6
      name: 'APP_NAME',
7
      description: '选择应用',
8
      script: [
9
        $class: 'GroovyScript', // Groovy脚本
10
        script: [
11
          classpath: [],
12
          sandbox: true,
13
          // 要返回的结果,写在一行
14
          script: "return ['app1', 'app2']"
15
        ]
16
      ]
17
    ]
18
  ])
19
])
20
pipeline {
21
......
22
}

展开收起

3.2.9 Publish Over SSH#

3.2.9.1 添加远程主机#

image.png

3.2.9.2 Pipeline使用#

[!info]

{hostName} 可以写成host-213

xecCommand 要执行的命令

remoteDirectory 要创建的目录,在/data/app下

sourceFiles jenkins上文件路径

verbose 是否开启ssh执行日志,debug用

1
  sshPublisher(publishers: [sshPublisherDesc(configName: "${hostName}", transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: """
2
    docker-compose -f /data/app/${appName}/docker-compose.yml up -d
3
  """, execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: "${appName}/", remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'docker-compose.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

3.2.10 Generic Webhook Trigger#

[!info] 我这里的方案是 gitlab push 触发单独 job, 然后通过 webhook 传的变量运行 job 任务
这里 job 任务名称要与 gitlab 仓库名称一样, 不一样需要加判断执行哪个 job

Terminal window展开收起

1
pipeline {
2
  agent any
3
  options {
4
    buildDiscarder(logRotator(numToKeepStr: '10', artifactNumToKeepStr: '5'))
5
    timeout(time:12, unit:'HOURS')
6
    skipDefaultCheckout()
7
  }
8
  triggers {
9
    GenericTrigger(
10
      genericVariables: [
11
        // 提取变量
12
        // git仓库名字,与job名称一致
13
        [key: 'REPO_NAME', value: '$.project.name'],
14
        // 分支名称,只有test分支触发
15
        [key: 'BRANCH', value: '$.ref'],
16
        // 提取提交信息,设置提交某些内容部署
17
        [key: 'COMMIT_MSG', value: '$.commits[0].message']
18
      ],
19
      // token, 随机生成
20
      token: '119f7f9e9447aa4ff3b12f9542776a6e1b',
21
      // 在构建日志中显示触发原因
22
      causeString: 'Triggered by $REPO_NAME (Branch: $BRANCH, Commit: $COMMIT_MSG)',
23
      // 触发器的过滤条件
24
      regexpFilterText: '$BRANCH $COMMIT_MSG',
25
      // 过滤文本,两个变量拼接内容为refs/heads/test cd*才部署
26
      regexpFilterExpression: '^refs/heads/test\\b' + ' cd.*',
27
      printContributedVariables: false,
28
      printPostContent: false
29
    )
30
  }
31
  stages {
32
    stage('Trigger Target Job') {
33
      steps {
34
        script {
35
          // 双重检查：分支+commit消息前缀
36
          if (env.BRANCH == 'refs/heads/test' && env.COMMIT_MSG?.trim()?.toLowerCase()?.startsWith('cd')) {
37
            // 触发同名任务（REPO_NAME变量值作为任务名）
38
            build job: env.REPO_NAME
39
          } else {
40
            // 构造跳过原因说明
41
            def skipReason = "Skipped: "
42
            if (env.BRANCH != 'refs/heads/test') {
43
              skipReason += "不是test分支. "
44
            }
45
            if (!env.COMMIT_MSG?.trim()?.toLowerCase()?.startsWith('cd')) {
46
              skipReason += "提交内容不是cd开头. "
47
            }
48
            echo skipReason
49
          }
50
        }
51
      }
52
    }
53
  }
54
}

展开收起

gitlab 里 webhook 地址配置: http://${jenkins_url}$/generic-webhook-trigger/invoke/invoke?token=119f7f9e9447aa4ff3b12f9542776a6e1b

SkyWalking进阶使用

Fri, 20 Dec 2024 15:50:52 GMT

[!info] 这两年 SkyWalking 增加了很多功能,其中就有集成 Kubernetes ,详细部署参考[[如何优雅的使用SkyWalking]]

[!danger] 安装 10.x SkyWalking 使用自建 es 对应 chart 包

1 安装时配置#

1
fullnameOverride: skywalking
2
oap:
3
  image:
4
    repository: ccr.ccs.tencentyun.com/ccops/tmp
5
    tag: skywalking-oap-server-10.1.0
6
    pullPolicy: IfNotPresent
7
  storageType: elasticsearch
8
  ingress:
9
    enabled: true
10
    annotations:
11
      kubernetes.io/ingress.class: traefik-class
12
    path: /
13
    hosts: skywalking.ccops.com
14
    tls: []
15

16
ui:
17
  image:
18
    repository: ccr.ccs.tencentyun.com/ccops/tmp
19
    tag: skywalking-ui-10.1.0
20
    pullPolicy: IfNotPresent
21

22
elasticsearch:
23
  enabled: false
24
  config:
25
    host: 10.1.1.1
26
    port:
27
      http: 9200
28
    user: "root"
29
    password: "passwd"
30

31
helm install skywalking skywalking -n skywalking -f ./skywalking/values-my-es.yaml

展开收起

2 云原生#

2.1 Cilium 集成#

[!attention] Cilium需要提前开启监控开启监控参考监控开启 tls 参考开启 tls 后需要配置证书secret,名字为hubble-server-certs

1
oap:
2
  image:
3
  ....
4
  env:
5
    SW_CILIUM_FETCHER: default
6
    SW_CILIUM_FETCHER_PEER_HOST: hubble-peer.kube-system
7
    SW_CILIUM_FETCHER_PEER_PORT: 443
8
    SW_CILIUM_FETCHER_SSL_CONNECTION: true
9
    SW_CILIUM_FETCHER_PRIVATE_KEY_FILE_PATH: /usr/share/certs/hubble/tls.key
10
    SW_CILIUM_FETCHER_CERT_CHAIN_FILE_PATH: /usr/share/certs/hubble/tls.crt
11
    SW_CILIUM_FETCHER_CA_FILE_PATH: /usr/share/certs/hubble/ca.crt
12
  secretMounts:
13
  - name: hubble-server-certs
14
    secretName: hubble-server-certs
15
    path: /usr/share/certs/hubble

展开收起

2.1.1 查看#

image.png

记录下,写到这里被裁了,后面没时间继续研究了

KubeSsphere 4 使用

Wed, 11 Dec 2024 15:50:52 GMT

KubeSphere 更新到 4.x 了

此文章记录下新版KubeSphere使用,主要讲下遇到的问题

1 安装 KubeSphere#

Tip

我这里已经有 k8s 集群了,直接在现有集群上,安装 k8s 参考安装 Kubernetes 与 KubeSphere)

1.1 修改配置#

[!attention] 官网默认不是高可用,而且没持久化 redisHA需要有默认StorageClass

Terminal window展开收起

1
helm pull https://charts.kubesphere.io/main/ks-core-1.1.2.tgz
2
tar -zxvf  ks-core-1.1.2.tgz
3
cd ks-core/
4
vim values.yaml
5
global:
6
  imageRegistry: swr.cn-southwest-2.myhuaweicloud.com/ks
7
  tag: v4.1.2
8
portal:
9
  hostname: "kubesphere.ccops.com"
10
ingress:
11
  enabled: true
12
  ingressClassName: "traefik-class"
13
  tls:
14
    enabled: false
15
hostClusterName: "ccops"
16
ha:
17
  enabled: true
18
redis:
19
  enabled: false
20
redisHA:
21
  enabled: true
22
helm upgrade --install -n kubesphere-system --create-namespace ks-core . --debug --wait

展开收起

1.2 查看状态#

Terminal window展开收起

1
kubectl get pod -n kubesphere-system
2
NAME                                      READY   STATUS     RESTARTS      AGE
3
extensions-museum-97b8fd969-z8bsc         1/1     Running    0             18m
4
ks-apiserver-6898f48b94-886w5             1/1     Running    1 (16m ago)   18m
5
ks-apiserver-6898f48b94-d7bwg             1/1     Running    1 (17m ago)   18m
6
ks-apiserver-6898f48b94-lpc5d             1/1     Running    1 (16m ago)   18m
7
ks-console-6d547457d-9chk8                1/1     Running    0             18m
8
ks-console-6d547457d-nx85j                1/1     Running    0             18m
9
ks-console-6d547457d-thtld                1/1     Running    0             18m
10
ks-controller-manager-78dbb648bb-6qm5v    1/1     Running    0             18m
11
ks-controller-manager-78dbb648bb-k9cz6    1/1     Running    0             18m
12
ks-controller-manager-78dbb648bb-sf897    1/1     Running    0             18m
13
ks-core-redisha-haproxy-bf8d4f8dc-cn6kc   1/1     Running    0             18m
14
ks-core-redisha-haproxy-bf8d4f8dc-ggctv   1/1     Running    0             18m
15
ks-core-redisha-haproxy-bf8d4f8dc-mc792   1/1     Running    0             18m
16
ks-core-redisha-server-0                  3/3     Running    0             16m
17
ks-core-redisha-server-1                  3/3     Running    0             10m
18
ks-core-redisha-server-2                  3/3     Running    0              6m

展开收起

[!info] 默认账号密码/P@88w0rd

image.png

2 DevOps#

1
global:
2
  imageRegistry: swr.cn-southwest-2.myhuaweicloud.com/ks
3
extension:
4
  apiserver:
5
    replicas: 2
6
    resources:
7
      limits:
8
        cpu: 500m
9
        memory: 1024Mi
10
      requests:
11
        memory: 128Mi
12
        cpu: 100m
13

14
agent:
15
  apiserver:
16
    replicas: 2
17
    resources:
18
      limits:
19
        cpu: 500m
20
        memory: 1024Mi
21
      requests:
22
        memory: 128Mi
23
        cpu: 100m
24
  controller:
25
    replicas: 2
26
    resources:
27
      limits:
28
        cpu: 500m
29
        memory: 1024Mi
30
      requests:
31
        cpu: 100m
32
        memory: 128Mi
33
  jenkins:
34
    securityRealm:
35
      openIdConnect:
36
        # The kubesphere-core api used for jenkins OIDC
37
        # If you want to access to jenkinsWebUI, the kubesphereCoreApi must be specified and browser-accessible
38
        # Modifying this configuration will take effect only during installation
39
        # If you wish for changes to take effect after installation, you need to update the jenkins-casc-config ConfigMap, copy the securityRealm configuration from jenkins.yaml to jenkins_user.yaml, save, and wait for approximately 70 seconds for the changes to take effect.
40
        kubesphereCoreApi: "http://ks-apiserver:30880"
41
        # The jenkins web URL used for OIDC redirect
42
        jenkinsURL: "http://devops-jenkins:30180"
43
    Master:
44
      resources:
45
        requests:
46
          cpu: 0.5
47
          memory: 6Gi
48
        limits:
49
          cpu: 2
50
          memory: 6Gi # recommend set same as requests.memory
51
      # smtp server settings for notification
52
      smtp:
53
        EMAIL_SMTP_HOST: "mail.example.com"
54
        EMAIL_SMTP_PORT: "465"
55
        EMAIL_USE_SSL: false
56
        EMAIL_FROM_NAME: "KubeSphere"
57
        EMAIL_FROM_ADDR: "admin@example.com"
58
        EMAIL_FROM_PASS: "P@ssw0rd"
59
      # sonarQube settings
60
      sonarqube:
61
        serverUrl: ""
62
        authToken: ""
63
    persistence:
64
      size: 16Gi
65
      storageClass: "nfs-sc"
66
      accessMode: ReadWriteOnce
67
    kubeconfigEnabled: true

展开收起

GPU Operator 使用

Tue, 05 Nov 2024 11:18:14 GMT

[!info] 模式选择
手动部署#
优点#

没有系统版本限制,只要能搜到驱动,参考 [[#1.1.1 是否支持大部分 linux 系统]]

缺点#

安装与后期维护复杂

gpu-operator#
优点#

新增节点自动安装驱动

方便驱动升级,只需要更新 helm 所有节点都可以升级

部署与维护简单

缺点#

要求系统版本,参考[[#1.1.2 查看支持的系统]]

所有节点要求系统,内核统一

[!attention] 此文章使用gpu-operator,部署,并且支持离线环境,但需要容器镜像仓库与对应系统的 yum 源

一, 组件介绍#

[!info] 启动顺序

gpu-operator 管理以下所有资源,如果发现不会自动创建组件了,一般gpu-operator出问题了

GFD、NFD，二者都是用于发现 Node 上的信息，并以 label 形式添加到 k8s node 对象上，特别是 GFD 会添加nvidia.com/gpu.present=true 标签表示该节点有 GPU，只有携带该标签的节点才会安装后续组件。

然后则是 Driver Installer、Container Toolkit Installer 用于安装 GPU 驱动和 container toolkit。

接下来这是 device-plugin 让 k8s 能感知到 GPU 资源信息便于调度和管理

最后的 exporter 则是采集 GPU 监控并以 Prometheus Metrics 格式暴露，用于做 GPU 监控。

NVIDIA GPU Operator总共包含如下的几个组件：

NFD(Node Feature Discovery)：用于给节点打上某些标签，这些标签包括 cpu id、内核版本、操作系统版本、是不是 GPU 节点等，其中需要关注的标签是nvidia.com/gpu.present=true，如果节点存在该标签，那么说明该节点是 GPU 节点。
GFD(GPU Feature Discovery)：用于收集节点的 GPU 设备属性（GPU 驱动版本、GPU型号等），并将这些属性以节点标签的方式透出。在k8s 集群中以 DaemonSet 方式部署，只有节点拥有标签nvidia.com/gpu.present=true时，DaemonSet 控制的 Pod 才会在该节点上运行。
**NVIDIA Driver Installe：基于容器的方式在节点上安装 NVIDIA GPU 驱动，在 k8s 集群中以 DaemonSet 方式部署，只有节点拥有标签nvidia.com/gpu.present=true时，DaemonSet 控制的 Pod 才会在该节点上运行。
**NVIDIA Container Toolkit Installer：能够实现在容器中使用 GPU 设备，主要自动修改Container Runtime配置,比如/etc/containerd/config.toml在 k8s 集群中以 DaemonSet 方式部署，同样的，只有节点拥有标签nvidia.com/gpu.present=true时，DaemonSet 控制的 Pod 才会在该节点上运行。
NVIDIA Device Plugin：NVIDIA Device Plugin 用于实现将 GPU 设备以 Kubernetes 扩展资源的方式供用户使用，在 k8s 集群中以 DaemonSet 方式部署，只有节点拥有标签nvidia.com/gpu.present=true时，DaemonSet 控制的 Pod 才会在该节点上运行。
DCGM Exporter：周期性的收集节点 GPU 设备的状态（当前温度、总的显存、已使用显存、使用率等）并暴露 Metrics，结合 Prometheus 和 Grafana 使用。在 k8s 集群中以DaemonSet 方式部署，只有节点拥有标签nvidia.com/gpu.present=true时，DaemonSet 控制的 Pod 才会在该节点上运行。

二, 环境准备#

1 驱动与系统#

[!attention] 这里以 h20 显卡驱动为例

查看对应驱动信息

1.1 确认支持的系统#

1.1.1 是否支持大部分 linux 系统#

[!attention] 如果搜索不到 Linux 64-bit这个系统的驱动说明要求系统限制,并不是所有 linux 都能使用

image.png

[!info] 如果搜索不到建议选择 Linux 64-bit RHEL 9 查看驱动版本 rhel,rhcos与Ubuntu这三个系统大概率支持大部分驱动

image.png

1.1.2 查看支持的系统#

这里查看支持的系统搜索上面查到的版本

[!danger] 查不到的系统不要用比如565.57.01-ubuntu22.04只能使用ubuntu22.04

image.png

1.2 系统优化#

Terminal window

1
apt update
2
apt upgrade
3
apt install linux-generic-hwe-22.04
4
apt-get install libx11-dev libxext-dev linux-headers-generic libvulkan1

2 镜像准备#

[!summary] 按需上传到私有仓库如需要开墙需要访问:

ngc.download.nvidia.com

ngc.download.nvidia.cn

developer.download.nvidia.com

nvcr.io

[!attention] gpu-operator版本使用的24.6.2,如果更改版本对应的镜像版本会有变化最主要是nvcr.io/nvidia/driver:565.57.01-ubuntu22.04 这个镜像,参考[[#1.1.2 查看支持的系统]]

Terminal window

1
crictl pull registry.k8s.io/nfd/node-feature-discovery:v0.16.3
2
crictl pull nvcr.io/nvidia/gpu-operator:v24.9.0
3
crictl pull nvcr.io/nvidia/cuda:12.6.1-base-ubi8
4
crictl pull nvcr.io/nvidia/cloud-native/k8s-driver-manager:v0.6.10
5
crictl pull nvcr.io/nvidia/k8s/container-toolkit:v1.16.2-ubuntu20.04
6
crictl pull nvcr.io/nvidia/k8s-device-plugin:v0.16.2-ubi8
7
crictl pull nvcr.io/nvidia/cloud-native/k8s-cc-manager:v0.1.1
8
crictl pull nvcr.io/nvidia/k8s/dcgm-exporter:3.3.7-3.5.0-ubuntu22.04
9
crictl pull nvcr.io/nvidia/cloud-native/k8s-mig-manager:v0.8.0-ubuntu20.04
10
crictl pull nvcr.io/nvidia/kubevirt-gpu-device-plugin:v1.2.9
11
crictl pull nvcr.io/nvidia/driver:565.57.01-ubuntu22.04

三,部署#

1 获取 chart 包#

1
helm repo add nvidia https://helm.ngc.nvidia.com/nvidia \
2
    && helm repo update
3
helm pull nvidia/gpu-operator --version 24.6.2
4
tar -zxvf gpu-operator-v24.6.2.tgz
5
cd gpu-operator/

2 修改配置#

2.1 NFD 配置修改#

[!attention] 主要修改镜像,有墙,需要手动修改

1
vim charts/node-feature-discovery/values.yaml
2
image:
3
  repository: registry.k8s.io/nfd/node-feature-discovery
4
...

2.2 gpu-operator#

1
cat values.yaml
2
operator:
3
  repository: nvcr.io/nvidia
4
  image: gpu-operator
5
  version: "v24.9.0"  #修改版本与镜像
6

7
......
8

9
driver:
10
......
11
  repoConfig: # 使用私有 yum 仓库修改配置,就算不用也建议切换到阿里云 yum 源,默认国外 yum 源下载很慢
12
    configMapName: "ubuntu-apt" #与下面ConfigMap名字对应
13

14
......
15

16
hostPaths:
17
  rootFS: "/"
18
  driverInstallDir: "/run/"
19

20
......
21

22
toolkit: # 如果使用container修改以下参数
23
......
24
  env:
25
  - name: CONTAINERD_CONFIG
26
    value: "/etc/containerd/config.toml"
27
  - name: CONTAINERD_SOCKET
28
    value: "/run/containerd/containerd.sock"
29
  - name: CONTAINERD_RUNTIME_CLASS
30
    value: "nvidia"
31
  - name: CONTAINERD_SET_AS_DEFAULT
32
    value: "true"
33
    ```
34

35
> [!info]apt源配置
36

37
```yaml
38
apiVersion: v1
39
kind: ConfigMap
40
metadata:
41
  name: ubuntu-apt
42
  namespace: gpu-operator
43
data:
44
  source.list: |
45
    deb https://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
46
    deb-src https://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
47

48
    deb https://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
49
    deb-src https://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
50

51
    deb https://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
52
    deb-src https://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
53

54
    deb https://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
55
    deb-src https://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
56

57
kubectl apply -f ubuntu-apt.yaml

展开收起

[!error] 如果使用私有仓库需要修改镜像地址

Terminal window

1
sed -i 's/nvcr.io\/nvidia/www.you-domain.com/g' values.yaml
2
sed -i 's/nvcr.io\/nvidia\/cloud-native/www.you-domain.com/g' values.yaml
3
sed -i 's/nvcr.io\/nvidia\/k8s/www.you-domain.com/g' values.yaml

2.2.1 测试配置是否正常#

Terminal window

1
kubectl create ns gpu-operator
2
helm upgrade --install -n gpu-operator gpu-operator . --dry-run

3 安装#

[!bug] 如果遇到不会自动创建nvidia-driver-daemonset参考[[#1 RuntimeClass 版本不对]]

Terminal window

1
helm upgrade --install -n gpu-operator gpu-operator . --debug --wait
2
kubectl get pod -n gpu-operator

[!abstract] 看到以下信息说明没问题

Terminal window

1
kubectl logs -f -n gpu-operator     nvidia-driver-daemonset-58zcf
2
Starting NVIDIA persistence daemon...
3
Starting NVIDIA fabric manager daemon...
4
Mounting NVIDIA driver rootfs...
5
Done, now waiting for signal

四, 查看与测试#

Terminal window展开收起

1
kubectl get pod -n gpu-operator
2
NAME                                                         READY   STATUS      RESTARTS   AGE
3
gpu-feature-discovery-d8wlq                                  1/1     Running     0          7m57s
4
gpu-operator-85ddb88b46-l8nkq                                1/1     Running     0          8m23s
5
gpu-operator-node-feature-discovery-gc-79dcb7ffcd-dhplf      1/1     Running     0          8m23s
6
gpu-operator-node-feature-discovery-master-bc65c956f-4xhfv   1/1     Running     0          8m23s
7
gpu-operator-node-feature-discovery-worker-7s5xm             1/1     Running     0          8m23s
8
gpu-operator-node-feature-discovery-worker-chk9s             1/1     Running     0          8m23s
9
gpu-operator-node-feature-discovery-worker-kch4v             1/1     Running     0          8m23s
10
gpu-operator-node-feature-discovery-worker-zsh28             1/1     Running     0          8m23s
11
nvidia-container-toolkit-daemonset-tmxdd                     1/1     Running     0          81s
12
nvidia-cuda-validator-j5tjs                                  0/1     Completed   0          49s
13
nvidia-dcgm-exporter-srb2v                                   1/1     Running     0          81s
14
nvidia-device-plugin-daemonset-z7t78                         1/1     Running     0          7m57s
15
nvidia-driver-daemonset-965lp                                1/1     Running     0          8m4s
16
nvidia-mig-manager-l5njq                                     1/1     Running     0          21s
17
nvidia-operator-validator-x7bnq                              1/1     Running     0          7m57s

展开收起

1 查看 gpu 资源#

Terminal window展开收起

1
kubectl exec -it -n gpu-operator     nvidia-driver-daemonset-965lp sh
2
# nvidia-smi
3
Tue Nov  5 07:23:52 2024
4
+-----------------------------------------------------------------------------------------+
5
| NVIDIA-SMI 565.57.01              Driver Version: 565.57.01      CUDA Version: 12.7     |
6
|-----------------------------------------+------------------------+----------------------+
7
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
8
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
9
|                                         |                        |               MIG M. |
10
|=========================================+========================+======================|
11
|   0  NVIDIA H20                     On  |   00000000:11:00.0 Off |                    0 |
12
| N/A   26C    P0             72W /  500W |       1MiB /  97871MiB |      0%      Default |
13
|                                         |                        |             Disabled |
14
+-----------------------------------------+------------------------+----------------------+
15
|   1  NVIDIA H20                     On  |   00000000:12:00.0 Off |                    0 |
16
| N/A   28C    P0             71W /  500W |       1MiB /  97871MiB |      0%      Default |
17
|                                         |                        |             Disabled |
18
+-----------------------------------------+------------------------+----------------------+
19
|   2  NVIDIA H20                     On  |   00000000:3F:00.0 Off |                    0 |
20
| N/A   27C    P0             72W /  500W |       1MiB /  97871MiB |      0%      Default |
21
|                                         |                        |             Disabled |
22
+-----------------------------------------+------------------------+----------------------+
23
|   3  NVIDIA H20                     On  |   00000000:42:00.0 Off |                    0 |
24
| N/A   26C    P0             73W /  500W |       1MiB /  97871MiB |      0%      Default |
25
|                                         |                        |             Disabled |
26
+-----------------------------------------+------------------------+----------------------+
27
|   4  NVIDIA H20                     On  |   00000000:90:00.0 Off |                    0 |
28
| N/A   26C    P0             72W /  500W |       1MiB /  97871MiB |      0%      Default |
29
|                                         |                        |             Disabled |
30
+-----------------------------------------+------------------------+----------------------+
31
|   5  NVIDIA H20                     On  |   00000000:91:00.0 Off |                    0 |
32
| N/A   28C    P0             72W /  500W |       1MiB /  97871MiB |      0%      Default |
33
|                                         |                        |             Disabled |
34
+-----------------------------------------+------------------------+----------------------+
35
|   6  NVIDIA H20                     On  |   00000000:BB:00.0 Off |                    0 |
36
| N/A   28C    P0             73W /  500W |       1MiB /  97871MiB |      0%      Default |
37
|                                         |                        |             Disabled |
38
+-----------------------------------------+------------------------+----------------------+
39
|   7  NVIDIA H20                     On  |   00000000:BE:00.0 Off |                    0 |
40
| N/A   26C    P0             72W /  500W |       1MiB /  97871MiB |      0%      Default |
41
|                                         |                        |             Disabled |
42
+-----------------------------------------+------------------------+----------------------+
43

44
+-----------------------------------------------------------------------------------------+
45
| Processes:                                                                              |
46
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
47
|        ID   ID                                                               Usage      |
48
|=========================================================================================|
49
|  No running processes found                                                             |
50
+-----------------------------------------------------------------------------------------+

展开收起

2 测试#

[!danger] 可能创建不了 pod,参考[[#3 找不到 /dev/nvidiactl]]修复

Terminal window展开收起

1
cat demo.yaml
2
apiVersion: v1
3
kind: Pod
4
metadata:
5
  name: cuda-vectoradd
6
spec:
7
  containers:
8
  - name: cuda-vectoradd
9
    image: www.you-domain.comcuda-sample:vectoradd-cuda11.7.1-ubuntu20.04
10
    resources:
11
      limits:
12
        nvidia.com/gpu: 1
13
kubectl apply -f demo.yaml
14

15
# 看到以下日志说明正常
16
kubectl logs cuda-vectoradd
17
[Vector addition of 50000 elements]
18
Copy input data from the host memory to the CUDA device
19
CUDA kernel launch with 196 blocks of 256 threads
20
Copy output data from the CUDA device to the host memory
21
Test PASSED
22
Done

展开收起

五, 扩容节点#

[!hint] 添加节点后会自动安装驱动

Terminal window展开收起

1
kubectl get node
2
NAME                        STATUS   ROLES                       AGE   VERSION
3
10-9-1-164.ccops-k8s   Ready    etcd,master,system,worker   24h   v1.30.2
4
10-9-1-165.ccops-k8s   Ready    etcd,master,system,worker   24h   v1.30.2
5
10-9-1-166.ccops-k8s   Ready    etcd,master,system,worker   24h   v1.30.2
6
10-9-1-240.ccops-k8s   Ready    system,worker               30m   v1.30.2
7
10-9-1-241.ccops-k8s   Ready    <none>                      73s   v1.30.2
8

9
kubectl get pod -n gpu-operator
10
NAME                                                         READY   STATUS      RESTARTS   AGE
11
gpu-feature-discovery-7q7bz                                  0/1     Init:0/2    0          102s
12
gpu-feature-discovery-d8wlq                                  1/1     Running     0          21m
13
gpu-operator-85ddb88b46-l8nkq                                1/1     Running     0          21m
14
gpu-operator-node-feature-discovery-gc-79dcb7ffcd-dhplf      1/1     Running     0          21m
15
gpu-operator-node-feature-discovery-master-bc65c956f-4xhfv   1/1     Running     0          21m
16
gpu-operator-node-feature-discovery-worker-7s5xm             1/1     Running     0          21m
17
gpu-operator-node-feature-discovery-worker-chk9s             1/1     Running     0          21m
18
gpu-operator-node-feature-discovery-worker-kch4v             1/1     Running     0          21m
19
gpu-operator-node-feature-discovery-worker-v9ffg             1/1     Running     0          2m34s
20
gpu-operator-node-feature-discovery-worker-zsh28             1/1     Running     0          21m
21
nvidia-container-toolkit-daemonset-cpxht                     0/1     Init:0/1    0          102s
22
nvidia-container-toolkit-daemonset-tmxdd                     1/1     Running     0          14m
23
nvidia-cuda-validator-j5tjs                                  0/1     Completed   0          13m
24
nvidia-dcgm-exporter-srb2v                                   1/1     Running     0          14m
25
nvidia-dcgm-exporter-wm8d4                                   0/1     Init:0/1    0          102s
26
nvidia-device-plugin-daemonset-hswct                         0/1     Init:0/1    0          102s
27
nvidia-device-plugin-daemonset-z7t78                         1/1     Running     0          21m
28
nvidia-driver-daemonset-965lp                                1/1     Running     0          21m
29
nvidia-driver-daemonset-cvs9k                                0/1     Running     0          108s
30
nvidia-mig-manager-l5njq                                     1/1     Running     0          13m
31
nvidia-operator-validator-jl4s4                              0/1     Init:0/4    0          102s
32
nvidia-operator-validator-x7bnq                              1/1     Running     0          21m

展开收起

1 查看新节点 gpu 信息#

Terminal window

1
kubectl exec -it -n gpu-operator     nvidia-driver-daemonset-cvs9k sh
2
# nvidia-smi
3
Tue Nov  5 07:43:07 2024
4
+-----------------------------------------------------------------------------------------+
5
| NVIDIA-SMI 565.57.01              Driver Version: 565.57.01      CUDA Version: 12.7     |
6
|-----------------------------------------+------------------------+----------------------+
7
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
8
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
9
|                                         |                        |               MIG M. |

遇到问题#

1 RuntimeClass 版本不对#

[!attention] 参考这个

Terminal window

1
ERROR   controller.clusterpolicy-controller     Reconciler error        {"name": "cluster-policy", "namespace": "", "error": "no matches for kind \"RuntimeClass\" in version \"node.k8s.io/v1beta1\""}
2
sigs.k8s.io/controller-runtime/pkg/internal/controller.(*Controller).processNextWorkItem
3
        /workspace/vendor/sigs.k8s.io/controller-runtime/pkg/internal/controller/controller.go:266
4
sigs.k8s.io/controller-runtime/pkg/internal/controller.(*Controller).Start.func2.2
5
        /workspace/vendor/sigs.k8s.io/controller-runtime/pkg/internal/controller/controller.go:227

修改gpu-operator版本

1
operator:
2
  repository: nvcr.io/nvidia
3
  image: gpu-operator
4
  version: "v24.9.0"  # 不要用默认版本,目前这个版本部署没问题

2 内核问题#

升级内核,要不然报错,我这里升级到了6.8.0-40-generic

Terminal window

1
Some index files failed to download. They have been ignored, or old ones used instead.
2
Resolving Linux kernel version...
3
Could not resolve Linux kernel version
4
Stopping NVIDIA persistence daemon...
5
Unloading NVIDIA driver kernel modules...
6
Unmounting NVIDIA driver rootfs...

3 找不到 `/dev/nvidiactl`#

[!attention] 注意这里不知道是不是 bug,所有设备需要手动做软连接,后面不确定会不会修复,不要修改driverInstallDir里的路径为/dev,尝试过发现启动不起来,后面有进度更新下

Terminal window

1
ln -s /run/nvidia/driver/dev/nvidia* /dev/

4 其他问题#

[!info] 参考这里

atop 使用

Fri, 16 Aug 2024 17:25:58 GMT

机器经常oom 与夯死,但没有进程监控,找不到哪个用的资源比较多,觉得试试 atop,没想到完美解决问题

atop是一款用于监控Linux系统资源与进程的工具，能够报告所有进程的活动。其以一定的频率记录系统和进程活动，采集的数据包含CPU、内存、磁盘、网络的资源使用情况和进程运行情况，并能以日志文件的方式保存在磁盘中。对于每个进程，会显示CPU使用率、内存增长、磁盘使用率、优先级、用户名、状态和退出码等。当机器出现问题后，您可以获取相应的atop日志文件进行分析。本文介绍如何在Linux实例中安装、配置并使用atop监控工具。

1 安装atop#

1.1 执行如下命令，安装atop。#

yum 安装的 atop 版本是2.7的,日志分割失效,建议从官网下载 rpm 包安装可以点击这里下载对应的 rpm 包,注意系统版本,我这里用的 rocky 8 还有个日志保存天数问题,默认加 2,注意下

Terminal window

1
sudo yum install https://www.atoptool.nl/download/atop-2.10.0-1.el8.x86_64.rpm

2 配置并启动atop#

LOGOPTS：用于控制日志文件记录选项，可以自定义日志文件的保存路径、命名规则、滚动周期以及其他与日志记录相关的选项。为空""表示不使用任何额外选项。
LOGINTERVAL：监控周期，建议将默认的监控周期600s修改为30s。
LOGGENERATIONS：日志保留时间，为避免atop长时间运行占用太多磁盘空间，建议将默认的日志保留时间28天修改为 5天。这里用的find . -mtim +5来进行删除, 表示查找 5 天前修改的日志,不包括第五天,然后生成的日志最新时间是第二天 0 点,所以写 5 是删除一周以前的日志
LOGPATH：指定atop日志文件的路径。默认值为/var/log/atop。

1
vim /etc/sysconfig/atop
2
LOGOPTS="-w /var/log/atop/atop_$(date +\%Y\%m\%d)"
3
LOGINTERVAL=90
4
LOGGENERATIONS=4
5
LOGPATH=/var/log/atop

2.1 启动atop服务。#

Terminal window

1
sudo systemctl restart atop
2
sudo systemctl enable atop

3 分析atop日志#

atop启动后，会将采集记录存放在/var/log/atop目录下的日志文件中。执行如下命令，查看日志文件。

Terminal window

1
atop -r /var/log/atop/atop_20240716 -l -b 13:00 -e 17:00

3.1 atop常用命令#

打开日志文件后，您可以使用以下命令筛选数据。

g：切换回默认的综合输出视图。
c：显示进程列完整命令行。
l: 简化显示
m：按照进程内存使用率进行降序筛选。
d：按照进程磁盘使用率进行降序筛选。
a：按照进程资源综合使用率进行降序筛选。
n：按照进程网络使用率进行降序筛选。
j: 每个容器的总资源消耗
t：跳转到下一个监控采集点。
T：跳转到上一个监控采集点。
b：指定时间点，格式为YYYYMMDDhhmm。
e: 指定时间区间,与-b 配合

3.2 系统资源监控字段含义#

下图为部分监控字段以及数值，具体数值根据采样周期有所不同。下图仅供参考，具体数据以您实际数据为准。

Terminal window展开收起

1
ATOP - 10-1-1-1      2024/07/16  14:02:27      -----------------    80d22h2m18s elapsed
2
PRC |  sys    5d15h |  user   4d21h  | #proc   1737  |  #zombie    0  | #exit      0  |
3
CPU |  sys      10% |  user      9%  | irq       2%  |  idle    774%  | wait      4%  |
4
CPL |  avg1    0.21 |  avg5    0.38  | avg15   0.41  |  csw 548314e5  | intr 34394e6  |
5
MEM |  tot    31.3G |  free    5.7G  | buff    5.2M  |  slab    2.8G  | numnode    1  |
6
SWP |  tot     0.0M |  free    0.0M  | swcac   0.0M  |  vmcom   8.2G  | vmlim  15.6G  |
7
LVM |  tavg-lv_data |  busy      5%  | read    9272  |  write 1353e5  | avio 2.68 ms  |
8
LVM |       rl-root |  busy      0%  | read   24578  |  write 1474e4  | avio 1.98 ms  |
9
LVM |       rl-swap |  busy      0%  | read     145  |  write      0  | avio 1.48 ms  |
10
DSK |           sdb |  busy      5%  | read   10214  |  write 1336e5  | avio 2.72 ms  |
11
DSK |           sda |  busy      0%  | read   25972  |  write 1311e4  | avio 2.23 ms  |
12
NFM |  1934a878d544 |  srv 10.1.1  | read   10.4M  |  write   3.2M  | nread  52.4M  |
13
NFM |  226453875267 |  srv 10.1.1  | read   10.4M  |  write   3.2M  | nread  52.4M  |
14
NET |  transport    |  tcpi 13619e5  | tcpo 14296e5  |  udpi 22191e4  | udpo 16771e3  |
15
NET |  network      |  ipi 159264e4  | ipo 160147e4  |  ipfrw 2840e3  | deliv 1589e6  |
16
NET |  lo      ---- |  pcki 11036e5  | pcko 11036e5  |  si  315 Kbps  | so  315 Kbps  |
17
NET |  eth0    ---- |  pcki 47821e4  | pcko 46149e4  |  si  256 Kbps  | so  216 Kbps  |
18
   PID CID           SYSCPU  USRCPU  VGROW   RGROW   RDDSK  WRDSK   CPU  CMD       1/87
19
318634 host--------  51h57m  15h40m   2.0G  136.3M   28.0K 214.0M    3%  kubelet
20
283409 host--------  10h45m  37h15m   1.8G  846.4M      0B 119.9M    2%  kube-apiserver
21
274396 host--------   6h23m  10h44m   9.9G  134.9M      0B 408.7G    1%  etcd
22
304980 780e3ae15b3f   3h13m   5h27m 860.4M  159.9M   56.0K  20.0K    0%  cilium-agent
23
288977 babbbf621f60  60m21s   7h14m   1.0G  252.3M      0B  19.8M    0%  argocd-applica

展开收起

主要参数说明如下：

参数	说明
Atop行	主机名、信息采样日期和时间点。
PRC行	进程整体运行情况。
	Sys、user：分别代表进程在内核态和用户态的运行时间。
	#proc：进程总数。
	#trun：处于running状态进程数。
	#tslpi：处于sleeping Interruptible状态的进程数。
	#tslpu：处于sleeping Uninterruptible状态的进程数。
	#zombie：僵死进程的数量。
	#exit：atop采样周期内退出的进程数。
CPU行	Cpu整体的使用情况，即多核cpu作为一个整体cpu资源的使用情况。cpu行各个字段数字相加结果为n*100%，其中n为cpu的核数。
	Sys、user：cpu在用于处理进程时，进程在内核态及用户态所占cpu的时间比例。
	Irq：cpu用于处理中断的时间比例。
	Idle：cpu处在完全空闲状态的时间比例。
	Wait：cpu处在进程等待磁盘io导致cpu空闲状态的时间比例。
CPL行	Cpu负载情况。
	Avg1、avg5和avg15：分别代表过去1分钟、5分钟和15分钟内运行队列中的平均进程数量。
	Csw：上下文切换次数。
	Intr：中断发生次数。
MEM行	内存的使用情况。
	Tot：物理内存总量。
	Free：空闲内存的大小。
	Cache：用于页缓存的内存大小。
	Buff：用于文件缓存的内存大小。
	Slab：系统内核占用的内存大小。
SWP行	交换空间的使用情况。
	Tot：交换区总量。
	Free：空闲交换空间大小。
LVM行	LVM情况。
	rl-root,vg+lv对应名称,剩下信息与DSK行一样。
DSK行	磁盘使用情况，每一个磁盘设备对应一列，如果有vdb设备，那么将会增加一行dsk信息。
	sdb：磁盘设备标识。
	Busy：磁盘处于busy状态的时间比例。
	Read、write：分别代表读、写请求数量。
NFM行	nfs 挂载信息
NET行	多列net展示了网络状况，包括传输层tcp和udp、ip层以及各活动的网口信息。
	si：各层或活动网口接收包大小。
	so: 各层或活动网口发送包大小。

Rocketmq controller高可用部署

Sun, 09 Jun 2024 19:23:19 GMT

[!info] 参考 # 自动主从切换快速开始根据次文档改成 docker-compose 部署，并且使用三个NameServer 节点，可是部署到生产环境，根据需要添加broker

Ip	角色
192.168.10.67	NameServer 1，broker
192.168.10.68	NameServer 2，broker
192.168.10.69	NameServer 3

1 配置文件#

1
目录结构
2
tree
3
.
4
├── hosts.ini
5
└── rocketmq
6
    ├── broker-1
7
    │   ├── broker
8
    │   │   ├── broker.conf # broker配置文件
9
    │   │   └── plain_acl.yml # 权限控制
10
    │   ├── docker-compose.yml
11
    │   └── namesrv
12
    │       └── namesrv.conf
13
    ├── broker-2
14
    │   ├── broker
15
    │   │   ├── broker.conf # 与broker-1 配置一样
16
    │   │   └── plain_acl.yml
17
    │   ├── docker-compose.yml
18
    │   └── namesrv
19
    │       └── namesrv.conf # NameServer配置
20
    └── broker-3
21
        ├── docker-compose.yml
22
        ├── namesrv
23
        │   └── namesrv.conf
24
        └── users.properties # dashboard，账户配置

展开收起

2 配置#

2.1 NameServer#

2.1.1 n0#

Terminal window

1
cat rocketmq/broker-1/namesrv/namesrv.conf
2
listenPort = 9876
3
enableControllerInNamesrv = true
4
controllerDLegerGroup = group1
5
controllerDLegerPeers = n0-192.168.10.67:9877;n1-192.168.10.68:9877;n2-192.168.10.69:9877
6
controllerDLegerSelfId = n0
7
controllerStorePath = /home/rocketmq/store/controller
8
enableElectUncleanMaster = false
9
notifyBrokerRoleChanged  =  true

2.1.2 n1#

Terminal window

1
cat rocketmq/broker-2/namesrv/namesrv.conf
2
listenPort = 9876
3
enableControllerInNamesrv = true
4
enableController = true
5
controllerDLegerGroup = group1
6
controllerDLegerPeers = n0-192.168.10.67:9877;n1-192.168.10.68:9877;n2-192.168.10.69:9877
7
controllerDLegerSelfId = n1
8
controllerStorePath = /home/rocketmq/store/controller
9
enableElectUncleanMaster = false
10
notifyBrokerRoleChanged  =  true

2.1.3 n2#

Terminal window

1
cat rocketmq/broker-3/namesrv/namesrv.conf
2
listenPort = 9876
3
enableController = true
4
enableControllerInNamesrv = true
5
controllerDLegerGroup = group1
6
controllerDLegerPeers = n0-192.168.10.67:9877;n1-192.168.10.68:9877;n2-192.168.10.69:9877
7
controllerDLegerSelfId = n2
8
controllerStorePath = /home/rocketmq/store/controller
9
enableElectUncleanMaster = false
10
notifyBrokerRoleChanged  =  true

2.2 Broker#

2.2.1 a#

两个节点配置一样

Terminal window展开收起

1
cat rocketmq/broker-1/broker/broker.conf
2
cat rocketmq/broker-2/broker/broker.conf
3
brokerClusterName=DefaultCluster
4
brokerName=broker-a
5
brokerId=-1
6
brokerRole=SLAVE
7
listenPort=10911
8
allAckInSyncStateSet=true
9
deleteWhen=04
10
fileReservedTime=48
11
flushDiskType=ASYNC_FLUSH
12
enableControllerMode = true
13
controllerAddr = 192.168.10.67:9877;192.168.10.68:9877;192.168.10.69:9877
14
namesrvAddr = 192.168.10.67:9876;192.168.10.68:9876;192.168.10.69:9876
15
storePathRootDir=/home/rocketmq/store
16
storePathCommitLog=/home/rocketmq/store/commitlog

展开收起

2.2.2 b#

这里只是展示下配置多个broker 怎么写，此文档演示不会部署

Terminal window

1
brokerClusterName=DefaultCluster
2
brokerName=broker-b # 只需要修改这里
3
brokerId=-1
4
brokerRole=SLAVE
5
listenPort=10911
6
allAckInSyncStateSet=true
7
deleteWhen=04
8
fileReservedTime=48
9
flushDiskType=ASYNC_FLUSH
10
enableControllerMode = true
11
controllerAddr = 192.168.10.67:9877;192.168.10.68:9877;192.168.10.69:9877
12
namesrvAddr = 192.168.10.67:9876;192.168.10.68:9876;192.168.10.69:9876
13
storePathRootDir=/home/rocketmq/store
14
storePathCommitLog=/home/rocketmq/store/commitlog

2.3 docker-compose 配置#

2.3.1 第一个节点#

Terminal window展开收起

1
services:
2
  namesrv-1:
3
    image: apache/rocketmq:5.3.0
4
    container_name: rmqnamesrv-1
5
    network_mode: host
6
    environment:
7
      - MAX_POSSIBLE_HEAP=100000000
8
      - JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m -Drocketmq.namesrv.kvConfigPath=/home/rocketmq/store/kvConfig.json
9
    volumes:
10
      - ./namesrv/namesrv.conf:/home/rocketmq/rocketmq-5.3.0/conf/namesrv.conf
11
      - ./namesrv/store:/home/rocketmq/store
12
      - /etc/localtime:/etc/localtime
13
    expose:
14
      - 9877
15
      - 9877
16
    command: sh mqnamesrv -c /home/rocketmq/rocketmq-5.3.0/conf/namesrv.conf
17
  broker-a:
18
    image: apache/rocketmq:5.3.0
19
    container_name: rmqbroker-a
20
    network_mode: host
21
    environment:
22
      - JAVA_OPT_EXT=-Xms2048M -Xmx2048M -Xmn512m
23
      - JAVA_OPTS=-Duser.timezone=Asia/Shanghai
24
    expose:
25
      - 10909
26
      - 10911
27
      - 10912
28
    volumes:
29
      - ./broker/broker.conf:/home/rocketmq/rocketmq-5.3.0/conf/broker.conf
30
      - ./broker/plain_acl.yml:/home/rocketmq/rocketmq-5.3.0/conf/acl/plain_acl.yml
31
      - ./broker/logs:/home/rocketmq/logs
32
      - ./broker/store:/opt/rmqstore/store
33
      - /etc/localtime:/etc/localtime:ro
34
    command: sh mqbroker -c /home/rocketmq/rocketmq-5.3.0/conf/broker.conf
35
    restart: unless-stopped

展开收起

2.3.2 第二个节点#

Terminal window展开收起

1
cat rocketmq/broker-2/docker-compose.yml
2
services:
3
  namesrv-2:
4
    image: apache/rocketmq:5.3.0
5
    container_name: rmqnamesrv-2
6
    network_mode: host
7
    environment:
8
      - MAX_POSSIBLE_HEAP=100000000
9
      - JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m -Drocketmq.namesrv.kvConfigPath=/home/rocketmq/store/kvConfig.json
10
    volumes:
11
      - ./namesrv/namesrv.conf:/home/rocketmq/rocketmq-5.3.0/conf/namesrv.conf
12
      - ./namesrv/store:/home/rocketmq/store
13
      - /etc/localtime:/etc/localtime
14
    expose:
15
      - 9877
16
    command: sh mqnamesrv -c /home/rocketmq/rocketmq-5.3.0/conf/namesrv.conf
17
  broker-a:
18
    image: apache/rocketmq:5.3.0
19
    container_name: rmqbroker-a
20
    network_mode: host
21
    environment:
22
      - JAVA_OPT_EXT=-Xms2048M -Xmx2048M -Xmn512m
23
      - JAVA_OPTS=-Duser.timezone=Asia/Shanghai
24
    expose:
25
      - 10909
26
      - 10911
27
      - 10912
28
    volumes:
29
      - ./broker/broker.conf:/home/rocketmq/rocketmq-5.3.0/conf/broker.conf
30
      - ./broker/plain_acl.yml:/home/rocketmq/rocketmq-5.3.0/conf/acl/plain_acl.yml
31
      - ./broker/logs:/home/rocketmq/logs
32
      - ./broker/store:/home/rocketmq/store
33
      - /etc/localtime:/etc/localtime:ro
34
    command: sh mqbroker -c  /home/rocketmq/rocketmq-5.3.0/conf/broker.conf

展开收起

2.3.3 第三个节点#

Terminal window展开收起

1
cat rocketmq/broker-3/docker-compose.yml
2
services:
3
  namesrv-3:
4
    image: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apache/rocketmq:5.3.0
5
    container_name: rmqnamesrv-3
6
    network_mode: host
7
    environment:
8
      - MAX_POSSIBLE_HEAP=100000000
9
      - JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m -Drocketmq.namesrv.kvConfigPath=/home/rocketmq/store/kvConfig.json
10
    volumes:
11
      - ./namesrv/namesrv.conf:/home/rocketmq/rocketmq-5.3.0/conf/namesrv.conf
12
      - ./namesrv/store:/home/rocketmq/store
13
      - /etc/localtime:/etc/localtime
14
    expose:
15
      - 9877
16
    command: sh mqnamesrv -c /home/rocketmq/rocketmq-5.3.0/conf/namesrv.conf
17
  rocketmq-dashboard:
18
    image: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apacherocketmq/rocketmq-dashboard:latest
19
    container_name: rocketmq-dashboard
20
    environment:
21
      - JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.10.67:9876;192.168.10.68:9876;192.168.10.69:9876 -Duser.timezone='Asia/Shanghai'
22
      - JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m
23
      - rocketmq.config.loginRequired=true
24
      - rocketmq.config.accessKey=vldRocketMQ
25
      - rocketmq.config.secretKey=ZKdyFW3AeknPDtz6cjDA
26
      - rocketmq.config.dataPath=/rocketmq-console-data
27
    volumes:
28
      - /etc/localtime:/etc/localtime
29
      - ./users.properties:/rocketmq-console-data/users.properties
30
    ports:
31
      - 8080:8080

展开收起

3 启动服务#

[!attention] 这里使用 ansible 部署，也可以手动上次包

3.1 Hosts 文件#

已经配置免密，没有的可以取消注释修改

Terminal window展开收起

1
cat hosts.ini
2
[rocketmq]
3
192.168.10.67
4
192.168.10.68
5
192.168.10.69
6

7
[all:children]
8
rocketmq
9
[all:vars]
10
ansible_become=true
11
ansible_become_method=sudo
12
; ansible_ssh_user='csdn'
13
; ansible_ssh_pass="DSJzx@1234"
14
; ansible_become_pass="DSJzx@1234"
15
; ansible_ssh_port=22

展开收起

3.2 批量启动服务#

Terminal window展开收起

1
# 修改ip
2
find rocketmq -type f -exec sed -i 's/192.168.10.67/192.168.10.67/g' {} +
3
find rocketmq -type f -exec sed -i 's/192.168.10.68/192.168.10.68/g' {} +
4
find rocketmq -type f -exec sed -i 's/192.168.10.69/192.168.10.69/g' {} +
5
手动替换plain_acl.yml网段192.168.10.*
6
修改jvm配置
7

8
# 创建目录并设置权限
9
ansible rocketmq -i hosts.ini -m file -a "path=/data/server/rocketmq/ state=directory owner=3000 group=3000 mode=0755" --become
10
# 拷贝文件
11
ansible 192.168.10.67 -i hosts.ini -m copy -a "src=rocketmq/broker-1/ dest=/data/server/rocketmq/" --become
12
ansible 192.168.10.68 -i hosts.ini -m copy -a "src=rocketmq/broker-2/ dest=/data/server/rocketmq/" --become
13
ansible 192.168.10.69 -i hosts.ini -m copy -a "src=rocketmq/broker-3/ dest=/data/server/rocketmq/" --become
14

15
# 启动docker-compose服务
16
ansible rocketmq -i hosts.ini -m shell -a "cd /data/server/rocketmq/ && docker-compose up -d" --become
17
ansible rocketmq -i hosts.ini -m shell -a "cd /data/server/rocketmq/ && docker-compose down" --become
18
ansible rocketmq -i hosts.ini -m file -a "path=/data/server/rocketmq/ state=directory owner=3000 group=3000 recurse=yes" --become  # 没有这部会导致没有权限启动不起来
19
ansible rocketmq -i hosts.ini -m shell -a "cd /data/server/rocketmq/ && docker-compose up -d" --become

展开收起

4 查看服务#

Terminal window展开收起

1
# 查看 Controller 集群
2
docker exec -it rmqnamesrv-1 ./mqadmin getControllerMetaData -a 192.168.10.68:9877
3
#ControllerGroup  group1
4
#ControllerLeaderId  n0
5
#ControllerLeaderAddress  192.168.10.67:9877
6
#Peer:  n0:192.168.10.67:9877
7
#Peer:  n1:192.168.10.68:9877
8
#Peer:  n2:192.168.10.69:9877
9

10
# 查看 broker 状态
11
docker exec -it rmqnamesrv-1 ./mqadmin getSyncStateSet -a 192.168.10.67:9877 -b broker-a
12
#brokerName  broker-a
13
#MasterBrokerId  2
14
#MasterAddr  192.168.10.68:10911
15
#MasterEpoch  2
16
#SyncStateSetEpoch  4
17
#SyncStateSetNums  2
18
InSyncReplica:  ReplicaIdentity{brokerName='broker-a', brokerId=2, brokerAddress='192.168.10.68:10911', alive=true}
19
InSyncReplica:  ReplicaIdentity{brokerName='broker-a', brokerId=3, brokerAddress='192.168.10.67:10911', alive=true}
20
NotInSyncReplica:  ReplicaIdentity{brokerName='broker-a', brokerId=1, brokerAddress='192.168.10.67:10911', alive=false}

展开收起

5 遇到的问题#

5.1 broker 节点同步不了，改成单网卡#

节点多网卡，broker 使用不能通信的网卡，如

Terminal window

1
# 日志报错
2
AutoSwitchHAClient connect to master 10.0.32.192:10912 failed
3
# 手动在容器里查看，正确的ip应该是192.168.10.67，但访问的是10.0.32.192
4
hostname -I
5
192.168.10.67 172.17.0.1 10.0.32.192 172.18.0.1

MySQL 8.0 主从

Sun, 09 Jun 2024 17:25:58 GMT

1 环境规划#

ip		端口	名称
10.1.1.1	8.0	3306	Master
10.1.1.2	8.0	3306	Slave

2 搭建 Mysql#

2.1 Master#

2.1.1 目录结构#

1
tree -L 1
2
.
3
├── conf
4
|    └── master.cnf
5
├── data
6
├── docker-compose.yml
7
└── logs

2.1.2 Master 配置#

Terminal window展开收起

1
cat conf/master.cnf
2
[mysqld]
3
skip-name-resolve #禁用DNS查找,不使用域名开启这个
4
max_connections=2000 #连接数
5
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
6

7
#gtid:
8
server_id=1                   #服务器id
9
gtid_mode=on                  #开启gtid模式
10
enforce_gtid_consistency=on   #强制gtid一致性，开启后对于特定create table不被支持
11

12
#binlog
13
log_bin=mysql-binlog
14
log_slave_updates=on
15
binlog_format=row
16
skip_slave_start=1
17
log_replica_updates=ON
18
skip_replica_start=ON
19

20
#mem 0.75*
21
innodb_buffer_pool_size = 12884901888
22
innodb_flush_log_at_trx_commit = 0
23

24
# cpu num
25
innodb_parallel_read_threads = 8
26
replica_parallel_type = LOGICAL_CLOCK
27
replica_parallel_workers = 8
28
slave_parallel_type = LOGICAL_CLOCK
29
slave_parallel_workers = 8

展开收起

2.1.3 Docker-compose 配置#

Terminal window展开收起

1
cat docker-compose.yml
2
services:
3
  mysql-master:
4
    image: swr.cn-east-3.myhuaweicloud.com/plugins/mysql:8.0
5
    container_name: mysql-master
6
    network_mode: host
7
    command:
8
      --character-set-server=utf8mb4
9
      --collation-server=utf8mb4_general_ci
10
      --explicit_defaults_for_timestamp=true
11
      --lower_case_table_names=1
12
    expose:
13
      - "3306"
14
    volumes:
15
      - ./data:/var/lib/mysql
16
      - ./conf:/etc/mysql/conf.d
17
      - ./logs:/var/log/mysql
18
    environment:
19
      TZ: Asia/Shanghai
20
      MYSQL_ROOT_PASSWORD: hXG7CscMWKzrhpTx
21
      MYSQL_DATABASE: nacos_config
22
      MYSQL_USER: gouyouhui
23
      MYSQL_PASSWORD: BNk6J3pHCtEdEsXf
24
      LANG: C.UTF-8
25
    healthcheck:
26
      test: [ "CMD", "mysqladmin" ,"ping", "-h", "localhost" ]
27
      interval: 5s
28
      timeout: 10s
29
      retries: 10
30
  mysqld_exporter:
31
    image: registry.bluethink.cn:5001/mysqld-exporter:v0.17.2
32
    container_name: master-mysqld_exporter
33
    hostname: app-mysqld_exporter
34
    network_mode: host
35
    restart: unless-stopped
36
    volumes:
37
      - /usr/share/zoneinfo/PRC:/etc/localtime
38
    environment:
39
      MYSQLD_EXPORTER_PASSWORD: hXG7CscMWKzrhpTx
40
    entrypoint:
41
      - /bin/mysqld_exporter
42
      - --mysqld.address=192.168.1.135:3306
43
      - --mysqld.username=mysqld_exporter
44
      - --collect.info_schema.innodb_metrics
45
      - --collect.info_schema.tables
46
      - --collect.info_schema.processlist
47
      - --collect.info_schema.tables.databases=*

展开收起

2.1.4 启动并查看#

Terminal window展开收起

1
docker-compose up -d
2
docker exec -it mysql-master bash
3
root@mysql-master:/# mysql -uroot -p
4
mysql> show variables like '%server_id%';
5
+----------------+-------+
6
| Variable_name  | Value |
7
+----------------+-------+
8
| server_id      | 1     |
9
| server_id_bits | 32    |
10
+----------------+-------+
11
2 rows in set (0.01 sec)
12

13
mysql> SHOW MASTER STATUS\G
14
*************************** 1. row ***************************
15
             File: mysql-binlog.000013
16
         Position: 783964
17
     Binlog_Do_DB:
18
 Binlog_Ignore_DB:
19
Executed_Gtid_Set: 773cdc71-2fa1-11f0-a510-3a61321a98f9:1-3137
20
1 row in set (0.00 sec)

展开收起

2.2 Slave#

2.3 目录结构#

1
tree -L 1
2
.
3
├── conf
4
|    └── slave.cnf
5
├── data
6
├── docker-compose.yml
7
└── logs

2.3.1 Slave 配置#

1
cat conf/slave.cnf
2
[mysqld]
3
max_connections=2000
4
skip-name-resolve
5
innodb_numa_interleave=OFF
6
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
7

8
#GTID:
9
server_id=2                  #服务器id
10
gtid_mode=on                 #开启gtid模式
11
enforce_gtid_consistency=on  #强制gtid一致性，开启后对于特定create table不被支持
12

13
#binlog
14
log_bin =mysql-binlog
15
log_slave_updates=on
16
binlog_format=row
17

18
#relay log
19
skip_slave_start=1
20
read_only=on                   #设置只读
21

22
#mem 0.75*
23
innodb_buffer_pool_size = 12884901888
24
innodb_flush_log_at_trx_commit = 0
25

26
# cpu num
27
innodb_parallel_read_threads = 8
28
replica_parallel_type = LOGICAL_CLOCK
29
replica_parallel_workers = 8
30
slave_parallel_type = LOGICAL_CLOCK
31
slave_parallel_workers = 8

展开收起

2.3.2 Docker-compose 配置#

跟 Master 配置基本一样, 改下名字

1
cat docker-compose.yml
2
services:
3
  mysql-master:
4
    image: swr.cn-east-3.myhuaweicloud.com/plugins/mysql:8.0
5
    container_name: mysql-slave
6
......

2.3.3 启动#

1
docker exec -it mysql-slave bash
2
root@mysql-slave:/# mysql -uroot -p
3
mysql> show variables like '%server_id%';
4
+----------------+-------+
5
| Variable_name  | Value |
6
+----------------+-------+
7
| server_id      | 2     |
8
| server_id_bits | 32    |
9
+----------------+-------+
10
2 rows in set (0.00 sec)
11

12
mysql> SHOW MASTER STATUS\G
13
*************************** 1. row ***************************
14
             File: mysql-binlog.000001
15
         Position: 157
16
     Binlog_Do_DB:
17
 Binlog_Ignore_DB:
18
Executed_Gtid_Set:
19
1 row in set (0.00 sec)

展开收起

3 配置主从同步#

3.1 主库添加账号#

Terminal window

1
# 监控账号
2
docker exec -it mysql-master bash
3
CREATE USER 'mysqld_exporter'@'192.168.1.%' IDENTIFIED BY 'hXG7CscMWKzrhpTx' WITH MAX_USER_CONNECTIONS 3;
4
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'mysqld_exporter'@'192.168.1.135';
5
# 主从同步账号
6
CREATE USER 'bluethink-mysql'@'192.168.1.55' IDENTIFIED WITH mysql_native_password BY 'BNk6JpHCtEdEsXf';
7
GRANT REPLICATION SLAVE ON *.* TO 'bluethink-mysql'@'192.168.1.55';
8
SELECT User, Host FROM mysql.user;
9
+------------------+---------------+
10
| User             | Host          |
11
+------------------+---------------+
12
| mysqld_exporter  | 192.168.1.135 |
13
| bluethink-mysql  | 192.168.1.55  |

3.2 从库配置主从同步#

Terminal window

1
docker exec -it mysql-slave bash
2
CHANGE MASTER TO master_host='192.168.1.135', master_port=3306, master_user='bluethink-mysql', master_password='BNk6JpHCtEdEsXf', master_auto_position=1;
3
Query OK, 0 rows affected, 8 warnings (0.09 sec)
4

5
mysql> RESET SLAVE;
6
Query OK, 0 rows affected, 1 warning (0.02 sec)
7

8
mysql> START SLAVE;
9
Query OK, 0 rows affected, 1 warning (0.03 sec)

3.2.1 查看状态#

Terminal window

1
SHOW SLAVE STATUS\G
2
*************************** 1. row ***************************
3
               Slave_IO_State: Connecting to source
4
                  Master_Host: 192.168.1.135
5
                  Master_User: bluethink-mysql
6
                  Master_Port: 3306
7
                Connect_Retry: 60
8
              Master_Log_File:
9
          Read_Master_Log_Pos: 4
10
               Relay_Log_File: redis-relay-bin.000001
11
                Relay_Log_Pos: 4
12
        Relay_Master_Log_File:
13
             Slave_IO_Running: Yes
14
            Slave_SQL_Running: Yes

4 备份#

4.1 安装 `xtrabackup`#

[!attention] 注意版本这里备份的版本是 MySQL 8.0

Terminal window

1
wget https://downloads.percona.com/downloads/Percona-XtraBackup-LATEST/Percona-XtraBackup-8.0.32-26/binary/redhat/9/x86_64/percona-xtrabackup-80-8.0.32-26.1.el9.x86_64.rpm
2
yum install percona-xtrabackup-80-8.0.32-26.1.el9.x86_64.rpm

4.2 准备备份账号#

RELOAD 开始复制文件之前, 使用备份锁时需要此权限。

REPLICATION CLIENT 为了获得二进制日志位置。

CREATE TABLESPACE 以导入表（请参见还原单个表）。

PROCESS 查看服务器上运行的所有线程 SHOW ENGINE INNODB STATUS

SUPER 为了在复制环境中启动/停止副本线程，使用 XtraDB 更改页跟踪进行增量备份和改进的 FLUSH 表以及读锁定处理。

CREATE 创建 PERCONA_SCHEMA.xtrabackup_history 数据库和表。

ALTER 升级 PERCONA_SCHEMA.xtrabackup_history 数据库和表。

INSERT 历史记录添加到 PERCONA_SCHEMA.xtrabackup_history 表中。

SELECT 查找 innobackupex –incremental-history-name 或 innobackupex –incremental-history-uuid

Terminal window

1
CREATE USER 'gouyouhui_backup'@'192.168.1.%' IDENTIFIED BY '8WeRYA2BQkBPFzNw';
2
GRANT BACKUP_ADMIN, RELOAD, LOCK TABLES, PROCESS, REPLICATION CLIENT ON *.* TO 'gouyouhui_backup'@'192.168.1.%';
3
GRANT SELECT ON performance_schema.* TO 'gouyouhui_backup'@'192.168.1.%';
4
FLUSH PRIVILEGES;

4.3 备份#

备份 master 的话可能对 master 性能产生影响，但恢复的时候不会有任何问题
备份 slave 节点的话不会对 master 性能产生影响，但是恢复的话如果可以与 master 通信会自动加入到主从，数据可能会有问题，不过可以在备份的时候先暂停下主从同步

4.3.1 全量备份#

这里选择备份 Master

Terminal window

1
xtrabackup --backup \
2
--host=192.168.1.135 \
3
--user=gouyouhui_backup \
4
--password=8WeRYA2BQkBPFzNw \
5
--datadir=/data/server/mysql/data \
6
--target-dir=/data/mysql_backup`date +%F` \
7
--log_bin=/data/server/mysql/data/ \
8
--log-bin-index=/data/server/mysql/data/mysql-binlog.index

4.3.2 增量备份#

Terminal window

1
xtrabackup --backup \
2
--host=192.168.1.135 \
3
--user=gouyouhui_backup \
4
--password=8WeRYA2BQkBPFzNw \
5
--datadir=/data/server/mysql/data \
6
--target-dir=/data/mysql_backup \
7
--log_bin=/data/server/mysql/data/ \
8
--log-bin-index=/data/server/mysql/data/mysql-binlog.index
9
--incremental: /data/mysql_backup/incremental
10
--incremental-basedir: /data/mysql_backup`date +%F`

Calico多集群通信

Thu, 28 Dec 2023 10:18:26 GMT

1 添加 ippool#

1.1 配置 ippool#

以clusterA集群为例子,此操作也要在clusterB 执行

1
# 在 clusterA 集群执行
2
# 导出配置文件
3
calicoctl get ippool default-ipv4-ippool -o yaml > clusterA-ippool.yaml
4

5
# 修改配置文件
6
vim clusterA-ippool.yaml
7
apiVersion: projectcalico.org/v3
8
items:
9
- apiVersion: projectcalico.org/v3
10
  kind: IPPool
11
  metadata:
12
    name: clusterA-ipv4-ippool 修改名称
13
  spec:
14
    allowedUses:
15
    - Workload
16
    - Tunnel
17
    blockSize: 26
18
    cidr: 192.168.0.0/16
19
    disabled: true # 添加
20
    ipipMode: CrossSubnet
21
    natOutgoing: true
22
    nodeSelector: all()
23
    vxlanMode: Never
24
kind: IPPoolList
25

26
#拷贝到 clusterA 集群执行
27
calicoctl apply -f clusterA-ippool.yaml

展开收起

1.2 查看#

1.2.1 clusterA 集群#

Terminal window

1
calicoctl get ippool -o wide
2
NAME                  CIDR             NAT    IPIPMODE      VXLANMODE   DISABLED   DISABLEBGPEXPORT   SELECTOR
3
default-ipv4-ippool   192.168.0.0/16   true   CrossSubnet   Never       false      false              all()
4
clusterB-ipv4-ippool  172.16.0.0/16    true   Always        Never       true       false              all()

1.2.2 clusterB 集群#

Terminal window

1
get ippool -o wide
2
NAME                  CIDR             NAT    IPIPMODE      VXLANMODE   DISABLED   DISABLEBGPEXPORT   SELECTOR
3
clusterA-ipv4-ippool  192.168.0.0/16   true   CrossSubnet   Never       true       false              all()
4
default-ipv4-ippool   172.16.0.0/16    true   Always        Never       false      false              all()

2 BGP 对等体配置#

以clusterA集群为例子,此操作也要在clusterB 执行,如果需要高可用需要加多个对等体

1
apiVersion: projectcalico.org/v3
2
kind: BGPPeer
3
metadata:
4
  name: clusterb-global-peer1
5
spec:
6
  node: clusterBmaster1
7
  peerIP: 10.0.0.1
8
  asNumber: 63456 # 通过 `calicoctl get BGPConfiguration` 查看

2.1 查看#

10.0.0.1为clusterB 集群的 master 节点

Terminal window

1
calicoctl node status
2
Calico process is running.
3

4
IPv4 BGP status
5
+----------------+---------------+-------+----------+-------------+
6
|  PEER ADDRESS  |   PEER TYPE   | STATE |  SINCE   |    INFO     |
7
+----------------+---------------+-------+----------+-------------+
8
| 10.1.1.1       | node specific | up    | 06:54:15 | Established |
9
| 10.1.1.1       | node specific | up    | 06:54:15 | Established |
10
| 10.0.0.1       | node specific | up    | 07:36:05 | Established |
11
+----------------+---------------+-------+----------+-------------+

3 问题记录#

3.1 获取不到另一个集群路由#

Terminal window

1
# 测试配置对等体的端口
2
telnet 10.0.0.1 179

GitLab 单节点

Thu, 08 Jun 2023 17:50:52 GMT

更详细配置参考配置模版,此文档主要测试lfs与saml,并且使用这俩功能一定要开启https,并且证书可信

1 编写 docker-compose.yml#

1.1 lfs配置#

LFS 的指针文件是一个文本文件，存储在 Git 仓库中，对应大文件的内容存储在 LFS 服务器里，而不是 Git 仓库中，专门用来解决git存储大文件问题不建议存放本地磁盘,建议上传到s3

Terminal window展开收起

1
        gitlab_rails['lfs_enabled'] = true
2
        gitlab_rails['object_store']['enabled'] = true
3
        gitlab_rails['object_store']['proxy_download'] = true
4
        gitlab_rails['object_store']['connection'] = {
5
          'provider' => 'AWS',
6
          'endpoint' => 'http://10.1.1.1:9000',
7
          'path_style' => true,
8
          'region' => 's-west-1',
9
          'aws_access_key_id' => 'minioadmin',
10
          'aws_secret_access_key' => 'qweasd',
11
          'aws_signature_version' => 2,
12
          'enable_signature_v4_streaming' => false
13
        }
14
        gitlab_rails['object_store']['objects']['lfs']['bucket'] = 'gitlab-lfs'
15
        gitlab_rails['object_store']['objects']['artifacts']['enabled'] = false
16
        gitlab_rails['object_store']['objects']['artifacts']['enabled'] = false
17
        gitlab_rails['object_store']['objects']['external_diffs']['enabled'] = false
18
        gitlab_rails['object_store']['objects']['uploads']['enabled'] = false
19
        gitlab_rails['object_store']['objects']['packages']['enabled'] = false
20
        gitlab_rails['object_store']['objects']['dependency_proxy']['enabled'] = false
21
        gitlab_rails['object_store']['objects']['terraform_state']['enabled'] = false
22
        gitlab_rails['object_store']['objects']['ci_secure_files']['enabled'] = false
23
        gitlab_rails['object_store']['objects']['pages']['enabled'] = false

展开收起

1.2 ldap#

1
  gitlab_rails['ldap_enabled'] = true
2
  gitlab_rails['ldap_servers'] = YAML.load <<-'EOS'
3
     main:
4
       label: 'LDAP'
5
       host: 'ccops.cc'
6
       port: 389
7
       uid: 'sAMAccountName'
8
       method: 'plain' # "tls" or "ssl" or "plain"
9
       bind_dn: 'ccops'
10
       password: 'passwd'
11
       active_directory: true
12
       allow_username_or_email_login: true
13
       base: 'OU=User Accounts,DC=ccops,DC=cc'
14
       user_filter: ''
15
       group_base: 'OU=Notes Groups,OU=Groups,DC=ccops,DC=cc'
16
       admin_group: ''
17
       sync_ssh_keys: false
18
  EOS

展开收起

1.3 sso配置#

SSO是单点登录的简称，常用的SSO的协议有两种，分别是SAML和OAuth2。这里使用SAML

1.3.1 先配置 saml 配置#

1.3.1.1 1.6 以前配置#

Terminal window

1
  gitlab_rails['omniauth_auto_link_saml_user'] = true
2
  gitlab_rails['omniauth_allow_single_sign_on'] = ['saml']
3
  gitlab_rails['omniauth_providers'] = [
4
    {
5
  "name" => "saml",
6
  args: {
7
  assertion_consumer_service_url: 'https://gitlab.ccops.cc/users/auth/saml/callback', # saml 验证通过会回调这地址进行登录
8
  idp_cert_fingerprint: '6a:6a:26:1a:1e:1c:45:f9:a0:74:f2:eb:3e:41:d5:7e:51:dc:15:zd',
9
  idp_sso_target_url: 'https://stscn.ccops.cc/adfs/ls/IdpInqweedSignOn.aspx?loqwceRp=https://gitlab.ccops.cc',
10
    issuer: 'https://gitlab.ccops.cc',
11
    name_identifier_format: 'urn:oasis:names:tc:SAML:2.0:nameid-format:persistent'
12
     }
13
    }
14
  ]

1.3.1.2 1.6 以后配置#

1
        gitlab_ra
2
        gitlab_rails['omniauth_allow_single_sign_on'] = ['saml']
3
        gitlab_rails['omniauth_block_auto_created_users'] = false
4
        gitlab_rails['omniauth_auto_link_saml_user'] = true
5
        gitlab_rails['omniauth_providers'] = [
6
          {
7
            name: "saml",
8
            label: "Provider name", # optional label for login button, defaults to "Saml"
9
            args: {
10
              assertion_consumer_service_url: "https://gitlab.ccops.cc/users/auth/saml/callback",
11
              idp_cert_fingerprint: "43:51:43:a1:b5:fc:8b:b7:0a:3a:a9:b1:0f:66:73:a8",
12
              idp_sso_target_url: "https://stscn.ccops.cc/adfs/ls/IdpInqweedSignOn.aspx?loqwceRp=https://gitlab.ccops.cc",
13
              issuer: "https://gitlab.ccops.cc",
14
              name_identifier_format: "urn:oasis:names:tc:SAML:2.0:nameid-format:persistent"
15
            }
16
          }
17
        ]

展开收起

1.3.2 获取 gitlab 注册 saml 信息#

Terminal window

1
https://gitlab.ccops.cc/users/auth/saml/metadata

1.4 hooks#

Terminal window

1
        gitaly['custom_hooks_dir'] = "/opt/custom_hooks"

1.4.1 添加脚本#

1
mkdir -p custom_hooks/pre-receive.d/
2

3
cat > custom_hooks/pre-receive.d/pre-recevie << EOF
4
#!/bin/bash
5
echo "测试提交"
6
EOF
7

8
chown -R git.root custom_hooks/pre-receive.d
9
chmod +x git.root custom_hooks/pre-receive.d/pre-receive.sh

1.5 ip透传#

这里负载均衡使用 haproxy,部署参考 [[HAProxy+Keepalived使用#1 准备配置文件]]

1.5.1 http 透传#

1
nginx['enable'] = true
2
nginx['real_ip_header'] = 'X-Forwarded-For'
3
nginx['real_ip_recursive'] = 'on'
4
nginx['real_ip_trusted_addresses'] = [ "$HAPROXY_IP/32"]

1.5.2 tcp 透传#

1
nginx['enable'] = true
2
nginx['proxy_protocol'] = true
3
nginx['real_ip_header'] = 'proxy_protocol_addr'
4
nginx['real_ip_trusted_addresses'] = [ "$HAPROXY_IP/32"]

1.6 完整配置#

1
version: '3.6'
2
services:
3
  web:
4
    image: gitlab-ce:15.11.4
5
    restart: always
6
    # network_mode: "host" #主机网络
7
    hostname: 'gitlab.ccops.cc'
8
    environment:
9
      GITLAB_OMNIBUS_CONFIG: |
10
        external_url 'https://gitlab.ccops.cc'
11
        gitaly['custom_hooks_dir'] = "/opt/custom_hooks"
12
        gitlab_rails['gitlab_shell_ssh_port'] = 9922
13
        gitlab_rails['lfs_enabled'] = true
14
        gitlab_rails['object_store']['enabled'] = true
15
        gitlab_rails['object_store']['proxy_download'] = true
16
        gitlab_rails['object_store']['connection'] = {
17
          'provider' => 'AWS',
18
          'endpoint' => 'http://10.1.1.1:9000',
19
          'path_style' => true,
20
          'region' => 's-west-1',
21
          'aws_access_key_id' => 'minioadmin',
22
          'aws_secret_access_key' => 'qweasd',
23
          'aws_signature_version' => 2,
24
          'enable_signature_v4_streaming' => false
25
        }
26
        gitlab_rails['object_store']['objects']['lfs']['bucket'] = 'gitlab-lfs'
27
        gitlab_rails['object_store']['objects']['artifacts']['enabled'] = false
28
        gitlab_rails['object_store']['objects']['artifacts']['enabled'] = false
29
        gitlab_rails['object_store']['objects']['external_diffs']['enabled'] = false
30
        gitlab_rails['object_store']['objects']['uploads']['enabled'] = false
31
        gitlab_rails['object_store']['objects']['packages']['enabled'] = false
32
        gitlab_rails['object_store']['objects']['dependency_proxy']['enabled'] = false
33
        gitlab_rails['object_store']['objects']['terraform_state']['enabled'] = false
34
        gitlab_rails['object_store']['objects']['ci_secure_files']['enabled'] = false
35
        gitlab_rails['object_store']['objects']['pages']['enabled'] = false
36
        gitlab_rails['omniauth_auto_link_saml_user'] = true
37
        gitlab_rails['omniauth_allow_single_sign_on'] = ['saml']
38
        gitlab_rails['omniauth_providers'] = [
39
          {
40
        "name" => "saml",
41
        args: {
42
        assertion_consumer_service_url: 'https://gitlab.ccops.cc/users/auth/saml/callback', # 通过这个链接获取gitlab信息
43
        idp_cert_fingerprint: '6a:6a:26:1a:1e:1c:45:f9:a0:74:f2:eb:3e:41:d5:7e:51:dc:15:zd',
44
        idp_sso_target_url: 'https://stscn.ccops.cc/adfs/ls/IdpInqweedSignOn.aspx?loqwceRp=https://gitlab.ccops.cc',
45
          issuer: 'https://gitlab.ccops.cc',
46
          name_identifier_format: 'urn:oasis:names:tc:SAML:2.0:nameid-format:persistent'
47
           }
48
          }
49
        ]
50
        nginx['ssl_certificate'] = "/etc/gitlab/ssl/crt"
51
        nginx['ssl_certificate_key'] = "/etc/gitlab/ssl/key"
52
        nginx['listen_addresses'] = ['0.0.0.0']
53
        nginx['redirect_http_to_https'] = true
54
        # gitlab_rails['ldap_enabled'] = true
55
        # gitlab_rails['ldap_servers'] = YAML.load <<-'EOS'
56
        #    main:
57
        #      label: 'LDAP'
58
        #      host: 'ccops.cc'
59
        #      port: 389
60
        #      uid: 'sAMAccountName'
61
        #      method: 'plain' # "tls" or "ssl" or "plain"
62
        #      bind_dn: 'ccops'
63
        #      password: 'passwd'
64
        #      active_directory: true
65
        #      allow_username_or_email_login: true
66
        #      base: 'OU=User Accounts,DC=ccops,DC=cc'
67
        #      user_filter: ''
68
        #      group_base: 'OU=Notes Groups,OU=Groups,DC=ccops,DC=cc'
69
        #      admin_group: ''
70
        #      sync_ssh_keys: false
71
        # EOS
72
    ports:
73
      - '80:80'
74
      - '443:443'
75
    volumes:
76
      # - './sshd_config:/etc/ssh/sshd_config'
77
      - './cert:/etc/gitlab/ssl'
78
      - './logs:/var/log/gitlab'
79
      - './data:/var/opt/gitlab'
80
      - './config:/etc/gitlab'
81
      - './custom_hooks:/opt/custom_hooks'
82
    shm_size: '256m'
83
# 启动
84
docker-compose up -d
85

86
# 查看密码
87
docker exec -it gitlab-web-1 grep 'Password:' /etc/gitlab/initial_root_password
88

89
# 或者直接强制重置密码
90
docker exec -it gitlab-web-1 gitlab-rake "gitlab:password:reset[root]"

展开收起

2 测试#

2.1 lfs#

2.1.1 仓库开启lfs#

默认已经开启了
image.png

2.1.2 提交进行测试#

Terminal window展开收起

1
root@ccops qwe]# git lfs install
2
Updated git hooks.
3
Git LFS initialized.
4
[root@ccops qwe]# git lfs track *.tar
5
Tracking "csi.tar"
6
Tracking "k8s-install.tar"
7
Tracking "plugin.tar"
8
Tracking "sourcegraph.tar"
9
[root@ccops qwe]# git add .
10
[root@ccops qwe]# git commit -am "tst tar"
11
[main b01ccc7] tst tar
12
 2 files changed, 7 insertions(+)
13
 create mode 100644 csi.tar
14
[root@ccops qwe]# ls
15
csi.tar  k8s-install.tar  plugin.tar  README.md  sourcegraph.tar
16
[root@ccops qwe]# git push
17
warning: push.default 未设置，它的默认值将会在 Git 2.0 由 'matching'
18
修改为 'simple'。若要不再显示本信息并在其默认值改变后维持当前使用习惯，
19
进行如下设置：
20

21
  git config --global push.default matching
22

23
若要不再显示本信息并从现在开始采用新的使用习惯，设置：
24

25
  git config --global push.default simple
26

27
参见 'git help config' 并查找 'push.default' 以获取更多信息。
28
（'simple' 模式由 Git 1.7.11 版本引入。如果您有时要使用老版本的 Git，
29
为保持兼容，请用 'current' 代替 'simple' 模式）
30

31
Locking support detected on remote "origin". Consider enabling it with:
32
  $ git config lfs.https://oauth2:glpat-Aw6DKzhaYCReFrTx-Jww@gitlab.ccops.cc/gitlab-instance-3bd1d037/qwe.git/info/lfs.locksverify true
33
Counting objects: 6, done.% (1/1), 123 KB | 0 B/s
34
Delta compression using up to 8 threads.
35
Compressing objects: 100% (4/4), done.
36
Writing objects: 100% (4/4), 477 bytes | 0 bytes/s, done.
37
Total 4 (delta 1), reused 0 (delta 0)
38
To https://oauth2:glpat-Aw6DKzhaYCReFrTx-Jww@gitlab.ccops.cc/gitlab-instance-3bd1d037/qwe.git
39
   ea5c708..b01ccc7  main -> main

展开收起

2.1.3 查看是否上传到s3#

有lfs字段说明已经使用lfs了
image.png

2.1.4 minio里查看#

image.png

2.2 sso#

2.2.1 首页有SAML按钮#

image.png

2.2.2 点击能直接跳转进来说名正常#

image.png

2.3 hooks#

Terminal window

1
git push
2
Username for 'http://gitlab.ccops.cc': root
3
Password for 'http://root@gitlab.ccops.cc':
4
Enumerating objects: 5, done.
5
Counting objects: 100% (5/5), done.
6
Delta compression using up to 8 threads
7
Compressing objects: 100% (2/2), done.
8
Writing objects: 100% (3/3), 262 bytes | 262.00 KiB/s, done.
9
Total 3 (delta 1), reused 0 (delta 0), pack-reused 0
10
remote: 测试提交.  # 这里显示脚本执行结果
11
To http://gitlab.ccops.cc/root/tst.git
12
   04f7bd5..6a18d2a  main -> main

2.4 ip透传#

查看日志是否能获取到客户端 ip

GitLab 压测

Thu, 08 Jun 2023 17:50:52 GMT

使用GPT工具对GitLab做性能与可用性测试#

1 测试工具简介#

GitLab Performance Tool（GPT）是由 GitLab 质量保证团队构建和维护的工具，可以对任何 GitLab 实例（包括 GitLab）进行性能和可用性测试。默认测试以下内容：

出于安全考虑，默认不测试 HTTP POST、PUT、DELETE 和 PATCH，如果确实需要测试，可以在测试命令后面加 --unsafe 标识；

2 准备测试环境#

2.1 准备电脑和网络#

1
- 尽可能的靠近目标 GitLab，以免受到网络环境的干扰；
2
- 测试过程需要从 https://gitlab.com下载测试工具和测试数据

2.2 初始化环境#

Terminal window

1
# 克隆 GPT 项目到本地电脑；
2
git clone https://gitlab.com/gitlab-org/quality/performance.git
3
cd performance

2.3 准备测试环境#

以 GitLab 管理员的身份创建个人访问 Token，scope 包含 API

根据用户数量修改对影的文件,：1k.json, 2k.json, 3k.json, 5k.json, 10k.json, 25k.json, 50k.json

比如1k用户,修改 ./k6/config/environments/1k.json 中的下面两行： - url - user

Terminal window

1
docker run --rm -it -e ACCESS_TOKEN=<TOKEN> -v $(pwd)/k6/config:/config -v $(pwd)/results:/results gitlab/gpt-data-generator -f --max-wait-for-delete=360000 --environment 1k.json
2
# 生成数据比较慢,需要等会
3
GPT Data Generator v1.2.0 - opinionated test data for the GitLab Performance Tool
4
Checking that GitLab environment 'https://gitlab-tst.ccops.com' is available, supported and that provided Access Token works...
5
# 看到这个说明初始化完成
6
Project has successfully imported in 1 hour 34 minutes 21 seconds:
7
https://gitlab.ccops.cc/gpt/large_projects/gitlabhq1
8
Validating project 'gpt/large_projects/gitlabhq1' imported successfully...

3 运行测试#

看到类似结果压测完成,这里我用的测试环境,有几个指标没有通过

Terminal window展开收起

1
docker run --rm -it -e ACCESS_TOKEN=<TOKEN> -v $(pwd)/k6/config:/config -v  $(pwd)/k6/tests:/tests -v results:/results gitlab/gitlab-performance-tool --environment 1k.json --options 60s_20rps.json
2

3
❯ Overall Results Score: 97.26%
4

5
NAME                                                     | RPS  | RPS RESULT         | TTFB AVG  | TTFB P90             | REQ STATUS     | RESULT
6
---------------------------------------------------------|------|--------------------|-----------|----------------------|----------------|------------------
7
api_v4_groups                                            | 20/s | 19.92/s (>16.00/s) | 73.47ms   | 84.11ms (<200ms)     | 100.00% (>99%) | Passed
8
api_v4_groups_group                                      | 20/s | 19.46/s (>0.80/s)  | 298.00ms  | 472.49ms (<24000ms)  | 100.00% (>20%) | Passed¹
9
api_v4_groups_group_subgroups                            | 20/s | 19.91/s (>16.00/s) | 77.63ms   | 92.44ms (<200ms)     | 100.00% (>99%) | Passed
10
api_v4_groups_issues                                     | 20/s | 19.54/s (>3.20/s)  | 268.86ms  | 314.08ms (<8000ms)   | 100.00% (>99%) | Passed¹
11
api_v4_groups_merge_requests                             | 20/s | 19.61/s (>1.60/s)  | 238.45ms  | 270.27ms (<17500ms)  | 100.00% (>99%) | Passed¹
12
api_v4_groups_projects                                   | 20/s | 19.61/s (>0.80/s)  | 228.83ms  | 253.38ms (<22000ms)  | 100.00% (>30%) | Passed¹
13
api_v4_projects                                          | 20/s | 19.28/s (>2.40/s)  | 399.77ms  | 435.57ms (<7000ms)   | 100.00% (>99%) | Passed¹
14
api_v4_projects_deploy_keys                              | 20/s | 19.99/s (>16.00/s) | 55.06ms   | 67.73ms (<200ms)     | 100.00% (>99%) | Passed
15
api_v4_projects_issues                                   | 20/s | 19.77/s (>16.00/s) | 200.49ms  | 222.74ms (<1000ms)   | 100.00% (>99%) | Passed¹
16
api_v4_projects_issues_issue                             | 20/s | 19.65/s (>16.00/s) | 232.28ms  | 261.34ms (<2600ms)   | 100.00% (>99%) | Passed¹
17
api_v4_projects_issues_search                            | 20/s | 19.64/s (>16.00/s) | 90.58ms   | 237.13ms (<800ms)    | 26.46% (>99%)  | FAILED¹²
18
api_v4_projects_languages                                | 20/s | 19.94/s (>16.00/s) | 51.86ms   | 65.50ms (<200ms)     | 100.00% (>99%) | Passed
19
api_v4_projects_merge_requests                           | 20/s | 19.85/s (>16.00/s) | 127.96ms  | 152.74ms (<400ms)    | 100.00% (>99%) | Passed¹
20
api_v4_projects_merge_requests_merge_request             | 20/s | 19.56/s (>8.00/s)  | 244.40ms  | 278.60ms (<3500ms)   | 100.00% (>99%) | Passed¹
21
api_v4_projects_merge_requests_merge_request_commits     | 20/s | 19.79/s (>16.00/s) | 140.37ms  | 152.18ms (<200ms)    | 100.00% (>99%) | Passed
22
api_v4_projects_merge_requests_merge_request_diffs       | 20/s | 19.85/s (>16.00/s) | 95.93ms   | 112.73ms (<200ms)    | 100.00% (>99%) | Passed
23
api_v4_projects_merge_requests_merge_request_discussions | 20/s | 19.7/s (>16.00/s)  | 186.49ms  | 211.41ms (<400ms)    | 100.00% (>99%) | Passed¹
24
api_v4_projects_merge_requests_search                    | 20/s | 19.95/s (>4.80/s)  | 89.08ms   | 197.40ms (<5000ms)   | 25.04% (>99%)  | FAILED¹²
25
api_v4_projects_project                                  | 20/s | 19.82/s (>16.00/s) | 117.18ms  | 141.67ms (<200ms)    | 100.00% (>99%) | Passed
26
api_v4_projects_project_pipelines                        | 20/s | 19.95/s (>16.00/s) | 71.23ms   | 88.48ms (<200ms)     | 100.00% (>99%) | Passed
27
api_v4_projects_project_pipelines_pipeline               | 20/s | 19.9/s (>16.00/s)  | 77.10ms   | 93.40ms (<200ms)     | 100.00% (>99%) | Passed
28
api_v4_projects_project_pipelines_pipeline_jobs          | 20/s | 19.52/s (>3.20/s)  | 286.58ms  | 322.66ms (<2000ms)   | 100.00% (>99%) | Passed¹
29
api_v4_projects_project_services                         | 20/s | 19.99/s (>16.00/s) | 48.40ms   | 58.94ms (<200ms)     | 100.00% (>99%) | Passed
30
api_v4_projects_releases                                 | 20/s | 19.83/s (>16.00/s) | 90.41ms   | 109.00ms (<200ms)    | 100.00% (>99%) | Passed
31
api_v4_projects_repository_branches                      | 20/s | 19.82/s (>16.00/s) | 50.81ms   | 61.15ms (<200ms)     | 100.00% (>99%) | Passed
32
api_v4_projects_repository_branches_branch               | 20/s | 19.89/s (>16.00/s) | 94.10ms   | 111.80ms (<200ms)    | 100.00% (>99%) | Passed
33
api_v4_projects_repository_branches_search               | 20/s | 19.87/s (>16.00/s) | 52.96ms   | 62.52ms (<200ms)     | 100.00% (>99%) | Passed
34
api_v4_projects_repository_commits                       | 20/s | 19.92/s (>16.00/s) | 90.66ms   | 105.03ms (<200ms)    | 100.00% (>99%) | Passed
35
api_v4_projects_repository_commits_commit                | 20/s | 19.91/s (>16.00/s) | 82.08ms   | 97.62ms (<200ms)     | 100.00% (>99%) | Passed
36
api_v4_projects_repository_commits_commit_diff           | 20/s | 19.82/s (>16.00/s) | 152.17ms  | 171.05ms (<200ms)    | 100.00% (>99%) | Passed
37
api_v4_projects_repository_compare                       | 20/s | 19.76/s (>16.00/s) | 77.96ms   | 92.19ms (<200ms)     | 100.00% (>99%) | Passed
38
api_v4_projects_repository_files_file                    | 20/s | 19.91/s (>16.00/s) | 87.45ms   | 100.89ms (<200ms)    | 100.00% (>99%) | Passed
39
api_v4_projects_repository_files_file_blame              | 20/s | 12.21/s (>0.16/s)  | 1458.96ms | 1627.86ms (<35000ms) | 100.00% (>15%) | Passed¹
40
api_v4_projects_repository_files_file_raw                | 20/s | 19.89/s (>16.00/s) | 95.57ms   | 106.45ms (<200ms)    | 100.00% (>99%) | Passed
41
api_v4_projects_repository_tags                          | 20/s | 19.85/s (>16.00/s) | 108.27ms  | 121.12ms (<200ms)    | 100.00% (>99%) | Passed
42
api_v4_projects_repository_tree                          | 20/s | 19.9/s (>16.00/s)  | 88.82ms   | 102.92ms (<200ms)    | 100.00% (>99%) | Passed
43
api_v4_user                                              | 20/s | 19.95/s (>16.00/s) | 59.33ms   | 72.38ms (<200ms)     | 100.00% (>99%) | Passed
44
api_v4_users                                             | 20/s | 19.8/s (>16.00/s)  | 156.16ms  | 181.81ms (<300ms)    | 100.00% (>99%) | Passed¹
45
git_clone                                                | 1/s  | 0.36/s (>0.03/s)   | 293.97ms  | 554.25ms (<800ms)    | 100.00% (>99%) | Passed¹
46
git_ls_remote                                            | 2/s  | 2.01/s (>1.60/s)   | 73.25ms   | 105.27ms (<200ms)    | 100.00% (>99%) | Passed
47
git_pull                                                 | 2/s  | 2.01/s (>1.60/s)   | 106.97ms  | 164.31ms (<400ms)    | 100.00% (>99%) | Passed
48
web_group                                                | 2/s  | 2.01/s (>1.60/s)   | 219.10ms  | 391.24ms (<500ms)    | 100.00% (>99%) | Passed¹
49
web_group_issues                                         | 2/s  | 2.01/s (>1.60/s)   | 213.94ms  | 276.40ms (<500ms)    | 100.00% (>99%) | Passed¹
50
web_group_merge_requests                                 | 2/s  | 2.0/s (>1.60/s)    | 385.19ms  | 569.83ms (<800ms)    | 100.00% (>99%) | Passed¹
51
web_project                                              | 2/s  | 1.99/s (>1.60/s)   | 378.87ms  | 583.02ms (<800ms)    | 100.00% (>99%) | Passed¹
52
web_project_branches                                     | 2/s  | 1.96/s (>1.60/s)   | 500.27ms  | 585.83ms (<900ms)    | 100.00% (>99%) | Passed¹
53
web_project_branches_search                              | 2/s  | 1.88/s (>1.60/s)   | 822.09ms  | 898.32ms (<1600ms)   | 100.00% (>99%) | Passed¹
54
web_project_commit                                       | 2/s  | 1.86/s (>0.64/s)   | 679.06ms  | 1880.21ms (<3500ms)  | 100.00% (>99%) | Passed¹
55
web_project_commits                                      | 2/s  | 1.92/s (>1.60/s)   | 576.26ms  | 631.53ms (<1000ms)   | 100.00% (>99%) | Passed¹
56
web_project_file_blame                                   | 2/s  | 0.88/s (>0.32/s)   | 2060.52ms | 2210.59ms (<2400ms)  | 100.00% (>99%) | Passed¹
57
web_project_file_rendered                                | 2/s  | 1.68/s (>1.28/s)   | 676.32ms  | 584.32ms (<1700ms)   | 100.00% (>99%) | Passed¹
58
web_project_file_source                                  | 2/s  | 1.81/s (>0.64/s)   | 758.57ms  | 1202.11ms (<4000ms)  | 100.00% (>99%) | Passed¹
59
web_project_files                                        | 2/s  | 1.98/s (>1.60/s)   | 196.70ms  | 326.01ms (<1200ms)   | 100.00% (>99%) | Passed¹
60
web_project_issue                                        | 2/s  | 1.99/s (>1.60/s)   | 291.03ms  | 509.75ms (<2000ms)   | 100.00% (>99%) | Passed¹
61
web_project_issues                                       | 2/s  | 2.01/s (>1.60/s)   | 238.38ms  | 294.93ms (<700ms)    | 100.00% (>99%) | Passed¹
62
web_project_issues_search                                | 2/s  | 2.01/s (>1.60/s)   | 217.77ms  | 250.98ms (<700ms)    | 100.00% (>99%) | Passed¹
63
web_project_merge_request                                | 2/s  | 1.64/s (>1.60/s)   | 761.40ms  | 1893.35ms (<2800ms)  | 100.00% (>99%) | Passed¹
64
web_project_merge_request_changes                        | 2/s  | 1.88/s (>1.60/s)   | 589.07ms  | 777.76ms (<1500ms)   | 100.00% (>99%) | Passed¹
65
web_project_merge_request_commits                        | 2/s  | 1.55/s (>0.96/s)   | 1127.50ms | 1911.22ms (<1950ms)  | 100.00% (>99%) | Passed¹
66
web_project_merge_requests                               | 2/s  | 2.0/s (>1.60/s)    | 417.53ms  | 480.46ms (<900ms)    | 100.00% (>99%) | Passed¹
67
web_project_merge_requests_search                        | 2/s  | 2.01/s (>1.60/s)   | 417.60ms  | 470.00ms (<700ms)    | 100.00% (>99%) | Passed¹
68
web_project_pipelines                                    | 2/s  | 1.99/s (>1.28/s)   | 371.85ms  | 535.50ms (<600ms)    | 100.00% (>99%) | Passed¹
69
web_project_pipelines_pipeline                           | 2/s  | 1.98/s (>1.60/s)   | 474.16ms  | 1045.01ms (<2500ms)  | 100.00% (>99%) | Passed¹
70
web_project_repository_compare                           | 2/s  | 0.54/s (>0.08/s)   | 3425.43ms | 4400.40ms (<7500ms)  | 100.00% (>99%) | Passed¹
71
web_project_tags                                         | 2/s  | 1.84/s (>1.28/s)   | 770.31ms  | 806.39ms (<1500ms)   | 100.00% (>99%) | Passed¹
72
web_user                                                 | 2/s  | 2.01/s (>0.96/s)   | 239.81ms  | 313.18ms (<4000ms)   | 100.00% (>99%) | Passed
73

74
¹ Result covers endpoint(s) that have known issue(s). Threshold(s) have been adjusted to compensate.
75
² Failure may not be clear from summary alone. Refer to the individual test's full output for further debugging.
76

77
█ Results files
78
# 扫描后的文件存放到这里
79
/results/1k_v15-11-4_2023-06-15_065825/1k_v15-11-4_2023-06-15_065825_results_output.log
80
/results/1k_v15-11-4_2023-06-15_065825/1k_v15-11-4_2023-06-15_065825_results.json
81
/results/1k_v15-11-4_2023-06-15_065825/1k_v15-11-4_2023-06-15_065825_results.csv
82
/results/1k_v15-11-4_2023-06-15_065825/1k_v15-11-4_2023-06-15_065825_results.txt
83

84
One or more tests have failed...

展开收起

4 清理测试数据#

方法二选一

4.1 通过命令#

Terminal window

1
docker run --rm -it -e ACCESS_TOKEN=<TOKEN> -v $(pwd)/k6/config:/config -v $(pwd)/results:/results gitlab/gpt-data-generator -f --max-wait-for-delete=360000 --environment 1k.json --clean-up

4.2 web页面删除组#

image.png

国内 kubeadm 部署k8s集群

Thu, 08 Jun 2023 16:25:58 GMT

一、安装要求#

本文主要在centos7系统上基于containerd和v3.24.5版本的calico组件部署v1.29.3版本的堆叠ETCD高可用k8s原生集群

操作系统CentOS7.x, 内核5.4.x
硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
集群中的所有机器之间网络互通
可以访问外网要拉取镜像
禁止swap分区

IP	Hostname	cri
10.1.1.1	10-1-1-1.k8s.host	docker
10.1.1.2	10-1-1-2.k8s.host	docker
10.1.1.3	10-1-1-3.k8s.host	containerd
10.1.1.4	10-1-1-4.k8s.host	containerd
172.1.0.0/16	podSubnet
172.0.0.0/16	serviceSubnet

二、系统初始化#

1 配置hosts#

Terminal window

1
cat >> /etc/hosts <<EOF
2
10.1.1.1 10-1-1-1.k8s.host k8s-tst-cluster
3
10.1.1.2 10-1-1-2.k8s.host
4
10.1.1.3 10-1-1-3.k8s.host
5
10.1.1.4 10-1-1-4.k8s.host
6
EOF

2 关闭防火墙#

systemctl stop firewalld && systemctl disable firewalld

3 关闭selinux#

sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config

4 关闭swap分区#

swapoff -a sed -i '/swap / s/^$.*$$/#\1/g' /etc/fstab

5 设置内核参数#

配置内核加载br_netfilter和iptables放行ipv6和ipv4的流量，确保集群内的容器能够正常通信。

Terminal window

1
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
2
br_netfilter
3
EOF
4

5
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
6
net.bridge.bridge-nf-call-ip6tables = 1
7
net.ipv4.ip_forward                 = 1
8
vm.swappiness = 0
9
net.bridge.bridge-nf-call-iptables = 1
10
EOF
11

12

13
sudo sysctl --system

6 开启ipvs支持#

Terminal window展开收起

1
# 在使用ipvs模式之前确保安装了ipset和ipvsadm
2
sudo yum install ipset ipvsadm -y
3

4
# 手动加载ipvs相关模块
5
modprobe -- ip_vs
6
modprobe -- ip_vs_rr
7
modprobe -- ip_vs_wrr
8
modprobe -- ip_vs_sh
9
modprobe -- nf_conntrack
10

11
# 配置开机自动加载ipvs相关模块
12
cat <<EOF | sudo tee /etc/modules-load.d/ipvs.conf
13
ip_vs
14
ip_vs_rr
15
ip_vs_wrr
16
ip_vs_sh
17
nf_conntrack
18
EOF
19

20

21
$ lsmod | grep -e ip_vs -e nf_conntrack
22
nf_conntrack_ipv6      18935  1
23
nf_defrag_ipv6         35104  1 nf_conntrack_ipv6
24
nf_conntrack_netlink    40492  0
25
nf_conntrack_ipv4      19149  3
26
nf_defrag_ipv4         12729  1 nf_conntrack_ipv4
27
ip_vs_sh               12688  0
28
ip_vs_wrr              12697  0
29
ip_vs_rr               12600  0
30
ip_vs                 145458  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
31
nf_conntrack          143360  10 ip_vs,nf_nat,nf_nat_ipv4,nf_nat_ipv6,xt_conntrack,nf_nat_masquerade_ipv4,nf_nat_masquerade_ipv6,nf_conntrack_netlink,nf_conntrack_ipv4,nf_conntrack_ipv6
32
libcrc32c              12644  4 xfs,ip_vs,nf_nat,nf_conntrack
33

34
$ cut -f1 -d " "  /proc/modules | grep -e ip_vs -e nf_conntrack
35
nf_conntrack_ipv6
36
nf_conntrack_netlink
37
nf_conntrack_ipv4
38
ip_vs_sh
39
ip_vs_wrr
40
ip_vs_rr
41
ip_vs
42
nf_conntrack

展开收起

7 时间同步#

Terminal window

1
yum -y install ntpdate
2
ntpdate time.windows.com

8 安装cni-plugins#

选择系统对应的架构版本

Terminal window

1
tar Cxzvf /opt/cni/bin cni-plugins-linux-amd64-v1.3.0.tgz

三、安装集群#

1 Cri#

一般建议一个集群使用同一个cri,但是为了文档包含内容多些,这集群使用两个cri 并且建议用containerd

容器运行时	默认路径
containerd	`unix:///var/run/containerd/containerd.sock`
CRI-O	`unix:///var/run/crio/crio.sock`
Docker Engine（使用 cri-dockerd）	`unix:///var/run/cri-dockerd.sock`

1.1 安装Docker#

1.1.1 配置阿里云Docker Yum源#

sudo yum install -y yum-utils device-mapper-persistent-data lvm2 sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

1.1.2 安装Docker最新版本#

查看版本

yum list docker-ce --showduplicates | sort -r sudo yum install -y docker-ce-20.10.24-3.el7

1.1.3 设置docker#

Terminal window展开收起

1
cat >> /etc/docker/daemon.json  << EOF
2
{
3
 "registry-mirrors" : [
4
   "https://mirror.ccs.tencentyun.com",
5
   "http://registry.docker-cn.com",
6
   "http://docker.mirrors.ustc.edu.cn",
7
   "http://hub-mirror.c.163.com"
8
 ],
9
    "storage-driver": "overlay2",
10
    "log-opts": {
11
      "max-file": "2",
12
      "max-size": "256m"
13
    },
14
    "exec-opts": ["native.cgroupdriver=systemd"],
15
    "live-restore": true,
16
    "log-level": "info",
17
    "metrics-addr" : "127.0.0.1:9100",
18
    "experimental" : true,
19
    "data-root": "/data/docker"
20
}
21
EOF

展开收起

1.1.4 启动Docker服务#

systemctl enable docker systemctl start docker

1.1.5 安装cri-dockerd#

Kubernetes自v1.24移除了对docker-shim的支持，而Docker Engine默认又不支持CRI规范，因而二者将无法直接完成整合。为此，Mirantis和Docker联合创建了cri-dockerd项目，用于为Docker Engine提供一个能够支持到CRI规范的垫片，从而能够让Kubernetes基于CRI控制Docker
可能下载不下来,建议翻墙下载离线安装选择对应包下载

yum -y install https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.2/cri-dockerd-0.3.2-3.el7.x86_64.rpm

1.1.6 指定 Pause 镜像地址#

Terminal window

1
cat /usr/lib/systemd/system/cri-docker.service
2
...
3
ExecStart=/usr/bin/cri-dockerd --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6 --container-runtime-endpoint fd://
4
...
5

6
systemctl start cri-docker
7
systemctl enable cri-docker

1.2 Containerd#

1.2.1 配置内核#

Terminal window

1
cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
2
overlay
3
br_netfilter
4
EOF
5

6
sudo modprobe overlay
7
sudo modprobe br_netfilter

1.2.2 安装#

Terminal window

1
# 导入docker官方的yum源
2
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
3

4
sudo yum-config-manager --add-repo  https://download.docker.com/linux/centos/docker-ce.repo
5

6
# 查看yum源中存在的各个版本的containerd.io
7
yum list containerd.io --showduplicates | sort -r
8

9
# 直接安装最新版本的containerd.io
10
yum install containerd.io -y
11

12
sudo systemctl start containerd
13
sudo systemctl enable --now containerd

1.2.3 配置cgroup Drivers#

CentOS7使用的是systemd来初始化系统并管理进程，初始化进程会生成并使用一个 root 控制组 (cgroup), 并充当 cgroup 管理器。 Systemd 与 cgroup 集成紧密，并将为每个 systemd 单元分配一个 cgroup。我们也可以配置容器运行时和 kubelet 使用 cgroupfs。连同 systemd 一起使用 cgroupfs 意味着将有两个不同的 cgroup 管理器。而当一个系统中同时存在cgroupfs和systemd两者时，容易变得不稳定，因此最好更改设置，令容器运行时和 kubelet 使用 systemd 作为 cgroup 驱动，以此使系统更为稳定。对于containerd, 需要设置配置文件/etc/containerd/config.toml中的 SystemdCgroup 参数。

参考k8s官方的说明文档： https://kubernetes.io/docs/setup/production-environment/container-runtimes/#containerd-systemd

Terminal window

1
containerd config default > /etc/containerd/config.toml
2
# 修改SystemdCgroup参数并重启
3
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml
4
systemctl restart containerd
5
# 重启之后我们再检查配置就会发现已经启用了SystemdCgroup
6
containerd config dump | grep SystemdCgroup
7
            SystemdCgroup = true

2 安装kubernetes 组件#

2.1 添加kubernetes阿里云yum源#

Terminal window

1
cat >> /etc/yum.repos.d/kubernetes.repo << EOF
2
[kubernetes]
3
name=kubernetes
4
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
5
enabled=1
6
gpgcheck=0
7
repo_gpgcheck=0
8
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
9
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
10
EOF

2.2 kubeadm、kubelet、kubectl#

由于版本更新频繁，所以指定版本号部署 yum -y install kubelet-1.26.5 kubeadm-1.26.5 kubectl-1.26.5 systemctl enable kubelet

四、master节点初始化#

配置参考

kubernetesVersion字段用来指定我们要安装的k8s版本
localAPIEndpoint参数需要修改为我们的master节点的IP和端口，初始化之后的k8s集群的apiserver地址就是这个
podSubnet、serviceSubnet和dnsDomain两个参数默认情况下可以不用修改，这里我按照自己的需求进行了变更
nodeRegistration里面的name参数修改为对应master节点的hostname
controlPlaneEndpoint参数配置的才是我们前面配置的集群高可用apiserver的地址
cri-socket: 通过 systemctl cat docker |grep run 查看
新增配置块使用ipvs，具体可以参考官方文档

出现问题解决不了清空执行: kubeadm reset -f ; ipvsadm --clear

Terminal window展开收起

1
cat kubeadm-config.yaml
2
apiVersion: kubeadm.k8s.io/v1beta3
3
bootstrapTokens:
4
- groups:
5
  - system:bootstrappers:kubeadm:default-node-token
6
  token: abcdef.0123456789abcdef
7
  ttl: 24h0m0s
8
  usages:
9
  - signing
10
  - authentication
11
kind: InitConfiguration
12
localAPIEndpoint:
13
  advertiseAddress: 10.1.1.3
14
  bindPort: 6443
15
nodeRegistration:
16
  criSocket: unix:///var/run/cri-dockerd.sock
17
  imagePullPolicy: IfNotPresent
18
  name: 10-1-1-3.k8s.host.ccops.com
19
  taints: null
20
---
21
apiServer:
22
  timeoutForControlPlane: 4m0s
23
apiVersion: kubeadm.k8s.io/v1beta3
24
certificatesDir: /etc/kubernetes/pki
25
clusterName: tst-kubernetes
26
controlPlaneEndpoint: k8s-tst-cluster:6443
27
controllerManager: {}
28
dns: {}
29
etcd:
30
  local:
31
    dataDir: /data/server/etcd
32
imageRepository: registry.aliyuncs.com/google_containers
33
kind: ClusterConfiguration
34
kubernetesVersion: 1.26.5
35
apiServer:
36
  extraArgs:
37
    audit-log-path: /var/log/k8s-audit.log
38
networking:
39
  dnsDomain: tst-cluster.local
40
  podSubnet: 172.1.0.0/16
41
  serviceSubnet: 172.0.0.0/16
42
scheduler: {}
43
---
44
apiVersion: kubelet.config.k8s.io/v1beta1
45
kind: KubeletConfiguration
46
cgroupDriver: systemd
47
---
48
apiVersion: kubeproxy.config.k8s.io/v1alpha1
49
kind: KubeProxyConfiguration
50
mode: ipvs
51

52
kubeadm init --config kubeadm-config.yaml  --upload-certs
53
# 保存以下结果,后面加节点需要
54
You can now join any number of the control-plane node running the following command on each as root:
55

56
  kubeadm join k8s-tst-cluster:6443 --token 0j24t3.rqaulkmomt6u10ar \
57
 --discovery-token-ca-cert-hash sha256:5e35746495fcedb50c2db881604d43b46e5857d0493c1f9d0ad4acc35eadb8cf \
58
 --control-plane --certificate-key 7c2695c6791ee290ff70acca2e45e2a154f9b3728658dc513ffbdad14e7feead
59

60
Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
61
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
62
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
63

64
Then you can join any number of worker nodes by running the following on each as root:
65

66
kubeadm join k8s-tst-cluster:6443 --token 0j24t3.rqaulkmomt6u10ar \
67
 --discovery-token-ca-cert-hash sha256:5e35746495fcedb50c2db881604d43b46e5857d0493c1f9d0ad4acc35eadb8cf

展开收起

1 配置kubectl#

Terminal window

1
mkdir -p $HOME/.kube
2
sudo ln -s /etc/kubernetes/admin.conf $HOME/.kube/config
3
sudo chown $(id -u):$(id -g) $HOME/.kube/config

1.1 自动补全#

Terminal window

1
yum install bash-completion
2
echo "source /usr/share/bash-completion/bash_completion" >>  ~/.bashrc
3
echo 'source <(kubectl completion bash)' >>~/.bashrc
4
source ~/.bashrc
5
# 命令自定义
6
cat >>/root/.bashrc<<EOF
7
alias k=kubectl
8
complete -F __start_kubectl k
9
EOF
10
source /root/.bashrc

2 部署calico#

CNI的部署我们参考官网的自建K8S部署教程，官网主要给出了两种部署方式，分别是通过Calico operator和Calico manifests来进行部署和管理calico，operator是通过deployment的方式部署一个calico的operator到集群中，再用其来管理calico的安装升级等生命周期操作。manifests则是将相关都使用yaml的配置文件进行管理，这种方式管理起来相对前者比较麻烦，但是对于高度自定义的K8S集群有一定的优势。

需要注意的是，Calico 维护的网络在默认配置下，是一个被称为“Node-to-Node Mesh”的模式。这时候，每台宿主机上的 BGP Client 都需要跟其他所有节点的 BGP Client 进行通信以便交换路由信息。但是，随着节点数量 N 的增加，这些连接的数量就会以 N²的规模快速增长，从而给集群本身的网络带来巨大的压力。所以，Node-to-Node Mesh 模式一般推荐用在少于 100 个节点的集群里。而在更大规模的集群中，我们需要用到的是一个叫作 Route Reflector 的模式。参考: [[如何优雅的使用Calico路由反射模式]]

这里我们使用operator的方式进行部署。

不要用apply

Terminal window

1
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/tigera-operator.yaml
2
curl https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/custom-resources.yaml -O

2.1 修改配置#

主要修改cidr为kubeadm里配置的podSubnet

1
cat custom-resources.yaml
2
# This section includes base Calico installation configuration.
3
# For more information, see: https://projectcalico.docs.tigera.io/master/reference/installation/api#operator.tigera.io/v1.Installation
4
apiVersion: operator.tigera.io/v1
5
kind: Installation
6
metadata:
7
  name: default
8
spec:
9
  # Configures Calico networking.
10
  calicoNetwork:
11
    # Note: The ipPools section cannot be modified post-install.
12
    ipPools:
13
    - blockSize: 26
14
      cidr: 172.1.0.0/16
15
      encapsulation: VXLANCrossSubnet
16
      natOutgoing: Enabled
17
      nodeSelector: all()
18
---
19

20
# This section configures the Calico API server.
21
# For more information, see: https://projectcalico.docs.tigera.io/master/reference/installation/api#operator.tigera.io/v1.APIServer
22
apiVersion: operator.tigera.io/v1
23
kind: APIServer
24
metadata:
25
  name: default
26
spec: {}
27

28
kubectl create -f custom-resources.yaml

展开收起

3 证书自动续约#

[!attention] 注意kubeadm 路径

1
# 配置自动续约证书脚本
2
cat /usr/local/bin/kube-scripts/k8s-certs-renew.sh
3
#!/bin/bash
4
kubeadmCerts='/usr/local/bin/kubeadm certs'
5
getCertValidDays() {
6
  local earliestExpireDate; earliestExpireDate=$(${kubeadmCerts} check-expiration | grep -o "[A-Za-z]\{3,4\}\s\w\w,\s[0-9]\{4,\}\s\w*:\w*\s\w*\s*" | xargs -I {} date -d {} +%s | sort | head -n 1)
7
  local today; today="$(date +%s)"
8
  echo -n $(( ($earliestExpireDate - $today) / (24 * 60 * 60) ))
9
}
10
echo "## Expiration before renewal ##"
11
${kubeadmCerts} check-expiration
12
if [ $(getCertValidDays) -lt 30 ]; then
13
  echo "## Renewing certificates managed by kubeadm ##"
14
  ${kubeadmCerts} renew all
15
  echo "## Restarting control plane pods managed by kubeadm ##"
16
  $(which crictl | grep crictl) pods --namespace kube-system --name 'kube-scheduler-*|kube-controller-manager-*|kube-apiserver-*|etcd-*' -q | /usr/bin/xargs $(which crictl | grep crictl) rmp -f
17
  echo "## Updating /root/.kube/config ##"
18
  cp /etc/kubernetes/admin.conf /root/.kube/config
19
fi
20
echo "## Waiting for apiserver to be up again ##"
21
until printf "" 2>>/dev/null >>/dev/tcp/127.0.0.1/6443; do sleep 1; done
22
echo "## Expiration after renewal ##"
23
${kubeadmCerts} check-expiration
24
# 添加systemd管理
25
vim /etc/systemd/system/k8s-certs-renew.service
26
[Unit]
27
Description=Renew K8S control plane certificates
28
[Service]
29
Type=oneshot
30
ExecStart=/usr/local/bin/kube-scripts/k8s-certs-renew.sh
31
# 添加定时执行
32
vim /etc/systemd/system/k8s-certs-renew.timer
33
[Unit]
34
Description=Timer to renew K8S control plane certificates
35
[Timer]
36
OnCalendar=Mon *-*-* 03:00:00
37
Unit=k8s-certs-renew.service
38
[Install]
39
WantedBy=multi-user.target

展开收起

五、节点初始化#

1 管理节点#

接下来我们在剩下的两个master节点上面执行上面输出的命令，注意要执行带有--control-plane --certificate-key这两个参数的命令，其中--control-plane参数是确定该节点为master控制面节点，而--certificate-key参数则是把我们前面初始化集群的时候通过--upload-certs上传到k8s集群中的证书下载下来使用。
多网卡建议指定apiserver-advertise-address

Terminal window展开收起

1
kubeadm join k8s-tst-cluster:6443 --token zjoy9h.62mwhybt502sye7f \
2
--discovery-token-ca-cert-hash sha256:1640dcfc5e996864c5ebcfffd8051e8302f8cf455d09fd3cea6de4a299fea770 \
3
--control-plane --certificate-key 9d0da8e47ae6c1216ed5d464dabd18f1f3913ee6610a7bb20eabb7d5e5f5fb64 --cri-socket=unix:///var/run/cri-dockerd.sock --apiserver-advertise-address=10.1.1.1
4
This node has joined the cluster and a new control plane instance was created:
5

6
* Certificate signing request was sent to apiserver and approval was received.
7
* The Kubelet was informed of the new secure connection details.
8
* Control plane label and taint were applied to the new node.
9
* The Kubernetes control plane instances scaled up.
10
* A new etcd member was added to the local/stacked etcd cluster.
11

12
To start administering your cluster from this node, you need to run the following as a regular user:
13

14
 mkdir -p $HOME/.kube
15
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
16
 sudo chown $(id -u):$(id -g) $HOME/.kube/config
17

18
Run 'kubectl get nodes' to see this node join the cluster.

展开收起

2 Node节点#

Terminal window展开收起

1
kubeadm join k8s-tst-cluster:6443 --token zjoy9h.62mwhybt502sye7f \
2
 --discovery-token-ca-cert-hash sha256:1640dcfc5e996864c5ebcfffd8051e8302f8cf455d09fd3cea6de4a299fea770
3
[preflight] Running pre-flight checks
4
[preflight] Reading configuration from the cluster...
5
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'
6
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
7
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
8
[kubelet-start] Starting the kubelet
9
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...
10

11
This node has joined the cluster:
12
* Certificate signing request was sent to apiserver and a response was received.
13
* The Kubelet was informed of the new secure connection details.
14

15
Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

展开收起

3 查看集群状态#

Terminal window展开收起

1
kubectl get node
2
NAME                                 STATUS   ROLES           AGE   VERSION
3
10-1-1-1.k8s.host.ccops.com   Ready    control-plane   38m   v1.26.5
4
10-1-1-2.k8s.host.ccops.com   Ready    control-plane   30m   v1.26.5
5
10-1-1-3.k8s.host.ccops.com   Ready    control-plane   44m   v1.26.5
6
10-1-1-4.k8s.host.ccops.com   Ready    <none>          48s   v1.26.5
7
[root@10-1-1-3 calico]# kubectl get po -A
8
NAMESPACE         NAME                                                         READY   STATUS                  RESTARTS       AGE
9
calico-system     calico-kube-controllers-85f9866f46-k8wjt                     1/1     Running                 0              14m
10
calico-system     calico-node-5wrpz                                            1/1     Running                 0              54s
11
calico-system     calico-node-bht57                                            1/1     Running                 0              28m
12
calico-system     calico-node-plqj7                                            1/1     Running                 0              28m
13
calico-system     calico-node-ww7bk                                            1/1     Running                 0              28m
14
calico-system     calico-typha-767bbcc4f4-twbd7                                1/1     Running                 0              28m
15
calico-system     calico-typha-767bbcc4f4-zmfbb                                1/1     Running                 0              53s
16
calico-system     csi-node-driver-7mjrt                                        2/2     Running                 0              28m
17
calico-system     csi-node-driver-gqgtr                                        2/2     Running                 0              28m
18
calico-system     csi-node-driver-q2gh2                                        2/2     Running                 0              28m
19
calico-system     csi-node-driver-xp9g6                                        2/2     Running                 0              54s
20
kube-system       coredns-5bbd96d687-lw5bk                                     1/1     Running                 0              44m
21
kube-system       coredns-5bbd96d687-rtjrd                                     1/1     Running                 0              44m
22
kube-system       etcd-10-1-1-1.k8s.host.ccops.com                            1/1     Running                 0              33m
23
kube-system       etcd-10-1-1-2.k8s.host.ccops.com                            1/1     Running                 0              30m
24
kube-system       etcd-10-1-1-3.k8s.host.ccops.com                            1/1     Running                 0              44m
25
kube-system       kube-apiserver-10-1-1-1.k8s.host.ccops.com                  1/1     Running                 0              34m
26
kube-system       kube-apiserver-10-1-1-2.k8s.host.ccops.com                  1/1     Running                 0              30m
27
kube-system       kube-apiserver-10-1-1-3.k8s.host.ccops.com                  1/1     Running                 0              44m
28
kube-system       kube-controller-manager-10-1-1-1.k8s.host.ccops.com         1/1     Running                 0              33m
29
kube-system       kube-controller-manager-10-1-1-2.k8s.host.ccops.com         1/1     Running                 0              29m
30
kube-system       kube-controller-manager-10-1-1-3.k8s.host.ccops.com         1/1     Running                 0              44m
31
kube-system       kube-proxy-78wrg                                             1/1     Running                 0              38m
32
kube-system       kube-proxy-jvfnd                                             1/1     Running                 0              54s
33
kube-system       kube-proxy-pbv2m                                             1/1     Running                 0              44m
34
kube-system       kube-proxy-ztx74                                             1/1     Running                 0              30m
35
kube-system       kube-scheduler-10-1-1-1.k8s.host.ccops.com                  1/1     Running                 0              33m
36
kube-system       kube-scheduler-10-1-1-2.k8s.host.ccops.com                  1/1     Running                 0              30m
37
kube-system       kube-scheduler-10-1-1-3.k8s.host.ccops.com                  1/1     Running                 0              44m
38
tigera-operator   tigera-operator-5d6845b496-zvjcm                             1/1     Running                 0              29m

展开收起

ArgoCD快速入门

Wed, 17 May 2023 11:26:26 GMT

1 部署 ArgoCD#

官方提供四种部署方式,分别是:

无高可用集群权限 > 指定命名空间权限默认只有 argocd 命名空间权限,增加别的命名空间权限参考:Applications in any namespace - Argo CD - Declarative GitOps CD for Kubernetes > 需要单独安装 crds

高可用集群权限 > 指定命名空间权限高可用配置参考

此文档后面补充了下,所以会出现图片对不上的情况,但不影响观看

1.1 argo 配置#

Terminal window展开收起

1
# 这里用的高可用配置
2
wget https://github.com/argoproj/argo-cd/blob/master/manifests/install.yaml
3
vim install.yaml
4

5
# 添加gitlab解析,避免访问不了gitlab
6
spec:
7
......
8
    spec:
9
      hostAliases:
10
      - ip: 10.99.205.6
11
        hostnames:
12
        - gitlab.xpaas.ccops.com
13
# 配置持久化, argocd-redis-ha-server配置文件里删除字段
14
      - emptyDir: {}
15
        name: data
16
# 删除,不然出现 failed exit status 2 参考: https://github.com/argoproj/argo-cd/issues/9809
17
        securityContext:
18
          allowPrivilegeEscalation: false
19
          capabilities:
20
            drop:
21
            - ALL
22
          readOnlyRootFilesystem: true
23
          runAsNonRoot: true
24
          seccompProfile:
25
            type: RuntimeDefault
26
# 添加持久化
27
    volumeClaimTemplates:
28
      - metadata:
29
          name: data
30
          labels:
31
            app: "redis"
32
        spec:
33
          accessModes:
34
            - "ReadWriteOnce"
35
          resources:
36
            requests:
37
              storage: "8Gi"
38
          storageClassName: "rbd-csi"
39
# 添加 http访问,默认强制https
40
apiVersion: v1
41
data:
42
  redis.server:  argocd-redis-ha-haproxy:6379
43
  server.insecure: "true" #要添加的
44
kind: ConfigMap
45
metadata:
46
  labels:
47
    app.kubernetes.io/name: argocd-cmd-params-cm
48
    app.kubernetes.io/part-of: argocd
49
  name: argocd-cmd-params-cm

展开收起

1.2 查看pod是否正常#

Terminal window展开收起

1
kubectl get pod -n argocd
2
NAME                                                READY   STATUS    RESTARTS   AGE
3
argocd-application-controller-0                     1/1     Running   0          48m
4
argocd-application-controller-1                     1/1     Running   0          48m
5
argocd-application-controller-2                     1/1     Running   0          49m
6
argocd-applicationset-controller-84c8548bf6-2p244   1/1     Running   0          33m
7
argocd-applicationset-controller-84c8548bf6-9gq5h   1/1     Running   0          33m
8
argocd-applicationset-controller-84c8548bf6-bvlkg   1/1     Running   0          33m
9
argocd-dex-server-65cb45687-5bxdb                   1/1     Running   0          49m
10
argocd-dex-server-65cb45687-hzvlw                   1/1     Running   0          49m
11
argocd-dex-server-65cb45687-kl24l                   1/1     Running   0          49m
12
argocd-notifications-controller-7854c8cd9b-cjzbl    1/1     Running   0          33m
13
argocd-notifications-controller-7854c8cd9b-csqbb    1/1     Running   0          33m
14
argocd-notifications-controller-7854c8cd9b-xs874    1/1     Running   0          33m
15
argocd-redis-ha-haproxy-56546c5467-9mjrx            1/1     Running   0          48m
16
argocd-redis-ha-haproxy-56546c5467-bgmld            1/1     Running   0          49m
17
argocd-redis-ha-haproxy-56546c5467-ttccs            1/1     Running   0          48m
18
argocd-redis-ha-server-0                            3/3     Running   0          44m
19
argocd-redis-ha-server-1                            3/3     Running   0          46m
20
argocd-redis-ha-server-2                            3/3     Running   0          48m
21
argocd-repo-server-5646948fd4-lvhl2                 1/1     Running   0          50m
22
argocd-repo-server-5646948fd4-pklbb                 1/1     Running   0          50m
23
argocd-repo-server-5646948fd4-xdt8h                 1/1     Running   0          50m
24
argocd-server-7b7744ff5d-dtmn4                      1/1     Running   0          48m
25
argocd-server-7b7744ff5d-t7t4q                      1/1     Running   0          49m
26

27
# 查看密码
28
kubectl -n argocd get secret argocd-initial-admin-secret -o jsonpath="{.data.password}" | base64 -d

展开收起

2 argocd-server 配置与使用#

2.1 配置项目#

命名空间可以使用简单对正则,比如 !xxx,表示不能部署到xxx命名空间

image-20211125105832844

2.2 添加 git 仓库#

image-20211125105528713

没问题会显示 Successful

image-20211125105544343

2.3 添加集群#

2.3.1 查看添加的集群信息#

集群添加 kubeconfig 参考[[Kubernetes自定义权限]],如果不想自定义权限也可以拷贝/root/.kube/config 比较重要的是 name

Terminal window

1
# 获取集群名称
2
kubectl config get-contexts
3
CURRENT   NAME         CLUSTER      AUTHINFO   NAMESPACE
4
*         kubernetes   kubernetes   admin

2.3.2 argocd 添加集群#

Terminal window展开收起

1
# 拷贝刚才对kubeconfig
2
kubectl cp  tstconfig -n argocd   $(kubectl get pods -n argocd -l app.kubernetes.io/name=argocd-server -o jsonpath='{.items[0].metadata.name}'):/home/argocd
3

4
# 查看密码
5
kubectl -n argocd get secret argocd-initial-admin-secret -o jsonpath="{.data.password}" | base64 -d
6

7
# 进入argo容器添加集群
8
# 进入容器
9
kubectl exec -it -n argocd $(kubectl get pods -n argocd -l app.kubernetes.io/name=argocd-server -o jsonpath='{.items[0].metadata.name}') bash
10
# 登陆argocd
11
argocd login 127.0.0.1:8080 --username admin --password qweasd123 (查看密码结果)
12
WARNING: server certificate had error: x509: cannot validate certificate for 127.0.0.1 because it doesn't contain any IP SANs. Proceed insecurely (y/n)? y
13
'admin:login' logged in successfully
14
Context '127.0.0.1:8080' updated
15

16
# 添加集群
17
argocd cluster add kubernetes --kubeconfig tstconfig --name test-env
18

19
# 查看集群信息
20
# 没有配置app.所以集群状态Unknown
21
argocd cluster list
22
SERVER                          NAME              VERSION  STATUS      MESSAGE                                                  PROJECT
23
https://kubernetes.default.svc  ceph-tst-cluster  1.22     Successful
24
https://10.1.1.1:443      test-env                   Unknown     Cluster has no applications and is not being monitored.

展开收起

2.3.3 查看集群#

image-20211125105734655

2.4 添加应用#

image.png

2.5 配置权限#

这里创建了俩账户,一个管理员权限,一个只读应用权限

kubectl edit configmap argocd-cm -n argocd

1
data:
2
  accounts.argocd: login
3
  accounts.argocd.enabled: "true"
4
  accounts.argocd-admin: login
5
  accounts.argocd-admin.enabled: "true"
6
  admin.enabled: "true"

kubectl edit configmap argocd-rbac-cm -n argocd

Terminal window

1
data:
2
  # 定义默认用户是只读用户角色
3
  policy.default: role:readonly
4
  # 定义管理员角色
5
  policy.csv: |
6
    g, argocd-admin, role:admin

2.5.1 登录 argo 服务#

Terminal window

1
argocd login 127.0.0.1:8080 --username admin --password qweasd123 (查看密码结果)
2
# 查看用户
3
argocd account list
4
NAME          ENABLED  CAPABILITIES
5
admin         true     login
6
argocd        true     login
7
argocd-admin  true     login

2.5.2 修改密码#

argocd account update-password --account admin --new-password qweasd 回车后输入上面步骤查到的root密码

2.5.3 测试#

普通账户同步会报错

image-20211021165741090

管理员账户不会

image-20211021165805995

2.6 备份与恢复#

Terminal window

1
kubectl exec -it -n argocd $(kubectl get pods -n argocd -l app.kubernetes.io/name=argocd-server -o jsonpath='{.items[0].metadata.name}') bash
2
# 备份
3
argocd admin export > backup.yaml
4
# 恢复
5
argocd admin import - < backup.yaml

详细文档参考

3 web 使用#

3.1 这里可以选择不同的展示#

image-20210930112038110

3.2 查看服务的所有日志，不同的实例会有不同的颜色标记#

image-20210930112116093

image-20210930112155421

3.3 看某个实例的日志#

image-20210930112227106

image-20210928120253078

4 监控#

参考官网,默认监控接口已经打开了

Kubernetes拓扑可视化监控之Goldpinger

Fri, 31 Mar 2023 15:26:26 GMT

集群节点数量过多,经常会遇到某个节点访问出现问题,却不能及时发现,goldpinger就是为了解决此问题诞生的,与其他服务相比,goldpinger更加轻量此文档通过argo cd管理goldpinger 尝试过Weave Scope,发现使用资源过多,参考[[Kubernetes拓扑可视化监控之Scope]]
参考文档: goldpinger

一, 部署#

1 准备配置文件#

如果使用argo需要存放到git上,参考 [[../DevOps/ArgoCD#2 argocd-server 配置与使用|ArgoCD]]

Terminal window展开收起

1
---
2
apiVersion: v1
3
kind: ServiceAccount
4
metadata:
5
  name: goldpinger-serviceaccount
6
  namespace: goldpinger
7

8
---
9
apiVersion: apps/v1
10
kind: DaemonSet
11
metadata:
12
  name: goldpinger
13
  namespace: goldpinger
14
  annotations:
15
    link.argocd.argoproj.io/external-link: http://10.1.167.173:30080 #argocd显示跳转的链接
16
  labels:
17
    app: goldpinger
18
spec:
19
  updateStrategy:
20
    type: RollingUpdate
21
  selector:
22
    matchLabels:
23
      app: goldpinger
24
  template:
25
    metadata:
26
      labels:
27
        app: goldpinger
28
    spec:
29
      serviceAccount: "goldpinger-serviceaccount"
30
      securityContext:
31
        runAsNonRoot: true
32
        runAsUser: 1000
33
        fsGroup: 2000
34
      containers:
35
        - name: goldpinger
36
          env:
37
            - name: HOST
38
              value: "0.0.0.0"
39
            - name: PORT
40
              value: "8080"
41
            - name: HOSTNAME
42
              valueFrom:
43
                fieldRef:
44
                  fieldPath: spec.nodeName
45
            - name: POD_IP
46
              valueFrom:
47
                fieldRef:
48
                  fieldPath: status.podIP
49
            - name: HOSTS_TO_RESOLVE
50
              value: "www.baidu.com ccops.cc kubernetes.default" # 要检测解析域名
51
            - name: HTTP_TARGETS
52
              value: http://ccops.cc # 要检测访问域名
53
            - name: TCP_TARGETS
54
              value: 8.8.8.8:53  # 要检测使用的dns服务器
55
          image: "docker.io/bloomberg/goldpinger:v3.7.0"
56
          imagePullPolicy: Always
57
          securityContext:
58
            allowPrivilegeEscalation: false
59
            readOnlyRootFilesystem: true
60
          resources:
61
            limits:
62
              memory: 80Mi
63
            requests:
64
              cpu: 1m
65
              memory: 40Mi
66
          ports:
67
            - containerPort: 8080
68
              name: http
69
          readinessProbe:
70
            httpGet:
71
              path: /healthz
72
              port: 8080
73
            initialDelaySeconds: 20
74
            periodSeconds: 5
75
          livenessProbe:
76
            httpGet:
77
              path: /healthz
78
              port: 8080
79
            initialDelaySeconds: 20
80
            periodSeconds: 5
81
---
82
apiVersion: v1
83
kind: Service
84
metadata:
85
  name: goldpinger
86
  namespace: goldpinger
87
  annotations:
88
    link.argocd.argoproj.io/external-link: http://10.1.167.173:30080
89
  labels:
90
    app: goldpinger
91
spec:
92
  type: NodePort
93
  ports:
94
    - port: 8080
95
      name: http
96
      nodePort: 30080 # 暴露的端口
97
  selector:
98
    app: goldpinger
99
---
100
apiVersion: rbac.authorization.k8s.io/v1
101
kind: ClusterRole
102
metadata:
103
  name: goldpinger-clusterrole
104
rules:
105
- apiGroups:
106
  - ""
107
  resources:
108
  - pods
109
  verbs:
110
  - list # 只给查看pod的权限
111

112
---
113
apiVersion: rbac.authorization.k8s.io/v1
114
kind: ClusterRoleBinding
115
metadata:
116
  name: goldpinger-clusterrolebinding
117
roleRef:
118
  apiGroup: rbac.authorization.k8s.io
119
  kind: ClusterRole
120
  name: goldpinger-clusterrole
121
subjects:
122
  - kind: ServiceAccount
123
    name: goldpinger-serviceaccount
124
    namespace: goldpinger

展开收起

2 argocd同步#

这里直接查看状态了
image.png

3 查看goldpinger#

点击这里就会跳转到annotations 里配的地址
image.png
可以看到已经有拓扑了
image.png

监控与告警#

1 prometheus采集#

1
  - job_name: 'goldpinger'
2
    metrics_path: '/metrics'
3
    static_configs:
4
    - targets: ["10.1.1.1:30080"]

2 告警规则#

Terminal window展开收起

1
rules]# cat goldpinger.yml
2
groups:
3
- name: goldpinger
4
  rules:
5
  - alert: goldpinger_nodes_unhealthy
6
    expr: sum(goldpinger_nodes_health_total{status="unhealthy"})
7
      BY (instance, goldpinger_instance) > 0
8
    for: 5m
9
    annotations:
10
      description: |
11
        Goldpinger instance {{ $labels.goldpinger_instance }} has been reporting unhealthy nodes for at least 5 minutes.
12
      summary: 'Instance {{ $labels.instance }} down'
13
  - alert: goldpinger_http_unhealthy
14
    expr: sum(goldpinger_http_errors_total) BY (instance, goldpinger_instance, host) > 0
15
    for: 1m
16
    annotations:
17
      description: |
18
        Goldpinger instance {{ $labels.goldpinger_instance }} unable to access  {{ $labels.host }} for at least 1 minutes.
19
      summary: '{{ $labels.goldpinger_instance }} unable to access {{ $labels.host }}'
20
  - alert: goldpinger_tcp_unhealthy
21
    expr: sum(goldpinger_tcp_errors_total) BY (instance, goldpinger_instance, host) > 1
22
    for: 1m
23
    annotations:
24
      description: |
25
        Goldpinger instance {{ $labels.goldpinger_instance }} unable to access {{ $labels.host }} for at least 1 minutes.
26
      summary: '{{ $labels.goldpinger_instance }} unable to access {{ $labels.host }}'

展开收起

3 grafana#

导入此模板

3.1 查看#

image.png

Kubernetes拓扑可视化监控之Scope

Fri, 31 Mar 2023 15:26:26 GMT

Weave Scope 特点#

Weave Scope 会读取集群配置，自动生成各容器、网络、以及 app 之间的映射关系，能够更加直观地展示、监视和控制基于容器化微服务的应用程序。

Weave Scope 可以监控 kubernetes 集群中的一系列资源的状态、资源使用情况、应用拓扑，还可以直接通过 Web 端进入容器内部进行调试。

其提供的主要功能包括：

交互式拓扑界面
图形模式和表格模式
多维度资源划分
过滤&搜索功能
实时了解集群中的容器状态
可以查看容器的上下文指标，标签和元数据。可以比较轻松的在容器内部的进程之间导航，以托管运行在可扩展、可排序表中的容器。对于给定的主机或服务，使用最多 CPU 或内存的容器即可轻松找到该容器。
与容器进行直接交互和管理、启动命令行。
通过插件扩展和自定义

缺点:

太费资源了,集群庞大不建议使用,建议用[[Kubernetes拓扑可视化监控之goldpinger]]

安装 scope#

安装参考

1 修改配置#

如果集群没使用 weave cni,每个 args 后面添加—weave=false

1
              args:
2
                - '--weave=false'

修改 svc 连接地址,weave-scope-app.weave.svc.cluster.local.

1
                - 'weave-scope-app.weave:80'

对外暴露

1
    spec:
2
      ports:
3
        - name: app
4
          port: 80
5
          nodePort: 50705
6
          protocol: TCP
7
          targetPort: 4040
8
      type: NodePort

2 查看服务状态#

Terminal window展开收起

1
kubectl get all -n weave
2
NAME                                             READY   STATUS    RESTARTS   AGE
3
pod/weave-scope-agent-ffprq                      1/1     Running   0          31m
4
pod/weave-scope-agent-gz4xt                      1/1     Running   0          31m
5
pod/weave-scope-agent-ljjkp                      1/1     Running   0          31m
6
pod/weave-scope-agent-lxsk4                      1/1     Running   0          31m
7
pod/weave-scope-agent-q8k7p                      1/1     Running   0          31m
8
pod/weave-scope-agent-sd5jf                      1/1     Running   0          31m
9
pod/weave-scope-app-7fffd8585-tpvvp              1/1     Running   0          31m
10
pod/weave-scope-cluster-agent-7864fd8f47-qm4gw   1/1     Running   0          31m
11

12
NAME                      TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
13
service/weave-scope-app   NodePort   172.19.252.151   <none>        80:50705/TCP   31m
14

15
NAME                               DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
16
daemonset.apps/weave-scope-agent   6         6         6       6            6           <none>          31m
17

18
NAME                                        READY   UP-TO-DATE   AVAILABLE   AGE
19
deployment.apps/weave-scope-app             1/1     1            1           31m
20
deployment.apps/weave-scope-cluster-agent   1/1     1            1           31m
21

22
NAME                                                   DESIRED   CURRENT   READY   AGE
23
replicaset.apps/weave-scope-app-7fffd8585              1         1         1       31m
24
replicaset.apps/weave-scope-cluster-agent-7864fd8f47   1         1         1       31m

展开收起

3 访问服务#

可以看到 weave-scope 的拓扑了
大概链路就是
web > app > agent

使用#

1 资源详细信息拓扑#

非常详细,pod 直接的连接与进程直接的连接

1.1 通过表格查看#

可以排序,比较方便

2 资源实时消耗#

可以查看资源的 CPU 和内存使用情况

2.1 容器维度#

2.2 程序维度#

2.3 节点维度#

2.4 整体资源#

3 容器操作#

可以对容器进行 logs、describe、exec shell、restart、pause 以及 stop 操作：

4 条件筛选#

界面左下角可按条件展示拓扑

容器类型（系统或者应用）

容器状态（stopped 或 running 状态）

命名空间

5 全局搜索#

搜索栏同样可以按条件搜索,关键字有:

命名空间

名称

image

资源使用率

6 资源元数据信息#

可以查看 Labels、Image、Info、Status 等元数据

扩容磁盘与恢复分区

Fri, 10 Mar 2023 16:05:49 GMT

1 直接挂载新磁盘#

Terminal window

1
fdisk /dev/sdc
2

3
Command (m for help): n  创建新分区
4

5
Select (default p): p # 创建主分区
6

7
Partition number (2-4, default 2): 2 # 分区编号
8
First sector (2048-62914558, default 2048):  # 第一个扇区
9
Last sector, +/-sectors or +/-size{K,M,G,T,P} (2048-62914558, default 62914558):  #最后一个扇区
10

11
Command (m for help): w # 保存
12

13
mkfs -t ext4 /dev/sdX1

查看分区

Terminal window

1
lsblk
2
NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
3
sda                  8:0    0   500G  0 disk
4
......
5
sdb                  8:16   0   500G  0 disk
6
sdc                  8:32   0    30G  0 disk
7
├─sdc1               8:33   0   512B  0 part
8
└─sdc2               8:34   0    30G  0 part

2 分区恢复#

2.1 删除分区#

Terminal window

1
fdisk /dev/sdc
2

3
Command (m for help): d # 删除分区
4
Partition number (1,2, default 2): 2 # 分区号
5

6
Command (m for help): w # 保存
7

8
[root@caiwc-tst-67 /]# lsblk
9
NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
10
sdc                  8:32   0    30G  0 disk
11
└─sdc1               8:33   0   512B  0 part
12
sr0                 11:0    1     2G  0 rom

2.2 恢复数据#

1
sudo yum install epel-release
2
sudo yum install testdisk
3
testdisk
4

5
>[ Create ] Create a new log file
6

7
>Disk /dev/sdc - 32 GB / 30 GiB - Virtual disk
8

9
>[Intel  ] Intel/PC partition
10

11
>[ Analyse  ] Analyse current partition structure and search for lost partitions
12

13
[Quick Search] # 回车
14

15
>* Linux                    1   0  1 30719  63 32   62912512 # 回车
16

17
1 * Linux                    1   0  1 30719  63 32   62912512 # 回车
18

19
# 等扫描完,按p
20
Disk /dev/sdc - 32 GB / 30 GiB - CHS 30720 64 32
21
Analyse cylinder 10256/30719: 33%
22
  Linux                    1   0  1 30719  63 24   62912504
23
  Linux                    1   0  1 30719  63 24   62912504
24
  Linux                    1   0  1 30719  63 24   62912504
25
  Linux                    1   0  1 30719  63 24   62912504
26
  Linux                    1   0  1 30719  63 24   62912504
27
  Linux                    1   0  1 30719  63 24   62912504
28

29
# 选择要恢复的文件,按c复制
30
   * Linux                    1   0  1 30719  63 32   62912512
31
Directory /
32
>drwxr-xr-x     0     0      4096 22-May-2025 10:50 .
33
 drwxr-xr-x     0     0      4096 22-May-2025 10:50 ..
34
 drwx------     0     0     16384 22-May-2025 10:45 lost+found
35
 drwxr-xr-x     0     0      4096 22-May-2025 10:50 nginx_logs
36
 drwxr-xr-x     0     0      4096 22-May-2025 10:50 redis
37
 drwxr-xr-x     0     0      4096 22-May-2025 10:50 rocketmq
38
 drwxr-xr-x     0     0      4096 22-May-2025 10:50 velero-minio
39
 drwxr-xr-x     0     0      4096 22-May-2025 10:50 victoria
40

41
# 选择要恢复的目录,按回车确定
42
# 选择要恢复的目录,按回车确定
43
Please select a destination where / and any files below will be copied.
44
Keys: Arrow keys to select another directory
45
      C when the destination is correct
46
      Q to quit
47
Directory /data
48
>drwxr-xr-x     0     0        49  3-Apr-2025 10:02 .
49
 dr-xr-xr-x     0     0      4096 22-May-2025 10:59 ..
50
 drwx--x---     0     0       171 22-May-2025 11:09 docker

展开收起

3 在原有分区扩容#

Terminal window展开收起

1
# 查看磁盘信息
2
lsblk
3
NAME                             MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
4
sda                                8:0    0     2T  0 disk
5
├─sda1                             8:1    0   600M  0 part /boot/efi
6
├─sda2                             8:2    0     1G  0 part /boot
7
└─sda3                             8:3    0     2T  0 part
8
  ├─almalinux_registry--100-root 253:0    0   120G  0 lvm  /
9
  ├─almalinux_registry--100-home 253:1    0    20G  0 lvm  /home
10
  └─almalinux_registry--100-data 253:2    0 358.4G  0 lvm  /data
11

12
# 扩容到sda3
13
parted /dev/sda
14
GNU Parted 3.5
15
Using /dev/sda
16
Welcome to GNU Parted! Type 'help' to view a list of commands.
17
(parted) resizepart 3 100%
18
(parted) quit
19
Information: You may need to update /etc/fstab.
20

21
# 刷新分区信息
22
Physical volume "/dev/sda3" changed
23
1 physical volume(s) resized or updated / 0 physical volume(s) not resized
24

25
# 等一段时间再次查看
26
lsblk
27
NAME                             MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
28
sda                                8:0    0     2T  0 disk
29
├─sda1                             8:1    0   600M  0 part /boot/efi
30
├─sda2                             8:2    0     1G  0 part /boot
31
└─sda3                             8:3    0     2T  0 part
32
  ├─almalinux_registry--100-root 253:0    0   120G  0 lvm  /
33
  ├─almalinux_registry--100-home 253:1    0    20G  0 lvm  /home
34
  └─almalinux_registry--100-data 253:2    0 358.4G  0 lvm  /data

展开收起

3.1 Lvm 扩容#

Terminal window展开收起

1
# 查看
2
vgs
3
  VG                     #PV #LV #SN Attr   VSize  VFree
4
  almalinux_registry-100   1   3   0 wz--n- <2.00t 1.51t
5
pvs
6
  PV         VG                     Fmt  Attr PSize  PFree
7
  /dev/sda3  almalinux_registry-100 lvm2 a--  <2.00t 1.51t
8
lvs
9
  LV   VG                     Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
10
  data almalinux_registry-100 -wi-ao---- <358.41g
11
  home almalinux_registry-100 -wi-ao----   20.00g
12
  root almalinux_registry-100 -wi-ao----  120.00g
13

14
# 扩展物理卷
15
pvresize /dev/sda3
16
# 扩容逻辑卷
17
# lvextend -L +50G /dev/almalinux_registry-100/data  # 指定扩展量
18
lvextend -l +100%FREE /dev/almalinux_registry-100/data   # 使用全部剩余空间
19

20
# 扩展文件系统
21
#resize2fs /dev/almalinux_registry--100/data  # 适用于ext4文件系统
22
xfs_growfs /data  # 适用于xfs文件系统
23

24
# 查看
25
lvs
26
  LV   VG                     Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
27
  data almalinux_registry-100 -wi-ao----   1.86t
28
  home almalinux_registry-100 -wi-ao----  20.00g
29
  root almalinux_registry-100 -wi-ao---- 120.00g

展开收起

HAProxy+Keepalived使用

Wed, 01 Feb 2023 17:25:58 GMT

一, 操作系统优化#

注意升级内核,内核要 4.11 以上,不升级的话缺少ip_unprivileged_port_start文件

Terminal window

1
cat << \EOF >> /etc/sysctl.conf
2
net.ipv4.tcp_tw_reuse = 1
3
net.ipv4.tcp_tw_recycle = 0
4
net.ipv4.ip_local_port_range="1024 65024"
5
net.ipv4.tcp_max_syn_backlog=100000
6
net.core.netdev_max_backlog=100000
7
net.ipv4.tcp_tw_reuse=1
8
net.ipv4.tcp_fin_timeout = 10
9
fs.file-max=500000
10
EOF
11

12
echo '*  -  nofile  500000' >> /etc/security/limits.conf
13
# 开启 ip 转发
14
echo 1 > /proc/sys/net/ipv4/ip_forward

二, 安装 HAProxy#

1 准备配置文件#

日志的级别为 local0 ～ local7，另外 16 ～ 23 保留为本地使用

级别	代码	描述
emerg	0	系统不可用
alert	1	必须马上采取行动的事件
crit	2	关键的事件
err	3	错误事件
warning	4	警告事件
notice	5	普通但重要的事件
info	6	有用的信息
debug	7	调试信息

vi /etc/haproxy.cfg

Terminal window展开收起

1
global
2
    log /dev/log  local0 warning
3
    maxconn     10000 # 会根据这个分配后面backend maxconn/10,使用时发现超过也没事,只要总共连接数在 1万以内就没事
4

5
defaults
6
  log global
7
  option  httplog
8
  option  dontlognull
9
  timeout http-request    10s
10
  timeout connect 10s
11
  timeout client 1m
12
  timeout server 1m
13
  timeout http-keep-alive 10s
14
  timeout check           10s
15

16
# tcp 穿透
17
frontend gitlab-rails-https
18
  bind *:443
19
  log 127.0.0.1 local0 err
20
  mode tcp
21
  option tcplog
22
  option forwardfor # ip 透传
23
  default_backend gitlab-rails-https
24
backend gitlab-rails-https
25
  mode tcp
26
  balance roundrobin
27
  server Gitlab-Ha-Prod-Rails-10-1-1-1 10.1.1.1:443 send-proxy check inter 5s rise 2 fall 3
28
  server Gitlab-Ha-Prod-Rails-10-1-1-2 10.1.1.2:443 send-proxy check inter 5s rise 2 fall 3
29
  server Gitlab-Ha-Prod-Rails-10-1-1-3 10.1.1.3:443 send-proxy check inter 5s rise 2 fall 3
30

31
# http 穿透
32
frontend gitlab-rails-http
33
  bind *:80
34
  log 127.0.0.1 local0 err
35
  mode http
36
  option tcplog
37
  option forwardfor # ip 透传
38
  default_backend gitlab-rails-http
39
backend gitlab-rails-http
40
  mode tcp
41
  balance roundrobin
42
  server Gitlab-Ha-Prod-Rails-10-1-1-1 10.1.1.1:80 check inter 5s rise 2 fall 3
43
  server Gitlab-Ha-Prod-Rails-10-1-1-2 10.1.1.2:80 check inter 5s rise 2 fall 3
44
  server Gitlab-Ha-Prod-Rails-10-1-1-3 10.1.1.3:80 check inter 5s rise 2 fall 3
45

46
frontend gitlab-rails-ssh
47
  bind *:22
48
  log 127.0.0.1 local0 err
49
  mode tcp
50
  option tcplog
51
  option forwardfor # ip 透传
52
  default_backend gitlab-rails-ssh
53
backend gitlab-rails-ssh
54
  mode tcp
55
  balance roundrobin
56
  server Gitlab-Ha-Prod-Rails-10-1-1-1 10.1.1.1:2222 send-proxy check inter 5s rise 2 fall 3
57
  server Gitlab-Ha-Prod-Rails-10-1-1-2 10.1.1.2:2222 send-proxy check inter 5s rise 2 fall 3
58
  server Gitlab-Ha-Prod-Rails-10-1-1-3 10.1.1.3:2222 send-proxy check inter 5s rise 2 fall 3
59

60
listen stats # 通过ip:1080/stats访问控制台
61
  mode    http
62
  log 127.0.0.1 local0 err
63
  http-request use-service prometheus-exporter if { path /metrics }
64
  stats realm "Haproxy Manager"
65
  bind    0.0.0.0:1080
66
  stats   enable
67
  stats   hide-version
68
  stats uri     /stats
69
  stats refresh 30s
70
  stats auth admin:admin # 账号密码
71
  stats admin if TRUE

展开收起

2 配置 system 文件#

尝试使用--privileged=true不生效,改成--user=root

vi /usr/lib/systemd/system/haproxy.service

Terminal window展开收起

1
[Unit]
2
Description=haproxy Container
3
Requires=docker.service
4
After=docker.service
5

6
[Service]
7
Restart=always
8
RestartSec=5
9
StartLimitInterval=0
10
ExecStartPre=-/bin/docker stop haproxy
11
ExecStartPre=-/bin/docker rm -f haproxy
12
ExecStart=/bin/docker run --rm \
13
    --user=root \
14
    --name haproxy \
15
    --net=host \
16
    -v /etc/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg \
17
    -v /etc/localtime:/etc/localtime \
18
    haproxy:2.6.7
19
ExecReload=/bin/docker kill -s HUP haproxy
20
ExecStop=/bin/docker stop haproxy
21
ExecStopPost=/bin/docker rm -f haproxy
22

23
[Install]
24
WantedBy=multi-user.target

展开收起

3 配置日志#

Terminal window展开收起

1
# 升级rsyslog ,要不然报错
2
cd /etc/yum.repos.d/
3
wget http://rpms.adiscon.com/v8-stable/rsyslog.repo # for CentOS 7,8,9
4
wget http://rpms.adiscon.com/v8-stable-daily/rsyslog-daily.repo # for CentOS 7,8,9
5
yum install rsyslog
6

7
# 创建目录
8
mkdir -p /data/log/haproxy_log
9

10
# 开启远程日志
11
sed -i 's/\#$ModLoad imudp/$ModLoad imudp/' /etc/rsyslog.conf
12
sed -i 's/\*.emerg/\# *.emerg/' /etc/rsyslog.conf
13
sed -i 's/\#$UDPServerRun 514/$UDPServerRun 514/' /etc/rsyslog.conf
14
echo "local3.*   /data/log/haproxy_log/haproxy.log" >> /etc/rsyslog.conf
15
systemctl restart rsyslog

展开收起

4 运行并查看#

Terminal window

1
systemctl restart haproxy
2
systemctl status haproxy
3
systemctl enable haproxy
4
# 查看日志
5
ls /data/log/haproxy_log/
6
haproxy.log

5 日志收集#

5.1 日志切割#

5.1.1 logrotate 配置#

Terminal window展开收起

1
cat << \EOF > /data/log/haproxy_log/haproxy
2
/data/log/haproxy_log/*.log
3
{
4
    rotate 3
5
    missingok
6
    compress
7
    delaycompress
8
    notifempty
9
    sharedscripts
10
    postrotate
11
        kill -s HUP $(/sbin/pidof rsyslogd)
12
        systemctl reload haproxy.service
13
    endscript
14
}
15
EOF

展开收起

5.1.2 crontab 添加任务#

Terminal window

1
crontab -e
2
0 0 * * * /sbin/logrotate -vf /data/log/haproxy_log/haproxy

5.2 Filebeat#

5.2.1 安装#

这里版本我选择的 7,按需更改

Terminal window

1
sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
2

3
cat << EOF > /etc/yum.repos.d/elastic.repo
4
[elastic-8.x]
5
name=Elastic repository for 7.x packages
6
baseurl=https://artifacts.elastic.co/packages/7.x/yum
7
gpgcheck=1
8
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
9
enabled=1
10
autorefresh=1
11
type=rpm-md
12
EOF
13
yum install filebeat -y
14
systemctl enable filebeat

5.2.2 配置#

日志上传的 kafka 上

vim /etc/filebeat/filebeat.yml

1
filebeat.inputs:
2
- type: log
3
  enabled: true
4
  paths:
5
    - /data/log/haproxy_log/haproxy.log
6
  ignore_older: 5m
7
  fields_under_root: true
8
  fields:
9
    x_module: gitlab_haproxy_logs
10
    x_type: haproxylogs
11
    log_topic: gitlab-haproxy-log
12
  document_type: gitlab-haproxy-logs
13
fields_under_root: true
14
fields:
15
  x_project: gitlab
16
  x_env: prod
17
  x_host: ${HOSTNAME}
18
output.kafka:
19
  hosts: ["10.1.2.1:9091"]
20
  topic: '%{[log_topic]}'
21
  partition.round_robin:
22
    reachable_only: false
23
  required_acks: 1
24
  compression: gzip
25
  max_message_bytes: 1000000
26
  version: 0.10.2 # 版本要跟kafka对上

展开收起

5.2.3 启动与查看#

systemctl restart filebeat

已经看到有 topic 了

三, 安装 keepalived#

1 安装 gcc#

Terminal window

1
yum -y install gcc gcc-c++ autoconf automake make
2
yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel

2 编译安装#

—prefix 指定安装地址

/usr/local/keepalived/ 安装的目录

sysconf 指定配置文件目录

Terminal window

1
# 准备源码
2
wget https://www.keepalived.org/software/keepalived-2.2.8.tar.gz
3
tar -xvf keepalived-2.2.8.tar.gz
4
cd keepalived-2.2.8
5
# 编译配置
6
./configure --prefix=/usr/local/keepalived/ --sysconf=/etc
7
# 编译并安装
8
make && make install

3 配置 keepalived#

两台机器上必须都安装 Keepalived，但在配置上略有不同。

router_id使用主机名

interface 指定网卡

unicast_src_ip本地 ip

unicast_peer对端 ip

priority + weight小于另一个节点的priority值

nginx 切换同理

vim /etc/keepalived/keepalived.conf

Terminal window展开收起

1
global_defs {
2
  #notification_email {
3
      #test@qq.com       # 指定keepalived在发生切换时需要发送email到的对象，一行一个
4
      #test@f163.com
5
  #}
6
  # notification_email_from xxx@163.com   # 指定发件人
7
  # smtp_server smtp@163.com              # smtp 服务器地址
8
  # smtp_connect_timeout 30               # smtp 服务器连接超时时间
9
  router_id LVS_1 # 标识本节点的字符串,通常为hostname,但不一定非得是hostname,故障发生时,邮件通知会用到
10
  vrrp_skip_check_adv_addr
11
  vrrp_garp_interval 5
12
  vrrp_gna_interval 5
13
}
14

15
vrrp_script chk_haproxy {
16
  script "/usr/bin/killall -0 haproxy" # 检测进程
17
  # script "</dev/tcp/127.0.0.1/80" # 检测端口
18
  interval 2
19
  weight -20
20
}
21

22
vrrp_instance haproxy-vip {
23
  state BACKUP # 都设置为BACKUP，设置非抢占模式，防止主库故障重起之后数据不同步，就进行VIP飘移，
24
  priority 100 # 如果检测失败 priority + weight小于另一个节点切换 vip,比如当前配置,100+(-20)=80,领一个节点priority设置要大于 80
25
  interface eth0 # 节点固有IP（非VIP）的网卡，用来发VRRP包做心跳检测
26
  virtual_router_id 60 # # 虚拟路由ID,取值在0-255之间,用来区分多个instance的VRRP组播,同一网段内ID不能重复;主备必须为一样;
27
  advert_int 1 # 检查间隔默认为1秒,即1秒进行一次master选举(可以认为是健康查检时间间隔)
28
  authentication {
29
    auth_type PASS # 默认是PASS认证
30
    auth_pass qweasd # PASS认证密码
31
  }
32
  unicast_src_ip 10.0.0.1 # 本地ip
33
  unicast_peer { # 单播模式,防止脑裂
34
    10.0.0.2 # 对端ip
35
  }
36

37
  virtual_ipaddress {
38
    10.0.0.3/24 # 虚拟VIP地址,允许多个
39
  }
40

41
  track_script {
42
    chk_haproxy
43
  }
44
}
45

46
# 测试配置文件
47
keepalived -t -f /etc/keepalived/keepalived.conf

展开收起

4 启动并查看#

Terminal window

1
systemctl daemon-reload
2
systemctl restart keepalived
3
systemctl status keepalived
4
systemctl enable keepalived

四, 监控与告警#

配置文件添加以下内容,上面的配置文件已经写了

1 HAProxy#

Terminal window

1
listen stats
2
  mode    http
3
  log 127.0.0.1 local0 err
4
  http-request use-service prometheus-exporter if { path /metrics }
5
  stats realm "Haproxy Manager"
6
  bind    0.0.0.0:1080
7
  stats   enable
8
  stats   hide-version
9
  stats uri     /stats
10
  stats refresh 30s
11
  stats auth admin:admin
12
  stats admin if TRUE

2 node_exporter#

2.1 配置 system 文件#

vi /usr/lib/systemd/system/node_exporter.service

Terminal window展开收起

1
[Unit]
2
Description=node_exporter Container
3
Requires=docker.service
4
After=docker.service
5

6
[Service]
7
Restart=always
8
RestartSec=5
9
StartLimitInterval=0
10
ExecStartPre=-/bin/docker stop node_exporter
11
ExecStartPre=-/bin/docker rm -f node_exporter
12
ExecStart=/bin/docker run --rm \
13
  --name node_exporter \
14
  --net="host" \
15
  --pid="host" \
16
  -v "/:/host:ro,rslave" \
17
  quay.io/prometheus/node-exporter:latest \
18
  --path.rootfs=/host
19
ExecStop=/bin/docker stop node_exporter
20
ExecStopPost=/bin/docker rm -f node_exporter
21

22
[Install]
23
WantedBy=multi-user.target

展开收起

2.2 启动#

Terminal window

1
systemctl start node_exporter.service
2
systemctl enable node_exporter.service

3 keepalived-exporter#

点击获取最新的包

Terminal window展开收起

1
rpm -ivh keepalived-exporter-1.3.2.linux-amd64.rpm
2
vim /usr/lib/systemd/system/keepalived-exporter.service
3
[Unit]
4
Description=Keepalived Exporter
5
Wants=network-online.target
6
After=network-online.target
7

8
[Service]
9
Type=simple
10
User=root
11
Group=root
12
ExecStart=/usr/bin/keepalived-exporter -web.listen-address=:9713
13
ExecReload=/bin/kill -HUP
14
KillMode=process
15
TimeoutStopSec=20s
16
Restart=always
17

18
[Install]
19
WantedBy=default.target
20

21
systemctl enable keepalived-exporter.service
22
systemctl start keepalived-exporter.service

展开收起

4 Prometheus#

4.1 指标收集配置#

1
- job_name: prb-haproxy
2
  honor_timestamps: true
3
  scrape_interval: 2m
4
  scrape_timeout: 10s
5
  metrics_path: /metrics
6
  scheme: http
7
  follow_redirects: true
8
  static_configs:
9
  - targets:
10
    - 10.0.0.1:1080
11
    - 10.0.0.2:1080
12
    labels:
13
      cluster: gitlab
14
      haproxy: yes
15
- job_name: prb-keepalived
16
  honor_timestamps: true
17
  scrape_interval: 2m
18
  scrape_timeout: 10s
19
  metrics_path: /metrics
20
  scheme: http
21
  follow_redirects: true
22
  static_configs:
23
  - targets:
24
    - 10.0.0.1:9713
25
    - 10.0.0.2:9713
26
    labels:
27
      cluster: gitlab
28
      haproxy: yes
29
- job_name: prb-node
30
  honor_timestamps: true
31
  scrape_interval: 2m
32
  scrape_timeout: 10s
33
  metrics_path: /metrics
34
  scheme: http
35
  follow_redirects: true
36
  static_configs:
37
  - targets:
38
    - 10.0.0.1:9100
39
    - 10.0.0.2:9100
40
    labels:
41
      cluster: gitlab
42
      haproxynode: "yes"

展开收起

4.2 告警规则#

根据自身环境修改

1
groups:
2
- name: HAProxy.rules
3
  rules:
4
  - alert: HAProxy down
5
    expr: up{haproxy="yes"}==0
6
    for: 1m
7
    labels:
8
      severity: critical
9
    annotations:
10
      description: 'HAProxy down (instance {{ $labels.instance }})'
11
      summary: HAProxy down
12
  - alert: HAProxy server down
13
    expr: haproxy_server_status{state="UP"}==0
14
    for: 1m
15
    labels:
16
      severity: critical
17
    annotations:
18
      description: 'HAProxy server is down\n SERVER = {{ $labels.server }}'
19
      summary: HAProxy server down (instance {{ $labels.instance }})
20
  - alert: HAProxy frontend down
21
    expr: haproxy_frontend_status{state="UP"}==0
22
    for: 1m
23
    labels:
24
      severity: critical
25
    annotations:
26
      description: 'HAProxy frontend is down\n PROXY = {{ $labels.proxy }}'
27
      summary: HAProxy frontend down (instance {{ $labels.instance }})
28
  - alert: HAProxy backend down
29
    expr: haproxy_backend_status{state="UP"}==0
30
    for: 1m
31
    labels:
32
      severity: critical
33
    annotations:
34
      summary: HAProxy backend down (instance {{ $labels.instance }})
35
      description: 'HAProxy backend is down\n PROXY = {{ $labels.proxy }}'
36
  - alert: HAProxy backend max active session
37
    expr: ((sum by (proxy) (avg_over_time(haproxy_backend_max_sessions[5m]) * 100) / sum by (proxy) (avg_over_time(haproxy_backend_limit_sessions[5m])))) > 80
38
    for: 5m
39
    labels:
40
      severity: warning
41
    annotations:
42
      summary: HAProxy backend max active session (instance {{ $labels.instance }})
43
      description: 'HAproxy backend {{ $labels.proxy }} is reaching session limit (> 80%).\n  VALUE = {{ $value }}'
44
  - alert: HAProxy pending requests
45
    expr: sum by (proxy) (haproxy_backend_current_queue) > 0
46
    for: 1m
47
    labels:
48
      severity: warning
49
    annotations:
50
      summary: HAProxy pending requests (instance {{ $labels.instance }})
51
      description: 'Some HAProxy requests are pending on {{ $labels.proxy }}\n  VALUE = {{ $value }}'
52
  - alert: HAProxy server healthcheck failure
53
    expr: increase(haproxy_server_check_failures_total[5m]) > 0
54
    for: 5m
55
    labels:
56
      severity: warning
57
    annotations:
58
      summary: HAProxy server healthcheck failure (instance {{ $labels.instance }})
59
      description: 'Some server healthcheck are failing on {{ $labels.server }}'
60
  - alert: HAProxy frontend security blocked requests
61
    expr: sum by (proxy) (rate(haproxy_frontend_requests_denied_total[5m])) > 10
62
    for: 5m
63
    labels:
64
      severity: warning
65
    annotations:
66
      summary: HAProxy frontend security blocked requests (instance {{ $labels.instance }})
67
      description: 'HAProxy is blocking requests for security reason\n PROXY = {{ $labels.proxy }}\n VALUE = {{ $value }}'
68
  - alert: HAProxy server connection errors
69
    expr: sum by (proxy,server) (rate(haproxy_server_connection_errors_total[5m])) > 100
70
    for: 5m
71
    labels:
72
      severity: critical
73
    annotations:
74
      summary: HAProxy server connection errors (instance {{ $labels.instance }})
75
      description: 'Too many connection errors to {{ $labels.server }} server (> 100 req/s). Request throughput may be too high.\n  VALUE = {{ $value }}'
76
  - alert: HAProxy backend connection errors
77
    expr: sum by (proxy) (rate(haproxy_backend_connection_errors_total[5m])) > 100
78
    for: 5m
79
    labels:
80
      severity: critical
81
    annotations:
82
      summary: HAProxy backend connection errors (instance {{ $labels.instance }})
83
      description: 'Too many connection errors to {{ $labels.proxy }} (> 100 req/s). Request throughput may be too high.\n  VALUE = {{ $value }}'
84
  - alert: HAProxy retry high
85
    expr: sum by (proxy) (rate(haproxy_backend_retry_warnings_total[5m]))  > 10
86
    for: 5m
87
    labels:
88
      severity: warning
89
    annotations:
90
      summary: HAProxy retry high (instance {{ $labels.instance }})
91
      description: 'High rate of retry on {{ $labels.proxy }}\n  VALUE = {{ $value }}'
92
  - alert: HAProxy high HTTP 5xx error rate backend
93
    expr: sum by (proxy) (rate(haproxy_backend_http_responses_total{code="5xx"}[5m])) / sum by (proxy) (rate(haproxy_backend_http_responses_total[5m])) > 5
94
    for: 5m
95
    labels:
96
      severity: critical
97
    annotations:
98
      summary: HAProxy high HTTP 5xx error rate backend (instance {{ $labels.instance }})
99
      description: 'Too many HTTP requests with status 5xx (> 5%) on backend {{ $labels.proxy }}\n  VALUE = {{ $value }}'
100
  - alert: HAProxy high HTTP 4xx error rate backend
101
    expr: sum by (proxy) (rate(haproxy_backend_http_responses_total{code="4xx"}[5m])) / sum by (proxy) (rate(haproxy_backend_http_responses_total[5m])) > 5
102
    for: 5m
103
    labels:
104
      severity: critical
105
    annotations:
106
      summary: HAProxy high HTTP 4xx error rate backend (instance {{ $labels.instance }})
107
      description: 'Too many HTTP requests with status 4xx (> 5%) on backend {{ $labels.proxy }}\n  VALUE = {{ $value }}'
108
  - alert: HAProxy HTTP slowing down
109
    expr: avg by (proxy) (haproxy_backend_total_time_average_seconds) > 1
110
    for: 1m
111
    labels:
112
      severity: warning
113
    annotations:
114
      summary: HAProxy HTTP slowing down (instance {{ $labels.instance }})
115
      description: 'Average request time is increasing\n PROXY = {{ $labels.proxy }}\n VALUE = {{ $value }}'

展开收起

五, alertmanager#

告警通知配置

1
# route字段下添加
2
  - receiver: 'gitlab-haproxy-webchat'
3
    continue: true
4
    match_re:
5
      alertname: HAProxy down|HAProxy server down|HAProxy frontend down|HAProxy backend down|HAProxy backend max active session|HAProxy pending requests|HAProxy server healthcheck failure|HAProxy frontend security blocked requests|HAProxy server connection errors|HAProxy backend connection errors|HAProxy retry high|HAProxy high HTTP 5xx error rate backend|HAProxy high HTTP 4xx error rate backend|HAProxy HTTP slowing down
6

7
# receivers下添加:
8
- name: 'gitlab-haproxy-webchat'
9
  wechat_configs:
10
  - corp_id: 'wwf948xxxxxxxxx'
11
    message: '{{ template "wechat.k8scorecomponentpod.message" . }}'
12
    api_secret: 'xxxxxxxxxxxxxxxxx'
13
    to_party: '2'
14
    agent_id: '1000000'
15
    send_resolved: true

展开收起

1 Grafana#

1.1 导入模板#

模板 id: 12693

keepalived模板

1.2 查看#

1.2.1 HAProxy 监控#

1.2.2 节点监控#

网上 node_exporter 模板很多,这里就不分享了

1.3 大盘无数据#

1.3.1 查询时间太短#

Prometheus 拉取不频繁,太短时间显示不出来

1.3.2 值不对#

改为haproxy_frontend_http_responses_total

Nginx 调优

Wed, 01 Feb 2023 17:25:58 GMT

一，核心配置#

找到 Nginx 安装目录下的 conf 目录下 nginx.conf 文件，Nginx 的基本功能配置是由它提供的。

1 配置文件结构#

Nginx 的配置文件 (conf/nginx.conf) 整体上分为如下几个部分：

区域	职责
全局块	配置和 Nginx 运行相关的全局配置
events 块	配置和网络链接相关的配置
http 块	配置代理、缓存、日志记录、虚拟主机等配置
server 块	配置虚拟主机的相关参数，一个 http 快中可以有多个 server 块
location 块	配置请求的路由，以及各种页面的处理情况

配置层级如下所示。

1
events {
2

3
}
4
http {
5
    server {
6
        server_name  a;
7
        location  / {
8
        }
9
        location  ~*^.+$ {
10
        }
11
    }
12
    server {
13
        server_name  b;
14
        location  / {
15
        }
16
    }
17
}

展开收起

2 配置文件示例#

一个比较全的配置文件示例如下。

1
# 以下是全局段配置
2
worker_processes 2;  #设置进程数，默认为1
3
error_log log/error.log info;  #制定日志路径，级别：debug|info|notice|warn|error|crit|alert|emerg
4
# events段配置信息
5
events {
6
    accept_mutex on;   #设置网路连接序列化，防止惊群现象发生，默认为on
7
    multi_accept on;  #设置一个进程是否同时接受多个网络连接，默认为off
8
    worker_connections  1024;    #最大连接数，默认为512
9
}
10
# http、配置请求信息
11
http {
12
    default_type  application/octet-stream; #默认文件类型，默认为text/plain
13
    #access_log off; #取消服务日志
14
    log_format logFormat '$remote_addr–$remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent $http_x_forwarded_for'; #自定义格式
15
    access_log log/access.log logFormat;  # logFormat为log_format配置的名字
16
    sendfile on;   #允许sendfile方式传输文件，默认为off，可以在http块，server块，location块。
17
    sendfile_max_chunk 100k;  #每个进程每次调用传输数量不能大于设定的值，默认为0，即不设上限。
18
    keepalive_timeout 65;  #连接超时时间，默认为75s，可以在http，server，location块。
19
    # proxy_buffering off; #取消缓冲,see 协议需要关闭,可以在http，server，location块。
20

21
    upstream myweb {
22
      server 10.0.0.1:66;
23
      server 10.0.0.1:6666 backup;  #热备
24
    }
25
    error_page 404 https://ccops.cc; #错误页
26
    # 第一个Server区块开始，表示一个独立的虚拟主机站点
27
    server {
28
        # keepalive_requests 120; #单连接请求上限次数。
29
        listen       80;   #监听端口
30
        server_name  tst.ccops.cc;   #监听地址
31
        location  / {       #请求的url过滤，正则匹配，~为区分大小写，~*为不区分大小写。
32
           #root path;  #根目录
33
           #index vv.txt;  #设置默认页
34
           proxy_pass  http://myweb;  #请求转向mysvr 定义的服务器列表
35
           deny 127.0.0.1;  #拒绝的ip
36
           allow 10.0.0.0/24; #允许的ip
37
        }
38
    }
39
}

展开收起

3 locat 路径映射讲解#

3.1 格式#

location [ = | ~ | * | ! | !~* | @ ] uri {…}

3.2 解释#

= 表示精确匹配，如果找到，立即停止搜索并立即处理此请求。

~ 表示执行一个正则匹配，区分大小写匹配

~* 表示执行一个正则匹配，不区分大小写匹配

!~ 区分大小写不匹配

!~* 不区分大小写不匹配

^~ 即表示只匹配普通字符（空格）。使用前缀匹配，^ 表示 “非”，即不查询正则表达式。如果匹配成功，则不再匹配其他 location。

@ 指定一个命名的 location，一般只用于内部重定向请求。例如 error_page, try_files

uri 是待匹配的请求字符串，可以不包含正则表达式，也可以包含正则表达式；

3.3 优先级和示例#

• [不加] < [/*] < [^~] < [=]

• 示例如下：

1
location = / {
2
    # 精确匹配/，主机名后面不能带任何字符串 /
3
    # 只匹配http://abc.com
4
    # http://abc.com [匹配成功]
5
    # http://abc.com/index [匹配失败]
6
}
7
location ^~ /img/ {
8
      #以 /img/ 开头的请求，都会匹配上
9
    #http://abc.com/img/a.jpg   [成功]
10
    #http://abc.com/img/b.mp4  [成功]
11
    }
12
location ~* /Example/ {
13
  # 则会忽略 uri 部分的大小写
14
  #http://abc.com/test/Example/ [匹配成功]
15
  #http://abc.com/example/ [匹配成功]
16
}
17
location /documents {
18
    # 如果有正则表达式可以匹配，则优先匹配正则表达式。
19
    #http://abc.com/documentsabc [匹配成功]
20
}
21
location / {
22
    #http://abc.com/abc [匹配成功]
23
}

展开收起

二，反向代理#

1 反向代理概念#

反向代理 (Reverse Proxy) 是指以代理服务器来接受 internet 上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给 internet 上请求连接的客户端。真实的服务器不能直接被外部网络访问，所以需要一台代理服务器，而代理服务器能被外部网络访问的同时又跟真实服务器在同一个网络环境，当然也可能是同一台服务器，端口不同而已。

反向代理通过 proxy_pass 指令来实现。

2 反向代理示例#

1
server {
2
    listen       80;
3
    server_name  localhost;
4

5

6
    location / {
7
         proxy_pass http://localhost:8081;
8
         proxy_set_header Host $host:$server_port;#为请求头添加Host字段，用于指定请求服务器的域名/IP地址和端口号。
9

10

11
         # 设置用户ip地址
12
         proxy_set_header X-Forwarded-For $remote_addr;#为请求头添加XFF字段，值为客户端的IP地址。
13
         # 当请求服务器出错去寻找其他服务器
14
         proxy_next_upstream error timeout invalid_header http_500 http_502 http_503;

当我们访问 localhost 的时候，Nginx 就将我们的请求转到 localhost:8081 了

三，负载均衡#

1 负载均衡概念#

当有 2 台或以上服务器时，代理服务器根据规则将请求分发到指定的服务器上处理。

2 负载均衡策略及示例#

Nginx 目前支持多种负载均衡策略，这里讲解常用的 6 种。

2.1 RR (round robin : 轮询默认)#

每个请求按时间顺序逐一分配到不同的后端服务器，也就是说第一次请求分配到第一台服务器上，第二次请求分配到第二台服务器上，如果只有两台服务器，第三次请求继续分配到第一台上，这样循环轮询下去，也就是服务器接收请求的比例是 1:1，如果后端服务器 down 掉，能自动剔除。轮询是默认配置，不需要太多的配置

同一个项目分别使用 8081 和 8082 端口启动项目

1
upstream web_servers {
2
   server localhost:8081;
3
   server localhost:8082;
4
}
5

6

7

8

9
server {
10
    listen       80;
11
    server_name  localhost;
12
    #access_log  logs/host.access.log  main;
13
    location / {
14
        proxy_pass http://web_servers;
15
        proxy_set_header Host $host:$server_port;
16
    }

展开收起

2.2 热备：#

假设有 2 台服务器，当一台服务器发生事故时，才启用第二台服务器给提供服务。服务器处理请求的顺序：AAAAAA 突然 A 挂了，服务器处理请求的顺序：BBBBBBBBBBBBBB…

1
upstream web_servers {
2
      server 127.0.0.1:7878;
3
      server 192.168.10.121:3333 backup;  #热备
4
    }

3.2.3 权重

跟据配置的权重的大小而分发给不同服务器不同数量的请求。如果不设置，则默认为 1。下面服务器的请求顺序为：ABBABBABBABBABB…。

1
upstream web_servers {
2
    server localhost:8081 weight=1;
3
    server localhost:8082 weight=2;
4
}

2.3 ip_hash#

这样每个 ip 地址固定访问一个后端服务器，可以解决 session 的问题。

1
upstream test {
2
    ip_hash;
3
    server localhost:8080;
4
    server localhost:8081;
5
}

2.4 fair (第三方)#

按后端服务器的响应时间来分配请求，响应时间短的优先分配。这个配置是为了更快的给用户响应。

1
upstream backend {
2
    fair;
3
    server localhost:8080;
4
    server localhost:8081;
5
}

2.5 url_hash (第三方)#

按访问 url 的 hash 结果来分配请求，使每个 url 定向到同一个后端服务器，后端服务器为缓存时比较有效。在 upstream 中加入 hash 语句，hash_method 是使用的 hash 算法

1
upstream backend {
2
    hash_method crc32;
3
    hash $request_uri;
4
    server localhost:8080;
5
    server localhost:8081;
6
}

以上 6 种负载均衡各自适用不同情况下单独或者混合使用，可以根据实际情况选择使用，fair 和 url_hash 需要安装第三方模块才能使用。

四动静分离#

1 动静分离概念#

动静分离是指在 web 服务器架构中，将静态页面与动态页面或者静态内容接口和动态内容接口分开不同系统访问的架构设计方法，进而提升整个服务访问性能和可维护性。

2 动静分离示例#

1
upstream web_servers {
2
       server localhost:8081;
3
       server localhost:8082;
4
}
5
server {
6
    listen       80;
7
    server_name  localhost;
8
    set $doc_root /usr/local/var/www;
9

10

11
    location ~* \.(gif|jpg|jpeg|png|bmp|ico|swf|css|js)$ {
12
       root $doc_root/img;
13
    }
14
    location / {
15
        proxy_pass http://web_servers;
16
        proxy_set_header Host $host:$server_port;
17
    }
18
    error_page 500 502 503 504  /50x.html;  #出现 500 502 503 504错误时走内部跳转
19
    location = /50x.html {
20
        root $doc_root;
21
    }
22
 }

展开收起

结果：访问 http://localhost/test.jpg 时直接返回 /usr/local/var/www/img 路径下的图片.

访问 http://localhost/index.html 就会访问后端服务器 (tomcat 等)

五，权限验证#

1
    location / {
2
        auth_basic "goaccess-login!";
3
        auth_basic_user_file /etc/nginx/db/passwd.db;
4
    }

六其他常用的指令#

1 return 指令#

返回 http 状态码和可选的第二个参数可以是重定向的 URL

1
return code [text];
2
return code URL;
3
return URL;
4
例如：
5
location / {
6
 return 404; # 直接返回状态码
7
}
8
location / {
9
 return 404 "pages not found"; # 返回状态码 + 一段文本
10
}
11
location / {
12
 return 302 /bbs ; # 返回状态码 + 重定向地址
13
}
14
location / {
15
 return https://www.baidu.com ; # 返回重定向地址
16
}

展开收起

2 rewrite 指令#

重写 URI 请求 rewrite，通过使用 rewrite 指令在请求处理期间多次修改请求 URI，该指令具有一个可选参数和两个必需参数。

第一个 (必需) 参数是请求 URI 必须匹配的正则表达式。

第二个参数是用于替换匹配 URI 的 URI。

可选的第三个参数重写策略

• last 重写后的 URL 发起新请求，再次进入 server 段，重试 location 的中的匹配；

• break 直接使用重写后的 URL ，不再匹配其它 location 中语句；

• redirect 返回 302 临时重定向；

• permanent 返回 301 永久重定向；

1
location /users/ {
2
    rewrite ^/users/(.*)$ /show?user=$1 break;
3
}

3 error_page 指令#

使用 error_page 指令，您可以配置 NGINX 返回自定义页面以及错误代码，替换响应中的其他错误代码，或将浏览器重定向到其他 URI。在以下示例中，error_page 指令指定要返回 404 页面错误代码的页面 (/404.html)。

1
    server{
2
      error_page 500 502 503 504 /50x.html;
3
      location =/50x.html{
4
        root html;
5
      }
6
    }

4 日志#

访问日志：需要开启压缩 gzip on; 否则不生成日志文件，打开 log_format、access_log 注释

1
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
2
                      '$status $body_bytes_sent "$http_referer" '
3
                      '"$http_user_agent" "$http_x_forwarded_for"';
4

5

6

7

8
access_log  /usr/local/etc/nginx/logs/host.access.log  main;
9

10

11

12

13
gzip

5 deny 、allow 指令#

1
#禁止访问某个目录
2
location / {
3
    allow 192.168.0.0;
4
    allow 127.0.0.1;
5
    deny all;
6
#这段配置值允许192.168.0./24网段和127.0.0.1的请求，其他来源IP全部拒绝。
7
}

6 内置变量#

nginx 的配置文件中可以使用的内置变量以美元符$开始。其中，大部分预定义的变量的值由客户端发送携带。

变量名	解释
$content_length	请求头中的 Content-length 字段。
$content_type	请求头中的 Content-Type 字段。
$document_root	当前请求在 root 指令中指定的值。
$host	请求行的主机名，为空则为请求头字段 Host 中的主机名，再为空则与请求匹配的 server_name
$http_user_agent	客户端 agent 信息
$http_cookie	客户端 cookie 信息
$limit_rate	这个变量可以限制连接速率。
$request_method	客户端请求的动作，通常为 GET 或 POST。
$remote_addr	客户端的 IP 地址。
$remote_port	客户端的端口。
$remote_user	已经经过 Auth Basic Module 验证的用户名。
$request_filename	当前请求的文件路径，由 root 或 alias 指令与 URI 请求生成。
$scheme	HTTP 方法（如 http，https）。
$server_protocol	请求使用的协议，通常是 HTTP/1.0 或 HTTP/1.1。
$server_addr	服务器地址，在完成一次系统调用后可以确定这个值。
$server_name	服务器名称。
$server_port	请求到达服务器的端口号。
$request_uri	包含请求参数的原始 URI，不包含主机名，如：”/foo/bar.php?arg=baz”。
$uri	不带请求参数的当前 URI，$uri 不包含主机名，如”/foo/bar.html”。
$document_uri	与 $uri 相同

七缓存#

1 静态资源缓存（浏览器 + Nginx）#

适合图片、JS、CSS 等：

Terminal window

1
location /static/{
2
    root /var/www/html;
3
    expires 30d;
4
    add_header Cache-Control"public, max-age=2592000";
5
}

2 反向代理缓存#

Terminal window展开收起

1
  proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=my_cache:200m max_size=30g inactive=60m use_temp_path=off;
2

3
  server {
4
      location /api/hot/{
5
          proxy_pass http://backend_pool;
6
          proxy_cache my_cache;
7
          proxy_cache_key "$scheme$host$request_uri";
8
          proxy_cache_valid 20030210m;
9
          proxy_cache_valid 4041m;
10
          proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
11
          proxy_cache_lock on;
12
          proxy_cache_lock_timeout 5s;
13
          add_header X-Cache-Status $upstream_cache_status;
14
  }
15
  }

展开收起

3 PHP、WordPress 等#

Terminal window

1
  fastcgi_cache_path /var/cache/nginx/fastcgi levels=1:2 keys_zone=fcg_cache:100m inactive=60m;
2
  server {
3
      location ~ \.php$ {
4
          fastcgi_pass unix:/run/php-fpm.sock;
5
          fastcgi_cache fcg_cache;
6
          fastcgi_cache_key "$scheme$request_method$host$request_uri $cookie_user";
7
          fastcgi_cache_valid 20030210m;
8
          add_header X-Fastcgi-Cache $upstream_cache_status;
9
  }
10
  }

八总结#

Nginx 是一款高性能反向代理服务器，学习它非常有必要，本文讲解了 Nginx 核心配置，介绍了反向代理，负载均衡，动静分离三大功能，最后扩展了一些常用的指令。本文介绍了 Nginx 的基础用法，后续的 Nginx 内核以及原理部分有待研究。

k8s收集审计日志

Wed, 07 Dec 2022 21:25:58 GMT

工作中经常遇到不知道谁修改资源导致服务出现故障,配合 k8s 自带的 RBAC 实现用户级别的审计日志
RBAC 配置参考: [[Kubernetes自定义权限]]
审计日志记录功能会增加 API server 的内存消耗，因为需要为每个请求存储审计所需的某些上下文。

原理#

Kube-apiserver 执行审计。每个执行阶段的每个请求都会生成一个事件，然后根据特定策略对事件进行预处理并写入后端。

每个请求都可以用相关的 “stage” 记录。已知的 stage 有：

RequestReceived - 事件的 stage 将在审计处理器接收到请求后，并且在委托给其余处理器之前生成。
ResponseStarted - 在响应消息的头部发送后，但是响应消息体发送前。这个 stage 仅为长时间运行的请求生成（例如 watch）。
ResponseComplete - 当响应消息体完成并且没有更多数据需要传输的时候。
Panic - 当 panic 发生时生成。

策略#

审计政策定义了关于应记录哪些事件以及应包含哪些数据的规则。处理事件时，将按顺序与规则列表进行比较。第一个匹配规则设置事件的审计级别。已知的审计级别有：

None - 符合这条规则的日志将不会记录。

Metadata - 记录请求的 metadata（请求的用户、timestamp、resource、verb 等等），但是不记录请求或者响应的消息体。

Request - 记录事件的 metadata 和请求的消息体，但是不记录响应的消息体。这不适用于非资源类型的请求。

RequestResponse - 记录事件的 metadata，请求和响应的消息体。这不适用于非资源类型的请求。

后端#

k8s 目前提供两种日志后端

Log 后端和 webhook 后端，Log 后端可以将日志输出到文件
webhook 后端将日志发送到远端日志服务器

以下实践组件版本 docker ce20，k8s 1.24.4

1 kube-apiserver 配置 Log 审计后端#

—audit-log-path指定用来写入审计事件的日志文件路径。不指定此标志会禁用日志后端。- 意味着标准化

—audit-log-maxage定义了保留旧审计日志文件的最大天数

—audit-log-maxbackup定义了要保留的审计日志文件的最大数量

—audit-log-maxsize定义审计日志文件的最大大小（兆字节）

1
--audit-log-maxage=30
2
--audit-log-maxbackup=10
3
--audit-log-maxsize=100
4
--audit-log-path=/var/log/kube-audit/audit-log.json
5
--audit-log-format=json
6
--audit-policy-file=/etc/kubernetes/audit-policy.yaml

2 audit-policy.yaml#

2.1 比较详细配置参考#

1
apiVersion: audit.k8s.io/v1 # 这是必填项。
2
kind: Policy
3
# 不要在 RequestReceived 阶段为任何请求生成审计事件。
4
omitStages:
5
  - "RequestReceived"
6
rules:
7
  # 在日志中用 RequestResponse 级别记录 Pod 变化。
8
  - level: RequestResponse
9
    resources:
10
    - group: ""
11
      # 资源 "pods" 不匹配对任何 Pod 子资源的请求，
12
      # 这与 RBAC 策略一致。
13
      resources: ["pods"]
14
  # 在日志中按 Metadata 级别记录 "pods/log"、"pods/status" 请求
15
  - level: Metadata
16
    resources:
17
    - group: ""
18
      resources: ["pods/log", "pods/status"]
19

20
  # 不要在日志中记录对名为 "controller-leader" 的 configmap 的请求。
21
  - level: None
22
    resources:
23
    - group: ""
24
      resources: ["configmaps"]
25
      resourceNames: ["controller-leader"]
26

27
  # 不要在日志中记录由 "system:kube-proxy" 发出的对端点或服务的监测请求。
28
  - level: None
29
    users: ["system:kube-proxy"]
30
    verbs: ["watch"]
31
    resources:
32
    - group: "" # core API 组
33
      resources: ["endpoints", "services"]
34

35
  # 不要在日志中记录对某些非资源 URL 路径的已认证请求。
36
  - level: None
37
    userGroups: ["system:authenticated"]
38
    nonResourceURLs:
39
    - "/api*" # 通配符匹配。
40
    - "/version"
41

42
  # 在日志中记录 kube-system 中 configmap 变更的请求消息体。
43
  - level: Request
44
    resources:
45
    - group: "" # core API 组
46
      resources: ["configmaps"]
47
    # 这个规则仅适用于 "kube-system" 名字空间中的资源。
48
    # 空字符串 "" 可用于选择非名字空间作用域的资源。
49
    namespaces: ["kube-system"]
50

51
  # 在日志中用 Metadata 级别记录所有其他名字空间中的 configmap 和 secret 变更。
52
  - level: Metadata
53
    resources:
54
    - group: "" # core API 组
55
      resources: ["secrets", "configmaps"]
56

57
  # 在日志中以 Request 级别记录所有其他 core 和 extensions 组中的资源操作。
58
  - level: Request
59
    resources:
60
    - group: "" # core API 组
61
    - group: "extensions" # 不应包括在内的组版本。
62

63
  # 一个抓取所有的规则，将在日志中以 Metadata 级别记录所有其他请求。
64
  - level: Metadata
65
    # 符合此规则的 watch 等长时间运行的请求将不会
66
    # 在 RequestReceived 阶段生成审计事件。
67
    omitStages:
68
      - "RequestReceived"

展开收起

2.2 最低限度配置参考#

1
apiVersion: audit.k8s.io/v1
2
kind: Policy
3
rules:
4
- level: Metadata

查看#

auditID: 审计 id

verb: 操作类型

requestURI: 请求 api 路径

user: 账户角色详情

1
{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"9a686e23-ab0c-4d7e-a386-29220ede0c9a","stage":"RequestReceived","requestURI":"/api/v1/namespaces/kube-system/pods/coredns-59499769fb-8gr8t","verb":"delete","user":{"username":"system:node","groups":["system:nodes","system:authenticated"]},"sourceIPs":["10.1.148.142"],"userAgent":"kubelet/v1.24.4 (linux/amd64) kubernetes/95ee5ab","objectRef":{"resource":"pods","namespace":"kube-system","name":"coredns-59499769fb-8gr8t","apiVersion":"v1"},"requestReceivedTimestamp":"2022-12-07T02:10:31.324896Z","stageTimestamp":"2022-12-07T02:10:31.324896Z"}

面试题记录

Mon, 21 Nov 2022 21:25:58 GMT

以前面试重来不做笔记,每次都在网上搜题,毕竟不是自己总结的,记录下遇到面试遇到与以及感觉可能会问到的问题

一, mysql#

1 备份#

1.1 mysql 5.5#

不支持事务 id

备份磁盘,binlog server,XtraBackup 备份,8.0 之前 mysql 默认库所表都是 MyISAM 引擎的表之前版尽量不使用,因为会出现锁表问题: 主从切换后 binlog server 无法继续使用,因为每个节点的 binlog 位置不一样,还原数据需要新建个实例对比新切换的 master 节点数据进行还原

1.2 mysql 5.6#

支持事务 id,通过事务 id 同步备份: 备份磁盘,binlog server,XtraBackup 备份,8.0 之前 mysql user 表是 MyISAM 引擎的表,能会出现锁表问题: 主从切换后 binlog server 可以继续使用,因为事务 id 是一样的,可以写脚本实现自动切换 master 节点,这里我们借鉴 Orchestrator 自己研发的 mysql 管理工具

1.3 mysql 5.7#

支持事务 id,组提交

备份磁盘,binlog server,XtraBackup 备份,8.0 之前 mysql user 表是 MyISAM 引擎的表,可能会出现锁表问题: 主从切换后 binlog server 可以继续使用,因为事务 id 是一样的,可以写脚本实现自动切换 master 节点,这里我们借鉴 Orchestrator 自己研发的 mysql 管理工具

2 主从#

2.1 mysql 5.5#

通过 binlog 位置同步,单线程,延迟较大,备份 master 增加读负担,备份 slave 数据不全,所以选择备份 master 磁盘

2.2 mysql 5.6#

事务 id 同步,库级别线程,延迟比较大,

2.3 mysql 5.7#

事务 id 同步,支持组提交,表或者行级别线程,延迟较低

3 XtraBackup 锁表解决方案:#

3.1 设置超时时间#

中断正常长查询

3.2 kill 其他阻塞线程#

这种方式对堵塞 SQL 影响很大，会强制 kill 掉，对业务会有一定的影响

3.3 暂停复制进程来防止阻塞#

加大主从的延迟,关闭从库 binlog 的顺序提交,生产环境

二, redis#

1 使用场景#

哨兵模式: 遇到读瓶颈,增加 slave 节点分担读请求
集群模式, 遇到写瓶颈,单节点无法除了大并发写请求

2 读 timeout#

先看监控,key 数量是不是太多,或者查询并发量比较大,再或者是不是中间网络问题.

然后手动用命令行查下,如果慢,资源使用也正常,网络也没问题,可能 redis 配置有问题,比如惰性释放,多线程之类的配置

三, Kubernetes#

1 PVC 挂载#

create 阶段，主要是创建存储；
attach 阶段，就是将那块存储挂载到 node 上面(通常为将存储 load 到 node 的/dev 下面)；
第三个 mount 阶段，将对应的存储进一步挂载到 pod 可以使用的路径。

2 容器生命周期#

第一种是通过 bind 的方式，直接将宿主机的目录直接挂载到容器内；这种方式比较简单，但是会带来运维成本，因为其依赖于宿主机的目录，需要对于所有的宿主机进行统一管理。
第二种是将目录管理交给运行引擎。

moby 是目前最流行的容器管理引擎，moby daemon 会对上提供有关于容器、镜像、网络以及 Volume 的管理。moby daemon 所依赖的最重要的组件就是 containerd

3 Pod 服务质量 (QoS) 配置#

根据 CPU 对容器内存资源的需求，我们对 pod 的服务质量进行一个分类，有三种

Guaranteed ：pod 里面每个容器都必须有内存和 CPU 的 request 以及 limit 的一个声明，且 request 和 limit 必须是一样的，这就是 Guaranteed；
Burstable：Burstable 至少有一个容器存在内存和 CPU 的一个 request；
BestEffort：只要不是 Guaranteed 和 Burstable，那就是 BestEffort。

节点上 memory 配额资源不足，kubelet 会把一些低优先级的，或者说服务质量要求不高的（如：BestEffort、Burstable）pod 驱逐掉。它们是按照先去除 BestEffort，再去除 Burstable 的一个顺序来驱逐 pod 的。

4 探针类型#

启动探针: 有的 pod 启动时间过长,防止其他两种探针误测使用
就绪探针: 是否能对外提供服务
存活探针: 定时检测服务是否正常

5 监控#

5.1 资源监控#

CPU、内存、网络这种资源类的一个指标，通常这些指标会以数值、百分比的单位进行统计。

5.2 性能监控#

性能监控指的就是 APM 监控，也就是说常见的一些应用性能类的监控指标的检查。像 jvm 里面的 GC 的次数。

5.3 安全监控#

安全监控主要是对安全进行的一系列的监控策略，类似像越权管理、安全漏洞扫描等等。(这个我们用的不多)

5.4 事件监控#

最典型的就是监控 pod 重启

6 etcd#

6.1 查询原理#

第一个 tree，维护着 revision 到 value 的映射关系。也就是说当指定 revision 查询数据的时候，就可以通过该 tree 直接返回数据。第二个 tree。它管理着 key 到 revision 的映射关系。当需要查询 Key 对应数据的时候，会通过刚才说的 tree，将 key 翻译成 revision。再通过 revision 获取到对应的 value。至此就能满足客户端不同的查询场景了。

类似 mysql 水平分表,单表的数据量得以减少，提高性能

7 pod 生命周期#

Pending：API Server 已经创建该 Pod，且 Pod 内还有一个或多个容器的镜像没有创建，包括正在下载镜像的过程。 Running：Pod 内所有容器均已创建，且至少有一个容器处于运行状态、正在启动状态或正在重启状态。 Succeeded：Pod 内所有容器均成功执行退出，且不会重启。 Failed：Pod 内所有容器均已退出，但至少有一个容器退出为失败状态。 Unknown：由于某种原因无法获取该 Pod 状态，可能由于网络通信不畅导致。

四, 其他#

1 服务时不时报 400#

正常情况服务要么一直 400,要么不报,可能多节点,其中一个节点故障

2 磁盘 io 过高排查#

这个我回答偷懒了

看监控,影响磁盘 io 方面太多,通过命令排查太慢,监控可以看看是不是网络流量比较大导致的 io 过高,或者开启了交换分区,内存满了

RookCeph管理

Thu, 22 Sep 2022 17:25:58 GMT

默认命名空间 rook-ceph，主要修改成自己的
建议镜像上传到私有仓库或拉取后部署
部署参考: [[RookCeph安装]]

一, 检查#

1 pod 状态#

pod 都是Running与Completed状态

Terminal window

1
kubectl get pod -n rook-ceph |grep -v 'Running\|Completed'

2 集群状态#

请注意以下状态，表明群集处于正常状态：

群集运行状况：群集整体状态为HEALTH_OK，并且没有显示警告或错误状态消息。

Monitors(mon)：所有监视器都包含在quorum列表中。

Manager(mgr)：Ceph mgr 处于active状态。

OSDs(osd)：所有 osd 都是up与in状态。

Placement groups(pgs)：所有 PG 都处于active+clean状态。

Ceph 文件系统元数据服务器(mds)：所有 MDS 都处于up状态

Ceph 对象存储 RADOS 网关 (rgw)：所有 rgw 都是active状态

Terminal window展开收起

1
kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
2
  cluster:
3
    id:     b5b9953a-5f24-498e-8d51-ab377e0e3376
4
    health: HEALTH_OK
5

6
  services:
7
    mon: 3 daemons, quorum a,c,d (age 4h)
8
    mgr: b(active, since 3d), standbys: a
9
    mds: 1/1 daemons up, 1 hot standby
10
    osd: 3 osds: 3 up (since 4h), 3 in (since 4h)
11
    rgw: 1 daemon active (1 hosts, 1 zones)
12

13
  data:
14
    volumes: 1/1 healthy
15
    pools:   12 pools, 305 pgs
16
    objects: 58.63k objects, 223 GiB
17
    usage:   449 GiB used, 151 GiB / 600 GiB avail
18
    pgs:     305 active+clean

展开收起

3 统计版本#

Terminal window

1
kubectl -n rook-ceph get pod -o jsonpath='{range .items[*]}{"\t\t"}{.spec.containers[0].image}{"\t"}{.spec.initContainers[0].image}{"\n"}{end}' |sort -u

二, Rook 升级#

本指南适用于从rook v1.9.x 升级到 rook v1.10.x。
参考文档
v1.10 中的重大更改

删除了对 ceph（15.2.x）的支持。如果您运行的是 v15，则必须先升级到 Ceph 到 v16 或 v17，然后再升级 Rook v1.10

Ceph-CSI 支持的最低版本是 v3.6.0。在将 Rook 操作员映像更新到 v1.10 之前或同时，您必须至少更新到此版本的 Ceph-CSI

在升级到 K8s 1.25 之前，请确保您至少运行的是 Rook v1.10.3 或 v1.10.x。如果在升级到 v1.10.3 或更高版本之前升级到 K8s 1.25，则可能会阻止 Helm 图表升级到较新版本的 Rook。请参阅 #10826 了解可能的解决方法。

1 准备文件#

1.1 下载#

启用 Prometheus 需要升级 rbac，点击下载

Terminal window

1
wget https://raw.githubusercontent.com/rook/rook/v1.10.3/deploy/examples/common.yaml -O common-1.10.yaml
2
wget https://raw.githubusercontent.com/rook/rook/v1.10.3/deploy/examples/crds.yaml -O crds-1.10.yaml

1.2 修改配置#

Terminal window

1
sed -i.bak \
2
    -e "s/\(.*\):.*# namespace:operator/\1: rook-ceph # namespace:operator/g" \
3
    -e "s/\(.*\):.*# namespace:cluster/\1: rook-ceph # namespace:cluster/g" \
4
  common-1.10.yaml
5
# 注意版本，我这里是1.10.3
6
sed -i 's/1.9.10/1.10.3/g' operator.yaml

2 更新#

Terminal window

1
kubectl apply -f common-1.10.yaml -f crds-1.10.yaml
2
kubectl apply -f operator.yaml

3 查看#

Ceph 集群，mgr，OSD，rbd 镜像，MDS 和 RGW 被终止并按顺序替换为更新的版本。
当 mons 更新时，群集可能会非常短暂地无响应
升级 MDS 时，Ceph 文件系统可能会脱机几次

Terminal window展开收起

1
kubectl -n rook-ceph get deployments -l rook_cluster=rook-ceph -o jsonpath='{range .items[*]}{.metadata.name}{"  \treq/upd/avl: "}{.spec.replicas}{"/"}{.status.updatedReplicas}{"/"}{.status.readyReplicas}{"  \trook-version="}{.metadata.labels.rook-version}{"\n"}{end}'
2
rook-ceph-crashcollector-k8s-ceph-100      req/upd/avl: 1/1/1      rook-version=v1.10.3
3
rook-ceph-crashcollector-k8s-ceph-136      req/upd/avl: 1/1/1      rook-version=v1.10.3
4
rook-ceph-crashcollector-k8s-ceph-142      req/upd/avl: 1/1/1      rook-version=v1.10.3
5
rook-ceph-mds-ccfs-a      req/upd/avl: 1/1/1      rook-version=v1.10.3
6
rook-ceph-mds-ccfs-b      req/upd/avl: 1/1/1      rook-version=v1.10.3
7
rook-ceph-mgr-a      req/upd/avl: 1/1/1      rook-version=v1.10.3
8
rook-ceph-mgr-b      req/upd/avl: 1/1/1      rook-version=v1.10.3
9
rook-ceph-mon-a      req/upd/avl: 1/1/1      rook-version=v1.10.3
10
rook-ceph-mon-c      req/upd/avl: 1/1/      rook-version=v1.10.3
11
rook-ceph-mon-d      req/upd/avl: 1/1/1      rook-version=v1.10.3
12
rook-ceph-nfs-cc-nfs-a      req/upd/avl: 1/1/1      rook-version=v1.10.3
13
rook-ceph-osd-0      req/upd/avl: 1/1/1      rook-version=v1.10.3
14
rook-ceph-osd-1      req/upd/avl: 1/1/1      rook-version=v1.10.3
15
rook-ceph-osd-2      req/upd/avl: 1/1/1      rook-version=v1.10.3
16
rook-ceph-rgw-ccs3-store-a      req/upd/avl: 1/1/1      rook-version=v1.10.3

展开收起

三, Ceph 升级#

注意事项参考

1 修改 ceph 版本#

Terminal window

1
vim cluster.yaml
2
......
3
    image: quay.io/ceph/ceph:v17.2.4-20220930
4
......
5
kubectl apply -f cluster.yaml

2 升级后处理#

会报错Telemetry requires re-opt-in

Terminal window

1
ceph telemetry on --license sharing-1-0
2
ceph telemetry enable channel perf

3 检查#

3.1 查看版本#

Terminal window展开收起

1
kubectl -n rook-ceph get deployments -l rook_cluster=rook-ceph -o jsonpath='{range .items[*]}{.metadata.name}{"  \treq/upd/avl: "}{.spec.replicas}{"/"}{.status.updatedReplicas}{"/"}{.status.readyReplicas}{"  \tceph-version="}{.metadata.labels.ceph-version}{"\n"}{end}'
2

3
rook-ceph-crashcollector-k8s-ceph-100      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
4
rook-ceph-crashcollector-k8s-ceph-136      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
5
rook-ceph-crashcollector-k8s-ceph-142      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
6
rook-ceph-mds-ccfs-a      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
7
rook-ceph-mds-ccfs-b      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
8
rook-ceph-mgr-a      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
9
rook-ceph-mgr-b      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
10
rook-ceph-mon-a      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
11
rook-ceph-mon-c      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
12
rook-ceph-mon-d      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
13
rook-ceph-nfs-cc-nfs-a      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
14
rook-ceph-osd-0      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
15
rook-ceph-osd-1      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
16
rook-ceph-osd-2      req/upd/avl: 1/1/1      ceph-version=17.2.4-0
17
rook-ceph-rgw-ccs3-store-a      req/upd/avl: 1/1/1      ceph-version=17.2.4-0

展开收起

3.2 查看集群状态#

Terminal window展开收起

1
  cluster:
2
    id:     b5b9953a-5f24-498e-8d51-ab377e0e3376
3
    health: HEALTH_OK
4

5
  services:
6
    mon: 3 daemons, quorum a,c,d (age 11m)
7
    mgr: a(active, since 9m), standbys: b
8
    mds: 1/1 daemons up, 1 hot standby
9
    osd: 3 osds: 3 up (since 10m), 3 in (since 6h)
10
    rgw: 1 daemon active (1 hosts, 1 zones)
11

12
  data:
13
    volumes: 1/1 healthy
14
    pools:   12 pools, 305 pgs
15
    objects: 54.36k objects, 207 GiB
16
    usage:   415 GiB used, 185 GiB / 600 GiB avail
17
    pgs:     305 active+clean

展开收起

四, 添加 ceph 节点#

先把节点加入 k8s 集群

1 修改配置文件#

1
vim cluster.yaml
2
    nodes:
3
      - name: "10.1.1.1"
4
        devices:
5
          - name: "sdb"
6
      - name: "10.1.1.2"
7
        devices:
8
          - name: "sdb"
9
      - name: "10.1.1.3"
10
        devices:
11
          - name: "sdb"
12
      - name: "10.1.1.4"
13
        devices:
14
          - name: "sdb"

2 更新配置#

kubectl apply -f cluster.yaml

3 查看节点是否正常#

新加的节点 1T,数据一点一点平衡过来,期间读写性能很差,建议在业务低峰期添加节点,或者参考下面修改 recovery 策略
并且因为前面咱们开启了 pg_autoscaler,因为新加的节点磁盘比较大,所以自动分配的权重比较大.

Terminal window展开收起

1
ceph osd df
2
ID  CLASS  WEIGHT   REWEIGHT  SIZE     RAW USE  DATA     OMAP     META     AVAIL    %USE   VAR   PGS  STATUS
3
 0    hdd  0.19530   1.00000  200 GiB  115 GiB  115 GiB  980 KiB  681 MiB   85 GiB  57.65  2.12  162      up
4
 1    hdd  0.19530   1.00000  200 GiB  120 GiB  119 GiB  954 KiB  995 MiB   80 GiB  60.03  2.21  161      up
5
 2    hdd  0.19530   1.00000  200 GiB  137 GiB  137 GiB  1.1 MiB  664 MiB   63 GiB  68.67  2.53  162      up
6
 3    hdd  1.00000   1.00000    1 TiB   69 GiB   69 GiB      0 B  268 MiB  955 GiB   6.72  0.25  172      up
7
                       TOTAL  1.6 TiB  442 GiB  439 GiB  3.0 MiB  2.5 GiB  1.2 TiB  27.19
8
MIN/MAX VAR: 0.25/2.53  STDDEV: 32.19
9
ceph osd df
10
ID  CLASS  WEIGHT   REWEIGHT  SIZE     RAW USE  DATA     OMAP     META     AVAIL    %USE   VAR   PGS  STATUS
11
 0    hdd  0.19530   1.00000  200 GiB   67 GiB   66 GiB  980 KiB  814 MiB  133 GiB  33.48  1.31  120      up
12
 1    hdd  0.19530   1.00000  200 GiB   74 GiB   73 GiB  954 KiB  1.1 GiB  126 GiB  37.10  1.46  132      up
13
 2    hdd  0.19530   1.00000  200 GiB   69 GiB   68 GiB  1.1 MiB  819 MiB  131 GiB  34.48  1.35  116      up
14
 3    hdd  1.00000   1.00000    1 TiB  203 GiB  203 GiB      0 B  731 MiB  821 GiB  19.86  0.78  289      up
15
                       TOTAL  1.6 TiB  413 GiB  410 GiB  3.0 MiB  3.4 GiB  1.2 TiB  25.46
16
MIN/MAX VAR: 0.78/1.46  STDDEV: 8.84

展开收起

4 修改 recovery 策略#

可以操作以下参数实现速度控制，但是要留意，速度越快对集群性能的影响越大；可以动态的调整参数值，观察 recovery 对集群性能影响情况，找到合适自己的值，即不会对 client 请求造成过大影响的同时保障最优的 recovery 速度。

参数名称	解释
osd_recovery_max_single_start	同时启动多少线程实现 recovery
osd_backfill_retry_interval	osd 在重试回填请求之前等待的秒数（默认 30 秒）
osd_recovery_sleep_hdd	hd 磁盘在恢复过程中的休眠时间
osd_recovery_sleep_ssd	ssd 磁盘在恢复过程中的休眠时间
osd_max_backfills	允许进出 OSD 的最大回填操作数。数字越大，恢复越快。
osd_recovery_max_active	OSD 恢复请求的数量。数字越大，恢复越快。
osd_recovery_op_priority	恢复操作优先级，取值 1-63，值越高占用资源越高，恢复越快。
osd_recovery_priority	同上，恢复操作的优先级，如过不希望影响业务，设置优先级低一些，数字越小，性能影响越小。

4.1 查看现在配置并记录#

Terminal window

1
ceph-osd -i 1 --show-config |  egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
2
osd_max_backfills = 1
3
osd_recovery_max_active = 0
4
osd_recovery_max_active_hdd = 3
5
osd_recovery_max_active_ssd = 10
6
osd_recovery_op_priority = 3

4.2 修改#

Terminal window

1
ceph tell 'osd.*' injectargs --osd-recovery-max-active=1

4.3 还原配置#

数据平衡后还原

Terminal window

1
ceph tell 'osd.*' injectargs --osd-recovery-max-active=3

五, 节点下线维护#

1 暂时关闭 operator#

防止故障转移

Terminal window

1
kubectl -n rook-ceph scale deployment rook-ceph-operator --replicas=0

2 移除故障 osd 数据#

Terminal window展开收起

1
ceph osd set noup
2
ceph osd down 3
3
ceph osd out 3
4
# 等待数据均衡完成
5
ceph -s
6
......
7
  progress:
8
    Global Recovery Event (12m)
9
      [=====================.......] (remaining: 3m)
10
# 查看osd状态
11
ceph osd tree
12
ID  CLASS  WEIGHT   TYPE NAME              STATUS  REWEIGHT  PRI-AFF
13
-1         1.58589  root default
14
-5         0.19530      host k8s-ceph-100
15
 0    hdd  0.19530          osd.0              up   1.00000  1.00000
16
-3         0.19530      host k8s-ceph-136
17
 1    hdd  0.19530          osd.1              up   1.00000  1.00000
18
-7         0.19530      host k8s-ceph-142
19
 2    hdd  0.19530          osd.2              up   1.00000  1.00000
20
-9         1.00000      host k8s-ceph-153
21
 3    hdd  1.00000          osd.3            down         0  1.00000

展开收起

3 移除故障的 osd#

Terminal window

1
ceph osd purge 3 --yes-i-really-mean-it
2
ceph auth del osd.3
3
# 查看osd状态
4
ceph osd tree
5
ID  CLASS  WEIGHT   TYPE NAME              STATUS  REWEIGHT  PRI-AFF
6
-1         0.58589  root default
7
-5         0.19530      host k8s-ceph-100
8
 0    hdd  0.19530          osd.0              up   1.00000  1.00000
9
-3         0.19530      host k8s-ceph-136
10
 1    hdd  0.19530          osd.1              up   1.00000  1.00000
11
-7         0.19530      host k8s-ceph-142
12
 2    hdd  0.19530          osd.2              up   1.00000  1.00000
13
-9               0      host k8s-ceph-153

4 删除节点(可选)#

不建议删除节点,重新加入节点 osd 启动不起来,报 Unable to create a new OSD id

Terminal window

1
ceph osd crush remove k8s-ceph-153
2
removed item id -9 name 'k8s-ceph-153' from crush map
3
# 查看osd状态
4
ceph osd tree
5
ID  CLASS  WEIGHT   TYPE NAME              STATUS  REWEIGHT  PRI-AFF
6
-1         0.58589  root default
7
-5         0.19530      host k8s-ceph-100
8
 0    hdd  0.19530          osd.0              up   1.00000  1.00000
9
-3         0.19530      host k8s-ceph-136
10
 1    hdd  0.19530          osd.1              up   1.00000  1.00000
11
-7         0.19530      host k8s-ceph-142
12
 2    hdd  0.19530          osd.2              up   1.00000  1.00000

4.1 删除配置文件里的节点#

1
vim cluster.yaml
2
    nodes:
3
      - name: "10.1.1.1"
4
        devices:
5
          - name: "sdb"
6
      - name: "10.1.1.2"
7
        devices:
8
          - name: "sdb"
9
      - name: "10.1.1.3"
10
        devices:
11
          - name: "sdb"

4.2 更新配置#

kubectl apply -f cluster.yaml

4.3 移除 pod 和对应的 job#

Terminal window

1
kubectl delete deploy -n rook-ceph rook-ceph-osd-3
2
kubectl delete job -n rook-ceph rook-ceph-osd-prepare-k8s-ceph-153

4.4 查看#

Terminal window

1
kubectl get pod -n rook-ceph |grep osd
2
rook-ceph-osd-0-bf44ccb8-qhlwx                           1/1     Running     1 (78m ago)     22h
3
rook-ceph-osd-1-568fbf7fbd-x7wbv                         1/1     Running     1 (5h26m ago)   4d18h
4
rook-ceph-osd-2-6d5d5b7f8-gvtqj                          1/1     Running     0               23h

5 恢复集群#

Terminal window

1
ceph osd unset noup
2
kubectl -n rook-ceph scale deployment rook-ceph-operator --replicas=1

六, 遇到的问题#

1 daemons have recently crashed#

重启后产生的

Terminal window

1
# 查看状态
2
ceph status
3
# 查看系统中所有的崩溃
4
ceph crash ls
5
# 查看新的崩溃
6
ceph crash ls-new
7
ID                                                                ENTITY  NEW
8
2022-09-23T08:03:43.783384Z_4fce84ae-9947-4c5c-8623-c2e70cf0565f  osd.2    *
9
2022-09-23T08:19:42.357142Z_3417133f-ba77-40cb-9203-b76b2bdca374  osd.2    *
10
# 所有id都要进行操作
11
ceph crash archive 2022-09-23T08:03:43.783384Z_4fce84ae-9947-4c5c-8623-c2e70cf0565f

2 pgs not scrubbed in time#

PG 没有 deep-scrubbed 造成，手动对异常 PG 进行 deep-scrubb 清理就可以了，应该是 OSDs 掉线后，CEPH 自动进行数据恢复。再将相应的 OSDs 重新加入后，则需要将恢复的数据再擦除掉。于是提示相应的警告信息，正在进行删除相关的操作，且其 pgs 的数量会不断变少。等待一段时间后，则恢复正常，此时 ceph 文件系统性能很差。

Terminal window

1
# ceph -s
2
  cluster:
3
    id:     b5b9953a-5f24-498e-8d51-ab377e0e3376
4
    health: HEALTH_WARN
5
            23 pgs not scrubbed in time
6
# ceph health detail
7
# ceph health detail |grep 'since'|awk '{print "ceph pg deep-scrub "$2}'|bash

3 active+clean+remapped#

出现这种情况，一般是做了 osd 的 reweight 操作引起的，这是因为一般在做 reweight 的操作的时候，根据算法，这个上面的 pg 是会尽量分布在这个主机上的，而 crush reweight 不变的情况下，去修改 osd 的 reweight 的时候，可能算法上会出现无法映射的问题。
osd2 的 REWEIGHT 为 0.x, 需要手动调整到 1.0

Terminal window展开收起

1
# ceph -s
2
......
3
  data:
4
    volumes: 1/1 healthy
5
    pools:   12 pools, 209 pgs
6
    objects: 18.66k objects, 69 GiB
7
    usage:   138 GiB used, 462 GiB / 600 GiB avail
8
    pgs:     49/37714 objects misplaced (0.130%)
9
             203 active+clean # 正常
10
             6   active+clean+remapped # 非正常
11
# ceph osd tree
12
ID  CLASS  WEIGHT   TYPE NAME              STATUS  REWEIGHT  PRI-AFF
13
-1         0.58589  root default
14
-5         0.19530      host k8s-ceph-100
15
 0    hdd  0.19530          osd.0              up   1.00000  1.00000
16
-3         0.19530      host k8s-ceph-136
17
 1    hdd  0.19530          osd.1              up   1.00000  1.00000
18
-7         0.19530      host k8s-ceph-142
19
 2    hdd  0.19530          osd.2              up   0.95001  1.00000
20
# ceph osd reweight  2  1.0
21
reweighted osd.2 to 1 (10000)
22
# ceph osd tree
23
ID  CLASS  WEIGHT   TYPE NAME              STATUS  REWEIGHT  PRI-AFF
24
-1         0.58589  root default
25
-5         0.19530      host k8s-ceph-100
26
 0    hdd  0.19530          osd.0              up   1.00000  1.00000
27
-3         0.19530      host k8s-ceph-136
28
 1    hdd  0.19530          osd.1              up   1.00000  1.00000
29
-7         0.19530      host k8s-ceph-142
30
 2    hdd  0.19530          osd.2              up   1.00000  1.00000

展开收起

RookCeph安装

Thu, 22 Sep 2022 17:25:58 GMT

一, 安装#

安装参考文档:

配置参考

1 下载代码#

Terminal window

1
git clone --single-branch --branch v1.10.0 https://github.com/rook/rook.git

2 修改配置文件#

2.1 operator.yaml#

1
# 修改镜像地址
2
  ROOK_CSI_CEPH_IMAGE: "quay.io/cephcsi/cephcsi:v3.6.2"
3
  ROOK_CSI_REGISTRAR_IMAGE: "ccr.ccs.tencentyun.com/ccops/csi-node-driver-registrar:v2.5.1"
4
  ROOK_CSI_RESIZER_IMAGE: "ccr.ccs.tencentyun.com/ccops/csi-resizer:v1.4.0"
5
  ROOK_CSI_PROVISIONER_IMAGE: "ccr.ccs.tencentyun.com/ccops/csi-provisioner:v3.1.1"
6
  ROOK_CSI_SNAPSHOTTER_IMAGE: "ccr.ccs.tencentyun.com/ccops/csi-snapshotter:v6.0.1"
7
  ROOK_CSI_ATTACHER_IMAGE: "ccr.ccs.tencentyun.com/ccops/csi-attacher:v3.4.0"
8
  ROOK_CSI_NFS_IMAGE: "ccr.ccs.tencentyun.com/ccops/nfsplugin:v4.0.0"

2.2 cluster.yaml#

这里只做了简单配置,详细配置参考文档

1
# 添加Ceph配置
2
kind: ConfigMap
3
apiVersion: v1
4
metadata:
5
  name: rook-config-override
6
  namespace: rook-ceph # namespace:cluster
7
data:
8
  config: |
9
    [global]
10
    osd_pool_default_size = 1 # 一般为3或1,测试1,生产为3
11
    mon_warn_on_pool_no_redundancy = false # 关闭强制配置副本
12
    bdev_flock_retry = 20
13
    bluefs_buffered_io = false
14
---
15
# 监控配置, 安装监控后启用,要不然报错
16
  monitoring:
17
    enabled: false
18
# 开启
19
  mgr:
20
    count: 2
21
    allowMultiplePerNode: false
22
    modules:
23
      - name: pg_autoscaler
24
        enabled: true
25
# 配置 dashboard
26
  dashboard:
27
    enabled: true
28
    port: 8080 # 指定端口
29
    ssl: false # 关闭https
30
# 开启host network, 注意端口占用
31
    provider: host
32
# 配置存储
33
    nodes:
34
      - name: "10.1.1.1"
35
        devices:
36
          - name: "sdb"
37
      - name: "10.1.1.2"
38
        devices:
39
          - name: "sdb"
40
      - name: "10.1.1.3"
41
        devices:
42
          - name: "sdb"
43
# 配置调度节点(需提前打好标签)
44
  placement:
45
    mgr:
46
      nodeAffinity:
47
        requiredDuringSchedulingIgnoredDuringExecution:
48
          nodeSelectorTerms:
49
          - matchExpressions:
50
            - key: role
51
              operator: In
52
              values:
53
              - rook-mgr-node
54
    osd:
55
      nodeAffinity:
56
        requiredDuringSchedulingIgnoredDuringExecution:
57
          nodeSelectorTerms:
58
          - matchExpressions:
59
            - key: role
60
              operator: In
61
              values:
62
              - rook-osd-node

展开收起

3 部署#

3.1 rook-operator#

Terminal window

1
# cd rook-1.9.10/deploy/examples
2
# kubectl create -f crds.yaml -f common.yaml -f operator.yaml
3
# kubectl -n rook-ceph get pod
4
NAME                                                     READY   STATUS      RESTARTS   AGE
5
rook-ceph-operator-6497755589-vs5rt                      1/1     Running     0          2d23h### CephCluster

3.2 监控#

参考
因为我们有自己的 Prometheus Operator, 而 rook ceph 也有 Operator 不能共存,所以无法集成到自己的 Prometheus , 采用 root ceph 单独部署 Prometheus 方案

3.3 部署 Prometheus#

Terminal window

1
wget https://raw.githubusercontent.com/coreos/prometheus-operator/v0.40.0/bundle.yaml
2
# 修改
3
subjects:
4
- kind: ServiceAccount
5
  name: prometheus-operator
6
  namespace: kube-system # 要部署的命名空间,这个很重要,默认default

Terminal window

1
cd rook/deploy/examples/monitoring
2
kubectl create -f service-monitor.yaml
3
kubectl create -f prometheus.yaml
4
kubectl create -f prometheus-service.yaml

3.3.1 配置 Grafana#

模板地址,全都加上,监控不怕多

3.3.1.1 安装插件#

Terminal window

1
grafana-cli plugins install grafana-piechart-panel
2
grafana-cli plugins install vonage-status-panel

3.3.1.2 配置 Grafana#

defaults.ini,grafana.ini 都要修改

1
[alerting]
2
execute_alerts = true
3
allow_embedding = true
4

5
[auth.anonymous]
6
enabled = true
7
org_name = Main Org.
8
org_role = Viewer

3.3.1.3 配置数据源#

名字不要修改

3.3.2 Dashboard 集成 Grafana#

Terminal window

1
kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash
2
# grafana url: https://xx.com:3000/
3
ceph dashboard set-grafana-api-url ${grafana url}
4
# 允许自签名证书
5
ceph dashboard set-grafana-api-ssl-verify False

3.3.3 查看#

这部是后面操作完查看的

3.4 CephCluster#

以下 pod 为正常

Terminal window展开收起

1
# kubectl create -f cluster.yaml
2
# kubectl -n rook-ceph get pod
3
NAME                                                     READY   STATUS      RESTARTS   AGE
4
csi-cephfsplugin-7tqw8                                   2/2     Running     0          2d23h
5
csi-cephfsplugin-k22lg                                   2/2     Running     0          2d23h
6
csi-cephfsplugin-m2crv                                   2/2     Running     0          2d23h
7
csi-cephfsplugin-provisioner-5dbbcdf76-99tx5             5/5     Running     0          2d23h
8
csi-cephfsplugin-provisioner-5dbbcdf76-bqmz9             5/5     Running     0          2d23h
9
csi-rbdplugin-bdlwq                                      2/2     Running     0          2d23h
10
csi-rbdplugin-dsk5w                                      2/2     Running     0          2d23h
11
csi-rbdplugin-provisioner-7c5c5b699-9bzcq                5/5     Running     0          2d23h
12
csi-rbdplugin-provisioner-7c5c5b699-jwsm9                5/5     Running     0          2d23h
13
csi-rbdplugin-tljkh                                      2/2     Running     0          2d23h
14
rook-ceph-crashcollector-k8s-ceph-100-6b966fbfdd-hq2cf   1/1     Running     0          2d23h
15
rook-ceph-crashcollector-k8s-ceph-136-6b76f4c697-trxlf   1/1     Running     0          2d23h
16
rook-ceph-crashcollector-k8s-ceph-142-696bcc5974-8tvjf   1/1     Running     0          2d23h
17
rook-ceph-mgr-a-7cd79f499c-lqfgc                         2/2     Running     0          2d17h
18
rook-ceph-mgr-b-5b5746f69f-wfd22                         2/2     Running     0          2d17h
19
rook-ceph-mon-a-845779bff7-bz8gz                         1/1     Running     0          2d23h
20
rook-ceph-mon-b-54dbc6c98d-m7psh                         1/1     Running     0          2d23h
21
rook-ceph-mon-c-b7bcb5764-cjhvc                          1/1     Running     0          2d23h
22
rook-ceph-operator-6497755589-vs5rt                      1/1     Running     0          2d23h
23
rook-ceph-osd-0-5c69ff6cb4-g428b                         1/1     Running     0          2d23h
24
rook-ceph-osd-1-ff44fddf7-pczt4                          1/1     Running     0          2d23h
25
rook-ceph-osd-2-5868fd8dbd-jq4d4                         1/1     Running     0          2d23h
26
rook-ceph-osd-prepare-k8s-ceph-100-kqtg8                 0/1     Completed   0          2d19h
27
rook-ceph-osd-prepare-k8s-ceph-136-2w9lh                 0/1     Completed   0          2d19h
28
rook-ceph-osd-prepare-k8s-ceph-142-8ljp5                 0/1     Completed   0          2d19h
29
rook-ceph-tools-556cf9bd64-2h5kr                         1/1     Running     0          2d23h

展开收起

3.5 查看详情#

Terminal window

1
kubectl describe CephCluster -n rook-ceph rook-ceph

4 工具#

Terminal window展开收起

1
kubectl create -f toolbox.yaml
2
kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash
3
ceph status
4
  cluster:
5
    id:     6aa56874-3c30-4c29-abd2-5e4a1363f03c
6
    health: HEALTH_OK
7

8
  services:
9
    mon: 3 daemons, quorum a,b,c (age 2d)
10
    mgr: a(active, since 2d), standbys: b
11
    osd: 3 osds: 3 up (since 2d), 3 in (since 2d)
12

13
  data:
14
    pools:   3 pools, 65 pgs
15
    objects: 17 objects, 86 B
16
    usage:   80 MiB used, 600 GiB / 600 GiB avail
17
    pgs:     65 active+clean

展开收起

5 dashboard#

Terminal window

1
# ls dashboard-*
2
dashboard-external-https.yaml  dashboard-external-http.yaml  dashboard-ingress-https.yaml  dashboard-loadbalancer.yaml
3
# 根据需求选择,这里用 dashboard-external-http.yaml,注意修改端口,我改成8080了
4
# kubectl apply -f dashboard-external-http.yaml
5
# kubectl -n rook-ceph get svc
6
NAME                                     TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
7
rook-ceph-mgr                            ClusterIP   10.43.145.9     <none>        9283/TCP         2d23h
8
rook-ceph-mgr-dashboard                  ClusterIP   10.43.137.127   <none>        7000/TCP         2d17h
9
rook-ceph-mgr-dashboard-external-http    NodePort    10.43.249.105   <none>        7000:32041/TCP   2d19h

5.1 访问#

用户名 admin 密码: kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 --decode && echo

二, 使用#

1 块存储: RBD#

1.1 创建 pool#

1
apiVersion: ceph.rook.io/v1
2
kind: CephBlockPool
3
metadata:
4
  name: ccpool
5
  namespace: rook-ceph # namespace:cluster
6
spec:
7
  enableRBDStats: true
8
  failureDomain: osd
9
  replicated:
10
    size: 3 # 三个副本,后面测试高可用需要
11
# kubectl apply -f pool.yaml
12
# kubectl get CephBlockPool -n rook-ceph
13
NAME     PHASE
14
ccpool   Ready

1.2 查看#

Terminal window

1
# kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash
2
[rook@rook-ceph-tools-556cf9bd64-2h5kr /]$ ceph df
3
--- RAW STORAGE ---
4
CLASS     SIZE    AVAIL    USED  RAW USED  %RAW USED
5
hdd    600 GiB  600 GiB  82 MiB    82 MiB       0.01
6
TOTAL  600 GiB  600 GiB  82 MiB    82 MiB       0.01
7

8
--- POOLS ---
9
POOL                   ID  PGS  STORED  OBJECTS    USED  %USED  MAX AVAIL
10
ccpool                  6   32    19 B        1   4 KiB      0    570 GiB

1.3 外部集群使用#

CSI 部署与快照的使用参考:

如何在 Kubernetes 里使用 cephrbd 作为存储

1
apiVersion: v1
2
kind: Secret
3
metadata:
4
  name: csi-rbd-secret
5
  namespace: kube-system
6
stringData:
7
  userID: admin
8
  userKey: AQA3exFjJIhtBBAAujNu5Xvc4o4DH7vY7JO9lg==
9
---
10
apiVersion: storage.k8s.io/v1
11
kind: StorageClass
12
metadata:
13
   name: csi-rbd-sc
14
provisioner: rbd.csi.ceph.com
15
parameters:
16
   clusterID: 6aa56874-3c30-4c29-abd2-5e4a1363f03c
17
   pool: ccpool
18
   imageFeatures: layering
19
   csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
20
   csi.storage.k8s.io/provisioner-secret-namespace: kube-system
21
   csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
22
   csi.storage.k8s.io/controller-expand-secret-namespace: kube-system
23
   csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
24
   csi.storage.k8s.io/node-stage-secret-namespace: kube-system
25
   csi.storage.k8s.io/fstype: ext4
26
reclaimPolicy: Delete
27
volumeBindingMode: Immediate
28
allowVolumeExpansion: true
29
mountOptions:
30
   - discard

展开收起

Terminal window展开收起

1
# cat pvc.yaml
2
apiVersion: v1
3
kind: PersistentVolumeClaim
4
metadata:
5
  name: rbd-pvc
6
spec:
7
  accessModes:
8
    - ReadWriteOnce
9
  resources:
10
    requests:
11
      storage: 1Gi
12
  storageClassName: csi-rbd-sc
13
# kubectl apply -f pvc.yaml
14
persistentvolumeclaim/rbd-pvc created
15
# kubectl get pvc
16
NAME                     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
17
rbd-pvc                  Bound    pvc-5b72e56c-8f06-47dc-a00e-4a67b0c1fbd0   1Gi        RWO            csi-rbd-sc                    11s

展开收起

1.4 服务端查看#

Terminal window

1
# rbd ls -p ccpool
2
csi-vol-d6ff6220-2cc8-11ed-a287-0a7be4a0ba4b

1.5 手动挂载测试#

Terminal window

1
rbd feature disable ccpool/csi-vol-d6ff6220-2cc8-11ed-a287-0a7be4a0ba4b object-map fast-diff deep-flatten

2 文件存储: CephFS#

2.1 创建 pool#

1
apiVersion: ceph.rook.io/v1
2
kind: CephFilesystem
3
metadata:
4
  name: ccfs
5
  namespace: rook-ceph
6
spec:
7
  metadataPool: # 3副本元数据池
8
    replicated:
9
      size: 3
10
  dataPools: # 3副本复制池
11
    - name: replicated
12
      replicated:
13
        size: 3
14
  preserveFilesystemOnDelete: true
15
  metadataServer:
16
    activeCount: 1
17
    activeStandby: true

展开收起

2.2 查看#

Terminal window展开收起

1
# kubectl get CephFilesystem -n rook-ceph
2
NAME   ACTIVEMDS   AGE   PHASE
3
ccfs   1           62s   Ready
4
# ceph df
5
--- RAW STORAGE ---
6
CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
7
hdd    600 GiB  600 GiB  162 MiB   162 MiB       0.03
8
TOTAL  600 GiB  600 GiB  162 MiB   162 MiB       0.03
9

10
--- POOLS ---
11
POOL                   ID  PGS  STORED  OBJECTS     USED  %USED  MAX AVAIL
12
ccfs-metadata           7   32  90 KiB       24  372 KiB      0    190 GiB
13
ccfs-replicated         8   32     0 B        0      0 B      0    190 GiB
14

15
# 查看信息
16
ceph fs ls
17
name: ccfs, metadata pool: ccfs-metadata, data pools: [ccfs-replicated ]
18
# 详细信息
19
ceph fs dump
20
e8
21
enable_multiple, ever_enabled_multiple: 1,1
22
default compat: compat={},rocompat={},incompat={1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag i
23
s stored in omap,8=no anchor table,9=file layout v2,10=snaprealm v2}
24
legacy client fscid: 1
25

26
Filesystem 'ccfs' (1)
27
fs_nameccfs
28
epoch8
29
flags32 joinable allow_snaps allow_multimds_snaps allow_standby_replay
30
created2023-06-09T05:37:28.081181+0000
31
modified2023-06-09T05:37:30.036108+0000
32
tableserver0
33
root0
34
session_timeout60
35
session_autoclose300
36
max_file_size1099511627776
37
required_client_features{}
38
last_failure0
39
last_failure_osd_epoch0
40
compatcompat={},rocompat={},incompat={1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag is stored
41
 in omap,7=mds uses inline data,8=no anchor table,9=file layout v2,10=snaprealm v2}
42
max_mds1
43
in0
44
up{0=15684943}
45
failed
46
damaged
47
stopped
48
data_pools[5]
49
metadata_pool4
50
inline_datadisabled
51
balancer
52
standby_count_wanted1

展开收起

2.3 外部集群使用#

CSI 部署参考:

如何在 Kubernetes 里使用 cephfs 作为存储

1
apiVersion: v1
2
kind: Secret
3
metadata:
4
  name: csi-cephfs-secret
5
  namespace: cephfs
6
stringData:
7
  adminID: admin
8
  adminKey: AQA3exFjJIhtBBAAujNu5Xvc4o4DH7vY7JO9lg==
9
---
10
apiVersion: storage.k8s.io/v1
11
kind: StorageClass
12
metadata:
13
   name: csi-cephfs-sc
14
provisioner: cephfs.csi.ceph.com
15
parameters:
16
    # ceph 集群的clusterID
17
   clusterID: 6aa56874-3c30-4c29-abd2-5e4a1363f03c
18
    # ceph 用来对接K8S的pool
19
   pool: ccfs-replicated
20
    # ceph 对接K8S的文件系统
21
   fsName: ccfs # 上面的name
22
   csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret
23
   csi.storage.k8s.io/provisioner-secret-namespace: cephfs
24
   csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret
25
   csi.storage.k8s.io/controller-expand-secret-namespace: cephfs
26
   csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret
27
   csi.storage.k8s.io/node-stage-secret-namespace: cephfs
28
reclaimPolicy: Delete
29
mountOptions:
30
   - discard

展开收起

1
apiVersion: v1
2
kind: PersistentVolumeClaim
3
metadata:
4
  name: csi-cephfs-pvc
5
spec:
6
  accessModes:
7
    - ReadWriteOnce
8
  resources:
9
    requests:
10
      storage: 1M
11
  storageClassName: csi-cephfs-sc

1
apiVersion: v1
2
kind: PersistentVolumeClaim
3
metadata:
4
  name: csi-cephfs-pvc
5
spec:
6
  accessModes:
7
    - ReadWriteOnce
8
  resources:
9
    requests:
10
      storage: 1M
11
  storageClassName: csi-cephfs-sc
12

13
# kubectl get pvc
14
NAME             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS    AGE
15
csi-cephfs-pvc   Bound    pvc-4c5eebcf-a9d6-4ea8-8251-ea0f41b8aad3   1Mi        RWO            csi-cephfs-sc   1s

展开收起

2.4 服务端查看#

2.5 手动挂载测试#

Terminal window

1
# mount -t ceph 10.1.1.1:6789,10.1.1.2:6789,10.1.1.3:6789:/volumes/csi -o name=admin,secret=xxxxxx9iMd3rnzJQHaMLkw== /tmp/test
2
# cd /tmp/test2/
3
# ls
4
csi-vol-0715c282-2ce5-11ed-97df-ea43b6d16965

3 对象存储: S3#

注意节点标签

3.1 创建 zone#

1
apiVersion: ceph.rook.io/v1
2
kind: CephObjectRealm
3
metadata:
4
  name: realm-cc
5
  namespace: rook-ceph # namespace:cluster
6
---
7
apiVersion: ceph.rook.io/v1
8
kind: CephObjectZoneGroup
9
metadata:
10
  name: zonegroup-cc
11
  namespace: rook-ceph # namespace:cluster
12
spec:
13
  realm: realm-cc
14
---
15
apiVersion: ceph.rook.io/v1
16
kind: CephObjectZone
17
metadata:
18
  name: zone-cc
19
  namespace: rook-ceph # namespace:cluster
20
spec:
21
  zoneGroup: zonegroup-cc
22
  metadataPool:
23
    failureDomain: host
24
    replicated:
25
      size: 3
26
      requireSafeReplicaSize: true
27
  dataPool:
28
    failureDomain: host
29
    replicated:
30
      size: 3
31
      requireSafeReplicaSize: true
32
    parameters:
33
      compression_mode: nones
34
      compression_mode: none

展开收起

3.2 创建 pool#

1
apiVersion: ceph.rook.io/v1
2
kind: CephObjectStore
3
metadata:
4
  name: ccs3-store
5
  namespace: rook-ceph
6
spec:
7
  metadataPool:
8
    failureDomain: host
9
    replicated:
10
      size: 3
11
  dataPool:
12
    failureDomain: host
13
    erasureCoded:
14
      dataChunks: 2
15
      codingChunks: 1
16
  preservePoolsOnDelete: true
17
  gateway:
18
    port: 888 # 暴露端口
19
    hostNetwork: true # 主机网络
20
    instances: 1 # 节点数
21
    annotations:
22
    placement: # 亲和性
23
      nodeAffinity:
24
        requiredDuringSchedulingIgnoredDuringExecution:
25
          nodeSelectorTerms:
26
          - matchExpressions:
27
            - key: role
28
              operator: In
29
              values:
30
              - rgw-node
31
    #  tolerations:
32
    #  - key: rgw-node
33
    #    operator: Exists
34
    #  podAffinity:
35
    #  podAntiAffinity:
36
    #  topologySpreadConstraints:
37
    resources:
38
      limits:
39
        cpu: "500m"
40
        memory: "1024Mi"
41
      requests:
42
        cpu: "500m"
43
        memory: "1024Mi"
44
  zone:
45
    name: zone-cc

展开收起

3.3 账户#

1
apiVersion: ceph.rook.io/v1
2
kind: CephObjectStoreUser
3
metadata:
4
  name: cc-user # 用户名称
5
  namespace: rook-ceph
6
spec:
7
  store: ccs3-store # 与对象库 CRD 的名称匹配
8
  displayName: cc-display-name # 显示名称
9
  quotas:
10
    maxBuckets: 100 # 最大存储桶限制
11
    maxSize: 10G # 大小
12
    maxObjects: 10000 # 桶中的最大对象数
13
  capabilities:
14
    user: "*"
15
    bucket: "*"

展开收起

3.4 查看#

Terminal window展开收起

1
# kubectl get CephObjectZone -A
2
NAMESPACE   NAME      PHASE
3
rook-ceph   zone-cc   Ready
4
# kubectl get CephObjectStore -A
5
NAMESPACE   NAME         PHASE
6
rook-ceph   ccs3-store   Connected
7
# kubectl get cephobjectstoreuser -A
8
NAMESPACE   NAME      PHASE
9
rook-ceph   cc-user   Ready
10
# kubectl -n rook-ceph get secret |grep ccs3-store-cc-user
11
# 如果没有说明上面账户有问题
12
rook-ceph-object-user-ccs3-store-cc-user   kubernetes.io/rook   3      4m55s
13
# 上部查到的结果
14
# AccessKey
15
kubectl -n rook-ceph get secret rook-ceph-object-user-ccs3-store-cc-user -o jsonpath='{.data.AccessKey}' | base64 --decode
16
# SecretKey
17
kubectl -n rook-ceph get secret rook-ceph-object-user-ccs3-store-cc-user -o jsonpath='{.data.SecretKey}' | base64 --decode

展开收起

3.5 外部集群使用#

CSI 部署参考:

如何在 Kubernetes 里使用 Minio 作为存储

1
apiVersion: v1
2
kind: Secret
3
metadata:
4
  namespace: minio
5
  name: csi-s3-secret
6
stringData:
7
  accessKeyID: "CXJ2R8NNGQE6A2Y9BQXB"
8
  secretAccessKey: "oPcVD6XOVtBmhy6WxeAEZAwlRdt44Pv1C7YpyBDL"
9
  endpoint: http://10.1.1.1:888 # 因为用的主机网络,节点加端口就行

3.5.1 查看#

Terminal window

1
kubectl get pvc
2
NAME             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS    AGE
3
csi-s3-pvc       Bound    pvc-e2c83416-0c15-4a6f-88ea-8352f4ab77fc   5Gi        RWO            csi-s3          4m1s

服务端已经有以 pv 名字的 bucket,也就是说这个账户只能创建 100 个 pvc

3.6 手动创建测试#

3.6.1 创建 backup#

1
apiVersion: storage.k8s.io/v1
2
kind: StorageClass
3
metadata:
4
   name: rook-ceph-bucket
5
provisioner: rook-ceph.ceph.rook.io/bucket
6
reclaimPolicy: Delete
7
parameters:
8
  objectStoreName: ccs3-store # 与对象库 CRD 的名称匹配
9
  objectStoreNamespace: rook-ceph
10
---
11
apiVersion: objectbucket.io/v1alpha1
12
kind: ObjectBucketClaim
13
metadata:
14
  name: ceph-bucket
15
spec:
16
  generateBucketName: ceph-bkt
17
  storageClassName: rook-ceph-bucket

展开收起

3.6.2 查看#

-o yaml 可以查看状态,如果 configmap 没有自动创建一般是 Pending 了

Terminal window

1
# kubectl get ObjectBucketClaim
2
NAME          AGE
3
cc-bucket     48s
4

5
# bucket 名字
6
kubectl -n default get cm cc-bucket -o jsonpath='{.data.BUCKET_NAME}'
7
# AccessKey
8
kubectl -n default get secret cc-bucket -o jsonpath='{.data.AWS_ACCESS_KEY_ID}' | base64 --decode
9
# SecretKey
10
kubectl -n default get secret cc-bucket -o jsonpath='{.data.SECRET_ACCESS_KEY}' | base64 --decode

3.6.3 访问测试#

4 NFS#

注意节点标签

4.1 创建 pool#

1
apiVersion: ceph.rook.io/v1
2
kind: CephNFS
3
metadata:
4
  name: cc-nfs
5
  namespace: rook-ceph
6
spec:
7
  server:
8
    active: 1 # 多个节点并不高可用
9
    placement: # 亲和性
10
      nodeAffinity:
11
        requiredDuringSchedulingIgnoredDuringExecution:
12
          nodeSelectorTerms:
13
          - matchExpressions:
14
            - key: role
15
              operator: In
16
              values:
17
              - nfs-node
18
      topologySpreadConstraints:
19
      tolerations:
20
      - key: nfs-node
21
        operator: Exists
22
      podAffinity:
23
      podAntiAffinity:
24
    annotations:
25
      cc-annotation: something
26
    labels:
27
      cc-label: something
28
    resources:
29
      limits:
30
        cpu: "2"
31
        memory: "4Gi"
32
      requests:
33
        cpu: "2"
34
        memory: "4Gi"
35
    priorityClassName: ""
36
    logLevel: NIV_INFO # 日志级别
37
---
38
apiVersion: ceph.rook.io/v1
39
kind: CephBlockPool
40
metadata:
41
  name: cc-nfs
42
  namespace: rook-ceph # namespace:cluster
43
spec:
44
  name: .nfs
45
  failureDomain: osd
46
  replicated:
47
    size: 1
48
    requireSafeReplicaSize: false

展开收起

4.2 对外暴露#

1
apiVersion: v1
2
kind: Service
3
metadata:
4
  name: rook-ceph-nfs-my-nfs-load-balancer
5
  namespace: rook-ceph
6
spec:
7
  ports:
8
    - name: nfs
9
      port: 2049
10
  externalIPs:
11
  - 10.1.1.2 # 节点ip
12
  type: ClusterIP
13
  selector:
14
    app: rook-ceph-nfs
15
    ceph_nfs: cc-nfs
16
    instance: a

展开收起

4.3 启用 Ceph 协调程序#

Terminal window

1
ceph mgr module enable rook
2
ceph mgr module enable nfs
3
ceph orch set backend rook

4.4 手动创建目录#

Terminal window

1
# ceph nfs export create cephfs cc-nfs /test ccfs
2
{
3
    "bind": "/test",
4
    "fs": "ccfs",
5
    "path": "/",
6
    "cluster": "cc-nfs",
7
    "mode": "RW"
8
}
9
# ceph nfs export ls cc-nfs
10
[
11
  "/test"
12
]

4.4.1 关闭 Ceph 协调程序#

Terminal window

1
ceph orch set backend ""
2
ceph mgr module disable rook

4.5 查看#

仅支持通过 TCP 的 V4 版本 NFS 协议

Terminal window展开收起

1
ceph nfs export info cc-nfs /test
2
{
3
  "export_id": 1,
4
  "path": "/",
5
  "cluster_id": "cc-nfs",
6
  "pseudo": "/test",
7
  "access_type": "RW",
8
  "squash": "none",
9
  "security_label": true,
10
  "protocols": [
11
    4
12
  ],
13
  "transports": [
14
    "TCP"
15
  ],
16
  "fsal": {
17
    "name": "CEPH",
18
    "user_id": "nfs.cc-nfs.1",
19
    "fs_name": "ccfs"
20
  },
21
  "clients": []
22
}

展开收起

4.6 外部集群使用#

CSI 部署参考:

如何在 Kubernetes 里使用 NFS 作为存储

1
......
2
    spec:
3
      serviceAccountName: nfs-client-provisioner
4
      containers:
5
        - name: nfs-client-provisioner
6
          image: willdockerhub/nfs-subdir-external-provisioner:v4.0.2
7
          volumeMounts:
8
            - name: nfs-client-root
9
              mountPath: /persistentvolumes
10
          env:
11
            - name: PROVISIONER_NAME
12
              value: k8s-sigs.io/nfs-subdir-external-provisioner
13
            - name: NFS_SERVER
14
              value: 10.1.148.142 # 刚才对外暴露地址
15
            - name: NFS_PATH
16
              value: /test
17
      volumes:
18
        - name: nfs-client-root
19
          nfs:
20
            server: 10.1.148.142 # 刚才对外暴露地址
21
            path: /test # 刚才创建的路径

展开收起

4.6.1 查看#

4.6.1.1 pvc#

Terminal window

1
kubectl get pvc nfs-pvc
2
NAME      STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
3
nfs-pvc   Bound    pvc-1d2b8446-974e-4fff-9e85-387fecd7c564   1Mi        RWX            nfs-client     5s

4.6.1.2 服务端#

Terminal window

1
# cd /tmp/test2/
2
# ll
3
total 1
4
drwxrwxrwx 2 nobody nobody   0 Sep  6 13:22 default-nfs-pvc-pvc-1d2b8446-974e-4fff-9e85-387fecd7c564
5
drwxr-xr-x 4 nobody nobody 158 Sep  5 14:36 volumes

4.7 手动挂载测试#

Terminal window

1
# mount -t nfs 10.1.148.142:/test /tmp/test/
2
# df -h |grep 142
3
10.1.148.142:/test     190G     0  190G   0% /tmp/test

三, 总结#

此文章简单演示了通过 rook 部署 ceph 集群与管理
并且如何使用块存储,文件存储,对象存储,NFS
以及外部集群使用此集群存储

1 整体查看下 pod 挂载#

Terminal window

1
# kubectl get pod
2
NAME         READY   STATUS    RESTARTS   AGE
3
cephfs-pod   1/1     Running   0          22h
4
nfs-pod      1/1     Running   0          3m6s
5
rbd-pod      1/1     Running   0          23h
6
s3-pod       1/1     Running   0          12m

记录kubelet问题

Thu, 25 Aug 2022 12:25:58 GMT

记录遇到的问题,后面会一点点补充

Kubernetes使用到的端口

服务名	备注	需要的端口
kube-scheduler	调度服务	10251 tcp
etcd	2379端口API 服务，2380端口peer 通信	2379，2380 tcp
kube-controller-manager	容器管理	10252 tcp
kube-apiserver	apiserver	443 tcp 此端口随配置而变化
calico-typha	管理calico	5437 tcp
kubelet	认证API	10250 tcp
bird bgp通信		179 tcp
kube-proxy	10249：对外提供 /metrics; 10256：对外提供 /healthz 的访问。	10249，10256 tcp
calico-node	网络接口管理和监听、路由、ARP 管理、ACL 管理和同步、状态上报	9099 tcp
vxlan	vxlan协议端口	4789 udp

一, kubelet#

1 查看节点状态 NotReady#

1.1 PLEG is not healthy#

1.1.1 查看节点信息#

在使用top命令检查系统负载的时候，可以看到Load averages字段，但是这个字段并不是表示 CPU 的繁忙程度，而是度量系统整体负载。系统有很高的负载但是 CPU 使用率却很低，或者负载很低而 CPU 利用率很高，这两者没有直接关系.

pod 数量不算多 70 左右
cpu 使用率不到百分之 20
内存使用率不到百分之 50
top 查看 load 一直持续在 200 以上

1.1.2 检测运行队列中的进程#

1
cat init.sh
2
#!/bin/bash
3
LANG=C
4
PATH=/sbin:/usr/sbin:/bin:/usr/bin
5
interval=1
6
length=86400
7
for i in $(seq 1 $(expr ${length} / ${interval}));do
8
date
9
LANG=C ps -eTo stat,pid,tid,ppid,comm --no-header | sed -e 's/^ \*//' | perl -nE 'chomp;say if (m!^\S*[RD]+\S*!)'
10
date
11
cat /proc/loadavg
12
echo -e "\n"
13
sleep ${interval}
14
done

发现有大量的 mount.nfs 命令处于 D 状态, 估计这是造成 load 上伤的元凶,
D 代表不可中断的睡眼进程

Terminal window展开收起

1
.....
2
D    176108 176108 176107 mount.nfs
3
D    179927 179927 179926 mount.nfs
4
D    182432 182432 182431 mount.nfs
5
D    182884 182884 182883 mount.nfs
6
D    183495 183495 183494 mount.nfs
7
D    185283 185283 185282 mount.nfs
8
D    188423 188423 188422 mount.nfs
9
D    189740 189740 189739 mount.nfs
10
D    191333 191333 191332 mount.nfs
11
D    193889 193889 193888 mount.nfs
12
D    196476 196476 196475 mount.nfs
13
D    197029 197029 197028 mount.nfs
14
D    200640 200640 200639 mount.nfs
15
D    200841 200841 200840 mount.nfs
16
D    200992 200992 200991 mount.nfs
17
D    205285 205285 205282 mount.nfs
18
D    209356 209356 209355 mount.nfs
19
D    210161 210161 210160 mount.nfs
20
.....

展开收起

1.1.3 查看前 20 使用 CPU 比较高的进程#

如果发现 CPU 使用率过高使用此命令

Terminal window

1
 ps -eT -o%cpu,pid,tid,ppid,comm | grep -v CPU | sort -n -r | head -20

1.1.4 查看前 20 使用内存比较高的进程#

如果发现内存使用率过高使用此命令

Terminal window

1
ps -eT -o%mem,pid,tid,ppid,comm  | sort -n -r | head -20

1.1.5 查看有问题的进程#

Terminal window

1
root       210161 210161  0 Aug23 ?        00:00:00 /sbin/mount.nfs 10.1.1.1:/pvc_ad704803_221b_4b54_9b27_c4dc3f8cd3b2/ /data/kubelet/pods/ebc34128-274e-4949-832f-c6c374c95899/volumes/kubernetes.io~csi/pvc-ad7
2
04803-221b-4b54-9b27-c4dc3f8cd3b2/mount -o rw

1.1.6 测试 nfs 地址#

showmount 这个 nfs 服务地址发现直接卡死,所以导致这些进程睡眠

Terminal window

1
showmount 10.1.1.1

1.1.7 关闭异常进程#

Terminal window

1
kill -9 `sh init.sh | grep ^D |awk '{print $2}'`

1.1.8 查看 load#

已经恢复正常,并且查看节点状态不会出现 PLEG

Terminal window

1
uptime
2
 15:26:01 up 65 days, 45 min,  1 user,  load average: 0.17, 2.17, 51.33

2 pod 一直 ContainerCreating 状态#

2.1 查看 pod 事件#

Terminal window

1
kubectl get pod -A -o wide | grep 32.220
2
monitoring          node-exporter-ltw97                0/1     Pending

注意: 只有调度到某个节点事件,后续没任何事件

Terminal window

1
kubectl describe pod -n monitoring
2
Events:
3
  Type    Reason     Age    From               Message
4
  ----    ------     ----   ----               -------
5
  Normal  Scheduled  2m59s  default-scheduler  Successfully assigned monitoring/node-exporter-ltw97 to k8snode-2

2.2 查看节点#

节点状态在这里也是好的

Terminal window

1
kubectl describe node k8snode-2

2.3 查看 kubelet 日志#

到对应节点查询这个 pod 日志

可以看到其中有一个错误是”Error deleting pod from network”

Terminal window

1
cat kubelet.ERROR |grep node-exporter-ltw97
2
E1122 13:35:18.295578  275102 cni.go:380] "Error deleting pod from network" err="error getting ClusterInformation: Get https://[172.123.0.1]:443/apis/crd.projectcalico.org/v1/clusterinformat
3
ions/default: dial tcp 172.123.0.1:443: i/o timeout" pod="monitoring/monitoring-collect-zk56k" podSandboxID={Type:docker ID:46fc59b379bd146d53540a98399dd25d7d0e09e02370c021d70060e633cb71de}
4
podNetnsPath="" networkType="calico" networkName="k8s-pod-network"

2.4 检测此节点 cni#

这里我们用的 calico,并且可以看到 pod 异常,这是导致上面 pod 分配不了网络的直接原因

Terminal window

1
get pod -n kube-system -o wide | grep 32.220
2
kube-system      calico-node-8c9sz                          0/1     CrashLoopBackOff

2.5 查看 calico-node 日志#

看到这里又有新的报错,网上搜的都是账号权限不对,我又尝试 logs 别的节点的 pod 发现没任何问题,说明跟 Role 没关系这里说明 kubelet 连接 api 有问题
扩展下 logs 流程:

kubectl 发起 logs 请求到 apiserver

kubelet watch apiserver 发现有人要看我这个 pod 日志 (这里 kubelet 访问 api 有问题所有就看不了日志了,但是为什么报权限问题我也很迷)

kubelet 处理 logs 请求，实际上是将请求转发给 CRI，CRI 将会启动一个临时的 streaming server 服务，后续 apiserver 的信息获取是与 streaming server 进行交互。

Terminal window

1
kubectl logs -n kube-system      calico-node-8c9sz
2
Error from server (InternalError): Internal error occurred: Authorization error (user=kubernetes, verb=get, resource=nodes, subresource=proxy)

2.6 继续查看 kubelet 日志,尝试搜索 api 相关日志#

可以看到这条日志解析有问题,10.1.1.1 找不到这条 dns 解析这里说下架构,我们是一个 SLB 负载后端三台 master,然后 dns 解析这个 SLB 地址

Terminal window

1
cat kubelet.ERROR |grep api
2
Service: Get "https://api-k8s.test.cc:6443/api/v1/services?limit=500&resourceVersion=0": dial tcp: lookup api-k8s.test.cc on 10.1.1.1:53: no such host

2.6.1 尝试添加 hosts#

Terminal window

1
cat /etc/hosts
2
...
3
10.251.66.185 api-k8s.test.cc

2.6.2 重启后 pod 创建正常#

Terminal window

1
kubectl get pod -A -o wide | grep 32.220
2
kube-system      calico-node-8c9sz                          1/1     Running
3
monitoring       node-exporter-ltw97                        2/2     Running

这个问题挺不好排查,节点没 NoReady,pod 调度上去就是没任何事件,logs 会提示没权限

2.7 无报错#

这种情况一般是运行好长时间,ceph 集群出问题了

2.7.1 现象#

说挂载成功但是一直没下一步

Terminal window

1
Events:
2
  Type    Reason                  Age   From                     Message
3
  ----    ------                  ----  ----                     -------
4
  Normal  SuccessfulAttachVolume  4s    attachdetach-controller  AttachVolume.Attach succeeded for volume "pvc-431074ba-ce3f-4f8d-9f71-04e958695176"
5
[root@1 cephrbd]# kubectl get pod
6
NAME      READY   STATUS              RESTARTS   AGE
7
rbd-pod   0/1     ContainerCreating   0          10s

2.7.2 查看 ceph 集群#

我们 ceph 集群出问题了,所以会这样

Terminal window展开收起

1
ceph status
2
  cluster:
3
    id:     f801d435-d991-4b61-9a0f-7face6a1adab
4
    health: HEALTH_WARN
5
            1 osds down
6
            1 host (1 osds) down
7

8
  services:
9
    mon: 3 daemons, quorum a,b,c (age 2d)
10
    mgr: a(active, since 2d)
11
    osd: 3 osds: 2 up (since 5s), 3 in (since 2d)
12

13
  data:
14
    pools:   2 pools, 33 pgs
15
    objects: 7 objects, 577 KiB
16
    usage:   66 MiB used, 600 GiB / 600 GiB avail
17
    pgs:     25 active+clean
18
             8  stale+active+clean

展开收起

2.7.3 修复 ceph 集群后操作#

Terminal window展开收起

1
# 进入对应节点的csi-rbdplugin容器内操作
2
kubectl exec -it  -n kube-system         csi-rbdplugin-sp6k4 -c csi-rbdplugin bash
3
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
4
[root@ /]# lsblk
5
NAME                        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
6
loop0                         7:0    0    20K  1 loop
7
loop1                         7:1    0  89.1M  1 loop
8
loop2                         7:2    0  89.1M  1 loop
9
loop3                         7:3    0   2.8M  1 loop
10
loop4                         7:4    0     1G  0 loop
11
sda                           8:0    0   200G  0 disk
12
|-sda1                        8:1    0   300M  0 part
13
|-sda2                        8:2    0   1.4G  0 part
14
`-sda3                        8:3    0 198.3G  0 part
15
  |-centos-root             253:0    0 192.5G  0 lvm  /var/log/ceph
16
  `-centos-swap             253:1    0     4G  0 lvm
17
sdb                           8:16   0   500G  0 disk
18
`-vol_sltekdbb7ds_01-volume 253:2    0   500G  0 lvm  /data/kubelet/pods
19
sr0                          11:0    1   470K  0 rom
20
rbd0                        252:0    0     1G  0 disk
21

22
# 当时解决问题的时候忘截图了,这节点上有n个rbd设备,卸载不在使用
23
rbd unmap /dev/rbd0

展开收起

如果卸载不了,节点排水后重启机器

二, flannel#

现象: 在新 dc 添加的 node 节点 pod 里 dns 解析不了,测试命令nslookup kubernetes.default.svc.cluster.local $coredns_svc_ip详细如下: 只有异常节点 pod 通过 svc 访问出现问题

访问方式	访问地址	访问结果
正常节点宿主机	coredns_svc	yes
正常节点宿主机	coredns_pod	yes
正常节点 pod 内	coredns_svc	yes
正常节点 pod 内	coredns_pod	yes
异常节点宿主机	coredns_svc	yes
异常节点宿主机	coredns_pod	yes
异常节点 pod 内	coredns_svc	no
异常节点 pod 内	coredns_pod	yes

Terminal window

1
traceroute $coredns_svc
2
...
3
这部有结果,但是转发到 docker0 网卡的时候特别慢

查询后发现Site Unreachable有一样的情况

Terminal window

1
sudo iptables -A OUTPUT -p udp -m udp --dport 8472 -j MARK --set-xmark 0x0

后面测试 nslookup与traceroute都恢复正常

三,calico#

1 查看节点状态#

因为我们集群都是双网卡,东西流量过第二块网卡
第一块网卡是 10 网段的,第二块网卡是 172 网段的

Terminal window

1
calicoctl node status
2
Calico process is running.
3

4
IPv4 BGP status
5
+--------------+---------------+-------+------------+--------------------------------+
6
| PEER ADDRESS |   PEER TYPE   | STATE |   SINCE    |              INFO              |
7
+--------------+---------------+-------+------------+--------------------------------+
8
| 172.30.0.25  | node specific | start | 2023-03-14 | Connect Received: Hold timer   |
9
|              |               |       |            | expired                        |
10
+--------------+---------------+-------+------------+--------------------------------+

2 查看异常的节点#

Terminal window

1
calicoctl get node -o wide |grep 172.30.0.25
2
10-1-1-1   61230   172.30.0.25/16

3 查看 calico 组件状态#

发现一直为准备好

Terminal window

1
kubectl get pod -n kube-system -o wide |grep 10-1-1-1.ccops.com
2
calico-node-lr6s5                          0/1     Running   0          47m     10.1.1.1     10-1-1-1.ccops.com <none>           <none>

4 查看 calico-node 日志#

日志太多,所以过滤下 INFO 日志,但因为过滤没查到关键信息就不展示结果了

Terminal window

1
logs -f -n kube-system calico-node-lr6s5  |grep -v INFO

5 登录节点查看 kubelet 日志#

一直获取不到对等体,后来在想,是不是网络出问题了

Terminal window

1
tail -n 100000 kubelet.INFO|grep calico-node-lr6s5
2
# 其中最关键的
3
[INFO][254] readiness.go 88: Number of node(s) with BGP peering established = 0

5.1 这里补充下 calico 端口#

角色	服务名	需要的端口	备注
system	calico-typha	5437 tcp	管理 calico
ALL	bird	179 tcp	路由表
ALL	calico-node	9099 tcp	网络接口管理和监听、路由、ARP 管理、ACL 管理和同步、状态上报
ALL	vxlan	4789 udp	vxlan 协议端口

6 尝试测试 bird 端口#

从正常节点 telnet 其他节点没问题,但是故障节点网络就不通
发现故障所在,找网络看看第二块网卡为啥网不通了
这里主要,每个公司环境不同,正常访问第一块网卡 ip+端口就行

Terminal window

1
telnet 172.30.0.12 179
2
Trying 172.30.0.12...
3
Connected to 172.30.0.12.
4
Escape character is '^]'.
5
????????=.
6
 @xA.EF
7
Connection closed by foreign host.
8

9
telnet 172.30.0.25 179
10
Trying 172.30.0.25...
11
^C

四, kube-apiserver#

服务正常,能获取到 pod 信息,但是 get 返回特别慢

1 查看日志#

发现一条关键信息

Terminal window

1
E0804 16:18:58.100247    1704 available_controller.go:524] v1beta1.metrics.k8s.io failed with: Operation cannot be fulfilled on apiservices.apiregistration.k8s.io "v1beta1.metrics.k8s.io": the object has been modified; please apply your changes to the latest version and try again

1.1 简单粗暴解决#

自己环境可以这样搞

看到api 接口有问题,尝试删除v1beta1.metrics.k8s.io 快速测试

Terminal window

1
kubectl delete apiservice v1beta1.metrics.k8s.io

2 修复对应接口服务#

这里就不展示了,因为每个服务修复方式都不一样

如何在Kubernetes里使用SMB存储

Tue, 16 Aug 2022 21:25:58 GMT

1 部署驱动#

参考官网的,需要自己改镜像

Terminal window

1
helm install smb-csi . -n kube-system
2
kubectl get pod -n kube-system
3
NAME                   READY   STATUS    RESTARTS   AGE
4
csi-attacher-smb-0      1/1     Running   0          16h
5
csi-provisioner-smb-0   2/2     Running   0          16h
6
csi-smb-2dfnn           2/2     Running   0          16h
7
csi-smb-nn5pp           2/2     Running   0          16h
8
csi-smb-q9pln           2/2     Running   0          16h

2 Storageclass#

创建 Secret

1
kubectl create secret -n kube-system generic smbcreds --from-literal username=${username} --from-literal password="${password}"

创建 Storageclass

1
cat sc.yaml
2
apiVersion: v1
3
kind: PersistentVolume
4
metadata:
5
  name: pv-smb
6
spec:
7
  capacity:
8
    storage: 1Gi
9
  accessModes:
10
    - ReadWriteMany
11
  persistentVolumeReclaimPolicy: Retain
12
  storageClassName: smb
13
  mountOptions:
14
    - dir_mode=0777 # 权限配置等
15
    - file_mode=0777
16
    - uid=1001
17
    - gid=1001
18
    - noperm
19
    - mfsymlinks
20
    - cache=strict
21
    - noserverino  # 防止数据损坏
22
  csi:
23
    driver: smb.csi.k8s.io
24
    readOnly: false
25
    volumeHandle: unique-volumeid  # 要唯一
26
    volumeAttributes:
27
      source: "${nas 存储业务地址}"
28
    nodeStageSecretRef:
29
      name: smbcreds
30
      namespace: kube-system
31
kubectl apply -f sc.yaml -n kube-system

展开收起

3 验证#

3.1 创建 pvc#

1
cat pvc.yaml
2
apiVersion: v1
3
kind: PersistentVolumeClaim
4
metadata:
5
  name: pvc-smb
6
spec:
7
  accessModes:
8
    - ReadWriteMany
9
  resources:
10
    requests:
11
      storage: 1Gi
12
  storageClassName: smb
13
kubectl apply -f pvc.yaml

查看

Terminal window

1
kubectl get pvc
2
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
3
pvc-smb      Bound    pvc-df3ed2a7-6086-450d-8c17-ff40ab9a1fb4   1Gi        RWO            csi-smb         16h

3.2 创建 pod#

1
cat pod.yaml
2
kind: Pod
3
apiVersion: v1
4
metadata:
5
  name: smb-pod
6
spec:
7
  containers:
8
  - name: smb-pod
9
    image:  nginx
10
    volumeMounts:
11
      - name: pvc
12
        mountPath: "/mnt"
13
  volumes:
14
    - name: pvc
15
      persistentVolumeClaim:
16
        claimName: pvc-smb
17
kubectl apply -f pod.yaml

展开收起

查看

Terminal window

1
kubectl get pod
2
NAME                   READY   STATUS    RESTARTS   AGE
3
smb-pod              1/1     Running   0          16h

如何优雅的实现数据同步

Tue, 16 Aug 2022 17:25:58 GMT

简介#

鉴于 inotify 存在一定问题，不满足 gitlab 数据同步需求，后续调研了 sersync ，sersync 克服了 inotify 的几个缺点。

inotify 最大的不足是会产生重复事件，或者同一个目录下多个文件的操作会产生多个事件(例如，当监控目录中有 5 个文件时，删除目录时会产生 6 个监控事件)，从而导致重复调用 rsync 命令。
vim 文件时，inotify 会监控到临时文件的事件，但这些事件相对于 rsync 来说是不应该被监控的。
inotify 只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来；
rsync 在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync 要对整个目录遍历查找对比文件），因此效率很低；rsync 在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync 在遍历查找对比文件时，速度很快），因此效率很高。

server 端#

1 rsync 部署#

关闭 SELINUX,开启防火墙 tcp 873 端口,或关掉防火墙（sersync_rsync_client、rsync_server 均配置）

1
yum install -y rsync

1.1 创建 rsyncd.conf 配置文件#

rsync_server 配置。假如需要同步多个目录，注意加多个目录；此 root 是 rsync 的认证账号，后面步骤会配置认证账号和密码

1
vim /etc/rsyncd.conf
2

3
# 日志存放路径
4
log file = /var/log/rsyncd.log
5
# pid文件存放路径
6
pidfile = /var/run/rsyncd.pid
7
# 支持max connections参数的锁文件
8
lock file = /var/run/rsync.lock
9
# 用户认证配置文件,里面保存用户名密码,手动创建文件
10
secrets file = /etc/rsyncd.secret
11
# rsyns启动欢迎信息页文件配置,自己创建,内容自定义
12
motd file = /etc/rsyncd.motd
13
# 运行rsyns的uid
14
uid = root
15
# 运行rsyns的pid
16
gid = root
17
# 权限设置
18
incoming chmod = Du=rwx,Dog=rx,Fu=rwx,Fgo=rx
19
port=873
20
# 默认为true,增加对目录文件软连接备份
21
use chroot = no
22
# 设置rsync服务端文件为读权限
23
read only = no
24
# 不显示rsync服务端资源列表
25
list = no
26
# 最大连接数
27
max connections = 200
28
# 超时时间
29
timeout = 600
30
# 执行数据同步用户名
31
auth users = root,test
32
# 白名单
33
hosts allow = 10.1.142.105,10.1.142.106
34
# 黑名单
35
hosts deny = *
36

37
# 自定义模块名称
38
[gitlab-ci]
39
# 服务端数据目录路径,即同步到目标目录后存放路径
40
path = /gitlab-data/gitlab-ci/builds
41
# 描述
42
comment = gitlab-ci
43

44
[gitlab-rails-shared]
45
path = /gitlab-data/gitlab-rails/shared
46
comment = gitlab-rails-shared
47

48
[gitlab-rails-uploads]
49
path = /gitlab-data/gitlab-rails/uploads
50
comment = itlab-rails-uploads

展开收起

1
chown -hR root.root /data/gitlab-data/data/gitlab-rails/shared/ \
2
/data/gitlab-data/data/gitlab-rails/uploads/ \
3
/data/gitlab-data/data/gitlab-ci/builds/

1.2 用户认证文件（rsync_server）#

1
vim /etc/rsyncd.secret
2
root:root

1.3 配置目录权限#

1
chown -hR root.root /data/gitlab-data/data/gitlab-rails/shared/ \
2
/data/gitlab-data/data/gitlab-rails/uploads/ \
3
/data/gitlab-data/data/gitlab-ci/builds/
4
chmod 600 /etc/rsyncd.conf /etc/rsyncd.secret

2 启动 rsync#

1
systemctl enable rsyncd
2
systemctl start rsyncd

client 端#

1 创建用户认证文件#

1
vim /etc/rsyncd.passwd
2
root

2 配置权限#

1
chmod 600 /etc/rsyncd.passwd

3 测试#

从 sersync_rsync_client 手动 rsync 同步到 rsync_server 看下，只有成功后（查看日志），下面 sersync 才会成功。（sersync_rsync_client 上运行此命令测试）

1
rsync -avzrtopgL --progress /data/gitlab-data/data/gitlab-ci/builds/ root@10.1.142.105::gitlab-ci/ --password-file=/etc/rsyncd.passwd
2
sending incremental file list
3
./
4
qwe
5
              7 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=4/6)
6
sent 213 bytes  received 50 bytes  526.00 bytes/sec
7
total size is 7  speedup is 0.03

4 sersync 部署#

4.1 查看是否支持 inotify#

1
ll /proc/sys/fs/inotify
2
# 出现下面的内容、说明服务器内核支持inotify
3
-rw-r--r-- 1 root root 0 Dec 25 12:03 max_queued_events
4
-rw-r--r-- 1 root root 0 Dec 25 15:05 max_user_instances
5
-rw-r--r-- 1 root root 0 Dec 25 12:03 max_user_watches

4.2 inotify 优化#

参数说明：

max_queued_events： inotify 队列最大长度，如果值太小，会出现” Event Queue Overflow “错误，导致监控文件不准确

max_user_watches：要同步的文件包含多少目录，可以用：find /var/www/synctest -type d | wc -l 统计，必须保证 max_user_watches 值大于统计结果（这里/var/www/synctest 为同步文件目录）

max_user_instances：每个用户创建 inotify 实例最大值

1
# 查看
2
sysctl -a | grep max_queued_events
3
sysctl -a | grep max_user_watches
4
sysctl -a | grep max_user_instances
5
# 修改
6
sysctl -w fs.inotify.max_queued_events="99999999"
7
sysctl -w fs.inotify.max_user_watches="99999999"
8
sysctl -w fs.inotify.max_user_instances="65535"
9
sysctl -p

4.2.1 修改最大连接数、最大文件描述符#

1
vim /etc/pam.d/login
2
session required /lib64/security/pam_limits.so
3
vim /etc/security/limits.conf
4
*                soft    nproc          65535
5
*                hard    nproc          65535
6
*                soft    nofile         65535
7
*                hard    nofile         65535
8
vim /etc/pam.d/common-session
9
session required pam_limits.so

5 安装 sersync#

1
wget --no-check-certificate https://raw.githubusercontent.com/orangle/sersync/master/release/sersync2.5.4_64bit_binary_stable_final.tar.gz
2
tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
3
cp -a GNU-Linux-x86 /usr/local/sersync
4
echo "PATH=$PATH:/usr/local/sersync" > /etc/profile.d/sersync.sh
5
source /etc/profile.d/sersync.sh
6

7
# sersync目录/usr/local/sersync只有两个文件：一个是二进制程序文件，一个是xml格式的配置文件。
8
ls /usr/local/sersync/
9
confxml.xml  sersync2

5.1 配置 sersync#

1
cp /usr/local/sersync/confxml.xml /usr/local/sersync/gitlab-ci.xml
2
vim /usr/local/sersync/gitlab-ci.xml

如果需要同步多目录，就再建一个如 gitlab-rails-shared.xml。
需要修改参数说明：

localpath watch=”/data/gitlab-data/data/gitlab-ci/builds/“ # 如果 A 服务器新建、删除目录都会触发同步到 B 服务器。但是 A 服务器删除文件，不会触发到 B 服务器。

name=”gitlab-ci”： #目标服务器 rsync 同步目录模块名称

users=”root”： #目标服务器 rsync 同步用户名

auth start=“true” #开启认证

passwordfile=”/etc/rsyncd.passwd”： #目标服务器 rsync 同步用户的密码在源服务器的存放路径

remote ip=”10.1.142.105”: #对端服务器 ip

failLog path=”/tmp/rsync_gitlab-ci_log.sh” #脚本运行失败日志记录

start=”true” #设置为 true，每隔 600 分钟执行一次全盘同步

delete start #只做增量备份，可以吧这个设置为 flase。但是如果两边要一样就设置为 true

1
# 只需要修改这部分内容
2
 ......
3
        <localpath watch="/data/gitlab-data/data/gitlab-ci/builds/">
4
            <remote ip="10.1.142.105" name="gitlab-ci"/>
5
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
6
        </localpath>
7
        <rsync>
8
            <commonParams params="-artuz"/>
9
            <auth start="true" users="root" passwordfile="/etc/rsync.passwd"/>
10
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
11
            <timeout start="false" time="100"/><!-- timeout=100 -->
12
            <ssh start="false"/>
13
        </rsync>
14
        <failLog path="/tmp/rsync_gitlab-ci_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
15
        <crontab start="false" schedule="60000"><!--600mins-->
16
            <crontabfilter start="false">
17
                <exclude expression="*.php"></exclude>
18
                <exclude expression="info/*"></exclude>
19
            </crontabfilter>
20
        </crontab>
21
        <plugin start="false" name="command"/>
22
.....

展开收起

5.2 启动 sersync#

Terminal window

1
echo "/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/gitlab-ci.xml" >>/etc/rc.local
2
echo "/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/gitlab-rails-shared.xml" >>/etc/rc.local
3
echo "/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/gitlab-rails-uploads.xml" >>/etc/rc.local
4
chmod +x /etc/rc.d/rc.local
5
systemctl status rc-local.service
6
# 查看错误日志
7
vim /usr/local/sersync/gitlab-ci.xml

Helm学习笔记

Thu, 21 Jul 2022 16:25:58 GMT

Helm 常用命令#

命令	描述
create	创建一个 chart 并指定名字
dependency	管理 chart 依赖
get	下载一个 release。可用子命令：all、hooks、manifest、notes、values
history	获取 release 历史
install	安装一个 chart
list	列出 release
package	将 chart 目录打包到 chart 存档文件中
pull	从远程仓库中下载 chart 并解压到本地 helm pull stable/mysql —untar
repo	添加，列出，移除，更新和索引 chart 仓库。可用子命令：add、index、list、remove、update
rollback	从之前版本回滚
search	根据关键字搜索 chart。可用子命令：hub、repo
show	查看 chart 详细信息。可用子命令：all、chart、readme、values
status	显示已命名版本的状态
template	本地呈现模板
uninstall	卸载一个 release
upgrade	更新一个 release
version	查看 helm 客户端版本

配置国内 Chart 仓库#

微软仓库 http://mirror.azure.cn/kubernetes/charts/ 这个仓库强烈推荐，基本上官网有的 chart 这里都有。)
阿里云仓库 https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts 不算全
官方仓库 https://artifacthub.io/ 国内访问很慢。

1 添加存储库#

Terminal window

1
helm repo add stable http://mirror.azure.cn/kubernetes/charts
2
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
3
helm repo update

2 查看配置的存储库#

Terminal window

1
helm repo list
2
helm search repo stable

3 删除存储库#

Terminal window

1
helm repo remove aliyun

Helm 基本使用#

主要介绍几个命令：

chart install
chart status
chart upgrade
chart history
chart rollback
chart uninstall

1 使用 chart 部署一个应用#

1.1 查找 chart#

Terminal window

1
helm search repo
2
helm search repo bitnami/nginx

1.2 查看 chart 信息#

Terminal window

1
helm show chart bitnami/nginx -n $namespace

1.3 安装包#

Terminal window

1
helm install my-release bitnami/nginx -n $namespace

1.4 查看发布状态#

Terminal window

1
helm status my-release -n $namespace

1.5 更新配置#

更新过程中有两种方法可以传递配置数据：

—values（或-f）：指定带有覆盖的 YAML 文件。这可以多次指定，最右边的文件优先

—set：在命令行上指定替代。如果两者都用，—set 优先级高

Terminal window

1
helm upgrade my-release bitnami/nginx -n $namespace --set image.tag="1.23.0-debian-11-r0"

1.6 查看历史版本#

Terminal window

1
helm history my-release -n $namespace

1.7 回滚#

Terminal window

1
helm rollback my-release 1 -n $namespace

1.8 删除#

Terminal window

1
helm uninstall my-release -n $namespace

构建一个 Chart#

先给学员自动生成目录讲解，然后再手动给学员创建目录和各个文件。

Terminal window

1
helm create mychart
2

3
tree mychart/
4
mychart/
5
├── charts
6
├── Chart.yaml
7
├── templates
8
│   ├── deployment.yaml
9
│   ├── _helpers.tpl
10
│   ├── ingress.yaml
11
│   ├── NOTES.txt
12
│   └── service.yaml
13
└── values.yaml

Chart.yaml：用于描述这个 Chart 的基本信息，包括名字、描述信息以及版本等。
values.yaml ：用于存储 templates 目录中模板文件中用到变量的值。
Templates：目录里面存放所有 yaml 模板文件。
charts：目录里存放这个 chart 依赖的所有子 chart。
NOTES.txt ：用于介绍 Chart 帮助信息， helm install 部署后展示给用户。例如：如何使用这个 Chart、列出缺省的设置等。
_helpers.tpl：放置模板助手的地方，可以在整个 chart 中重复使用

创建 Chart 后，接下来就是将其部署：

Terminal window

1
helm install web mychart/

也可以打包推送的 charts 仓库共享别人使用。

Terminal window

1
helm package mychart/
2
mychart-0.1.0.tgz

1 内置对象#

常用的内置对象：

变量名	描述
Release.Name	release 名称
Release.Time	release 的时间
Release.Namespace	release 的 namespace（如果清单未覆盖）
Release.Service	release 服务的名称
Release.Revision	此 release 的修订版本号，从 1 开始累加
Release.IsUpgrade	如果当前操作是升级或回滚，则将其设置为 true。
Release.IsInstall	如果当前操作是安装，则设置为 true。

常用语法#

1 管道与函数#

| 表示追加操作

default 表示如果 .Values.name 没有配置,他的值为 nginx

1
- name: {{ .Values.name | default "nginx" }}

2 值转换字符串#

可以不用管道符直接写到函数前面

1
- name: {{ quote .Values.name }}

3 判断是 true 函数#

1
# cat templates/vault-configmap.yaml
2
  entryPoints:
3
  - {{ .Values.argo.web.https | ternary "https" "http" }}
4

5
# cat values.yaml
6
argo:
7
  web:
8
    https: true

4 列表函数#

toYaml: 获取列表

nindent 10: 缩进十个空格

1
# cat templates/vault-configmap.yaml
2
        resources:
3
          {{- toYaml .Values.argo.resources | nindent 10 }}
4

5
# cat values.yaml
6
argo:
7
  resources:
8
    limits:
9
      cpu: 4
10
      memory: 8192Mi
11
    requests:
12
      cpu: 100m
13
      memory: 128Mi

5 流程控制#

流程控制是为模板提供了一种能力，满足更复杂的数据逻辑处理。

Helm 模板语言提供以下流程控制语句：

if/else 条件块
with 指定范围
range 循环块

5.1 if#

if/else块是用于在模板中有条件地包含文本块的方法，条件块的基本结构如下：

Terminal window

1
{{ if PIPELINE }}
2
  # Do something
3
{{ else if OTHER PIPELINE }}
4
  # Do something else
5
{{ else }}
6
  # Default case
7
{{ end }}

条件判断就是判断条件是否为真，如果值为以下几种情况则为 false：

一个布尔类型的 假
一个数字 零
一个 空的字符串
一个 nil（空或 null）
一个空的集合（ map、 slice、 tuple、 dict、 array）

除了上面的这些情况外，其他所有条件都为 真。

例如，如果实例数(.Values.vault.replicaCount)大于 1，则值为 ha_enabled: true

1
# cat values.yaml
2
vault:
3
  replicas: 2

1
# cat templates/vault-configmap.yaml
2
    ha_enabled:
3
    {{ if gt (int .Values.vault.replicaCount) 1 }}"true"{{ else }}"false"{{ end }}

其中运算符 gt是判断是否大于的操作，除此之外，还有 ne、 lt、 eq、 and、 or等运算符。

通过模板引擎来渲染一下，会得到如下结果：

1
helm install --dry-run web ../mychart/
2
...
3
  ha_enabled:
4
  "true"

5.1.1 消除空行#

可以看到渲染出来会有多余的空行，这是因为当模板引擎运行时，会将控制指令删除，所有之前占的位置也就空白了，需要使用{{- if ... }}的方式消除此空行：

1
# cat templates/deploymemt.yaml
2
...
3
    ha_enabled:
4
    {{- if gt (int .Values.vault.replicaCount) 1 }}"true"{{ else }}"false"{{ end }}

如果使用{{-需谨慎，因为{{-它删除了双方的换行符。

比如上面模板文件会渲染成：

1
  ha_enabled: "true"

6 with#

控制变量作用域。
其语法和一个简单的 if语句比较类似：

1
{{ with PIPELINE }}
2
  #  restricted scope
3
{{ end }}

with语句可以允许将当前范围 .设置为特定的对象，比如我们前面一直使用的 .Values.label，我们可以使用 with来将 .范围指向 .Values.label：

1
# cat templates/deploymemt.yaml
2
...
3
      {{- with .Values.label }}
4
        project: {{ .project }}
5
        app: {{ .app }}
6
      {{- end }}

上面增加了一个{{- with .Values.label }} xxx {{- end }}的一个块，这样的话就可以在当前的块里面直接引用 .project和 .app了。

需要注意的在 with声明的范围内，将无法从父范围访问到其他对象了，比如.Release.Name 是不生效的：

1
      {{- with .Values.label }}
2
        project: {{ .project }}
3
        app: {{ .app }}
4
        {{ .Release.Name }}
5
      {{- end }}

7 range#

在 Helm 模板语言中，使用 range关键字来进行循环操作。

循环内部我们使用的是一个 .，这是因为当前的作用域就在当前循环内，这个 .引用的当前读取的元素 :

7.1 每次传入单个值#

1
# cat values.yaml
2
eventrouter:
3
  labels:
4
    - 1
5
    - 2
6
    - 3

7.1.1 循环打印该列表#

1
# cat templates/event-serviceaccount
2
...
3
  labels:
4
    {{- range .Values.eventrouter.labels }}
5
    app: {{ quote . }}
6
    {{- end }}

7.1.2 渲染结果#

1
  labels:
2
    app: "1"
3
    app: "2"
4
    app: "3"

7.2 每次传入多个值#

1
# cat values.yaml
2
eventrouter:
3
  labels:
4
    app: "tst"
5
    env: "tst"

7.2.1 循环打印该列表#

1
# cat templates/event-serviceaccount
2
...
3
  labels:
4
    {{- range $key, $value := .Values.eventrouter.labels }}
5
    {{ $key }}: {{ $value }}
6
    {{- end }}

7.2.2 会渲染成#

1
  labels:
2
    app: tst
3
    env: tst

其他功能使用场景#

1 判断是否开启组件#

1.1 templates#

1
{{- if .Values.argo.enabled -}}
2
...
3
{{- end }}

1.2 values#

1
argo:
2
  enabled: true

2 添加复杂内容变量#

2.1 templates#

1
      "kafkaBrokers": {{ .Values.eventrouter.kafkaBrokers }}
2
      "kafkaTopic": "{{ .Values.eventrouter.kafkaTopic }}"

2.2 values#

1
  kafkaBrokers: |- # |表示纯文本, -表示不换行
2
    ["10.1.23.156:9091","10.1.23.157:9091","10.1.23.158:9091"],
3
  kafkaTopic: "test-Topic" #直接获取字段

2.3 渲染后#

1
     {
2
      "sink": "kafka",
3
      "kafkaBrokers": ["10.1.23.156:9091","10.1.23.157:9091","10.1.23.158:9091"],
4
      "kafkaTopic": "test-Topic"
5
    }

如何优雅的使用Calico 路由反射模式

Mon, 27 Jun 2022 19:25:58 GMT

1 原理#

[!info] 同一集群内的客户机只需要与该集群的 RR 直接交换路由信息，因此客户机只需要与 RR 之间建立 IBGP 连接，不需要与其他客户机建立 IBGP 连接，从而减少了 IBGP 连接数量。并采用独有的 Cluster_List 属性和 Originator_ID 属性防止路由环路。RR 向 IBGP 邻居发布路由规则如下：

从非客户机学到的路由，发布给所有客户机。

从客户机学到的路由，发布给所有非客户机和客户机（发起此路由的客户机除外）。

从 EBGP 对等体学到的路由，发布给所有的非客户机和客户机。

2 配置 Calico#

2.1 关闭 node-to-node BGP 网络#

[!info] 为保证 IBGP 对等体之间的连通性，需要在 IBGP 对等体之间建立全连接关系。假设在一个 AS 内部有 n 台设备，那么建立的 IBGP 连接数就为 n(n-1)/2。当设备数目很多时，设备配置将十分复杂，而且配置后网络资源和 CPU 资源的消耗都很大。Calico 默认是 Full-mesh 全互联模式，需要关闭

1
cat > gpconfiguration.yaml << EOF
2
apiVersion: projectcalico.org/v3
3
kind: BGPConfiguration
4
metadata:
5
   name: default
6
spec:
7
   logSeverityScreen: Warning
8
   nodeToNodeMeshEnabled: False
9
   asNumber: 63456
10
EOF
11
calicoctl apply -f gpconfiguration.yaml

2.1.1 查看#

Terminal window

1
calicoctl get bgpconfig
2
NAME      LOGSEVERITY   MESHENABLED   ASNUMBER
3
default   Warning       false         64512

Terminal window

1
calicoctl node status
2
Calico process is running.
3

4
IPv4 BGP status
5
No IPv4 peers found.
6

7
IPv6 BGP status
8
No IPv6 peers found.

2.2 路由反射器配置#

1
# 节点添加标签
2
kubectl label node my-node route-reflector=true
3

4
# 搜索带`route-reflector=true`标签的节点为路由反射节点
5

6
cat > peer-with-route-reflectors.yaml << EOF
7
kind: BGPPeer
8
apiVersion: projectcalico.org/v3
9
metadata:
10
  name: peer-with-route-reflectors
11
spec:
12
  nodeSelector: all()
13
  peerSelector: route-reflector == 'true'
14
EOF
15
calicoctl apply -f peer-with-route-reflectors.yaml

展开收起

2.3 查看 ippool#

Tip

CrossSubnet表示跨子网才使用ipip,否则使用 bgp

Terminal window

1
calicoctl get ippool -o wide
2
NAME                  CIDR             NAT    IPIPMODE      VXLANMODE   DISABLED   DISABLEBGPEXPORT   SELECTOR
3
default-ipv4-ippool   192.168.0.0/16   true   CrossSubnet   Never       false      false              all()

3 查看节点状态#

Terminal window

1
calicoctl node status
2
Calico process is running.
3

4
IPv4 BGP status
5
+--------------+---------------+-------+----------+-------------+
6
| PEER ADDRESS |   PEER TYPE   | STATE |  SINCE   |    INFO     |
7
+--------------+---------------+-------+----------+-------------+
8
| 10.0.0.2   | node specific | up    | 10:40:46 | Established |
9
| 10.0.0.3   | node specific | up    | 10:40:48 | Established |

4 测试#

测试，随便找个 pod ping 不同节点的 pod

5 问题#

[!question] calico 查看节点信息一直 start 状态

检测此 ip 的 179 端口能否访问，如果访问不了检查 ip 能不能通信，如果不能就是这节点网络问题,如果可以检查 calico 组件状态与节点配置

GitLab 备份与恢复

Sun, 19 Jun 2022 21:32:52 GMT

单节点#

1 备份#

1.1 备份前 gitlab 的项目如图所示#

image-20220613140835665

1.2 检查后台迁移任务#

在升级到新的主要版本之前，请确保所有后台迁移已完全完成
这一点很重要。在后台迁移完成之前进行升级可能会导致数据损坏。
可在 http://{gitlaburl}/admin/background_jobs 中查看

image-20220613141122340

1.3 停掉服务#

gitlab-ctl stop puma

gitlab-ctl stop sidekiq

1.4 进行备份#

1.4.1 全量备份#

如果加 STRATEGY=copy 参数可以不需要停止服务,但是添加这个参数是增加一倍存储空间

gitlab-backup create

1.4.2 只备份数据库#

gitlab data 要通过IaaS平台备份磁盘

gitlab-backup create SKIP=uploads,builds,artifacts,lfs,registry,pages,repositories

1.5 查看#

Terminal window

1
# pwd
2
/data/gitlab-data/data/backups
3
# ll -h
4
total 3.4G
5
-rwxr-xr-x 1 chrony    polkitd 2.5G Jun 13 11:47 1655023648_2022_06_13_14.8.5_gitlab_backup.tar

1.6 增量备份#

gitlab-backup create INCREMENTAL=yes STRATEGY=copy

Terminal window

1
# ll -h
2
total 3.4G
3
-rwxr-xr-x 1 chrony    polkitd 2.5G Jun 13 11:47 1655052648_2022_06_13_14.8.5_gitlab_backup.tar

2 单节点还原#

2.1 停掉服务#

gitlab-ctl stop puma

gitlab-ctl stop sidekiq

2.2 还原数据#

上面查到的文件名只保留版本前面的信息
按照提示输入两次 yes 并回车

gitlab-rake gitlab:backup:restore BACKUP=1655091528_2022_06_13_14.8.5

2.3 启动服务#

Terminal window

1
sudo gitlab-ctl reconfigure
2
sudo gitlab-ctl restart
3
sudo gitlab-rake gitlab:check SANITIZE=true
4
sudo gitlab-rake gitlab:doctor:secrets

2.4 检测完整性#

Terminal window

1
sudo gitlab-rake gitlab:artifacts:check
2
sudo gitlab-rake gitlab:lfs:check
3
sudo gitlab-rake gitlab:uploads:check

集群模式#

1 进行备份#

1.1 全量备份#

如果加 STRATEGY=copy 参数可以不需要停止服务,但是添加这个参数是增加一倍存储空间

gitlab-backup create GITLAB_BACKUP_MAX_CONCURRENCY=3 GITLAB_BACKUP_MAX_STORAGE_CONCURRENCY=1 STRATEGY=copy

1.2 查看#

Terminal window

1
# pwd
2
/data/gitlab-data/data/backups
3
# ll -h
4
total 3.4G
5
-rwxr-xr-x 1 chrony    polkitd 2.5G Jun 13 11:47 1655023648_2022_06_13_14.8.5_gitlab_backup.tar

1.3 增量备份#

gitlab-backup create INCREMENTAL=yes STRATEGY=copy

Terminal window

1
# ll -h
2
total 3.4G
3
-rwxr-xr-x 1 chrony    polkitd 2.5G Jun 13 11:47 1655052648_2022_06_13_14.8.5_gitlab_backup.tar

2 集群还原#

2.1 集群停掉服务#

gitlab-ctl stop puma

gitlab-ctl stop sidekiq

sudo gitlab-ctl status

2.2 集群还原数据#

上面查到的文件名只保留版本前面的信息
按照提示输入两次 yes 并回车

gitlab-rake gitlab:backup:restore BACKUP=1655091528_2022_06_13_14.8.5

2.3 集群启动服务#

Terminal window

1
sudo gitlab-ctl reconfigure
2
sudo gitlab-ctl restart
3
sudo gitlab-rake gitlab:check SANITIZE=true
4
sudo gitlab-rake gitlab:doctor:secrets

2.4 集群检测完整性#

Terminal window

1
sudo gitlab-rake gitlab:artifacts:check
2
sudo gitlab-rake gitlab:lfs:check
3
sudo gitlab-rake gitlab:uploads:check

GitLab 单节点迁移到集群

Tue, 14 Jun 2022 17:50:52 GMT

1 迁移规划#

提前把数据库迁移到外部,参考: GitLab 迁移到外部数据库 | 云原生基站
准备 gitlab 集群,参考: GitLab Cluster | 云原生基站(里面别按照这文档写数据,都是测试用的)
同步原有 gitlab 数据到 nfs (因为数据量比较大,这部操作可能要一天作用)
修改原有 gialab 服务配置,使其变成 gitaly
测试没问题,切换 dns 解析到 rails 角色的负载均衡

2 同步数据#

原有 gitlab 节点执行

2.1 安装工具#

yum install rsync nfs-utils -y

2.2 挂载 NFS#

mount -t nfs 10.1.1.1:/gitlab-data /gitlab-dat

2.3 查看目录结构#

Terminal window展开收起

1
├── config
2
│   ├── docker-compose.yaml
3
│   ├── gitlab.rb
4
│   ├── ssl
5
│   │   ├── gitlab-tst.ccops.cc.crt
6
│   │   └── gitlab-tst.ccops.cc.key
7
│   └── trusted-certs
8
│       ├── 9dc3655b.0 -> server-3.pem
9
│       ├── cd04d627.0 -> server-1.pem
10
│       ├── f4bdbc0a.0 -> server-2.pem
11
│       ├── server-1.pem
12
│       ├── server-2.pem
13
│       └── server-3.pem
14
├── gitlab-ci
15
│   └── builds
16
└── gitlab-rails
17
    ├── share
18
    ├── shared
19
    └── uploads

展开收起

2.4 同步数据#

参考: 文件同步笔记 | 云原生基站

2.4.1 同步秘钥#

1
rsync -avPz --progress --delete /home/git/.ssh/authorized_keys /gitlab-data/.ssh

3 修改原有的 gitlab 节点#

3.1 新增配置文件#

注意git_data_dirs, 要写原有节点的目录

1
# Avoid running unnecessary services on the Gitaly server
2
postgresql['enable'] = false
3
redis['enable'] = false
4
nginx['enable'] = false
5
puma['enable'] = false
6
unicorn['enable'] = false
7
sidekiq['enable'] = false
8
gitlab_workhorse['enable'] = false
9
grafana['enable'] = false
10

11
# If you run a separate monitoring node you can disable these services
12
alertmanager['enable'] = false
13
prometheus['enable'] = false
14

15
# Prevent database migrations from running on upgrade automatically
16
gitlab_rails['auto_migrate'] = false
17

18
# Enable only the Gitaly service
19
gitaly['enable'] = true
20

21
# Configure the gitlab-shell API callback URL. Without this, `git push` will
22
# fail. This can be your 'front door' GitLab URL or an internal load
23
# balancer.
24
# Don't forget to copy `/etc/gitlab/gitlab-secrets.json` from web server to Gitaly server
25
gitlab_rails['internal_api_url'] = 'https://gitlab-tst.ccops.cc'
26

27
# Make Gitaly accept connections on all network interfaces. You must use
28
# firewalls to restrict access to this address/port.
29
# Comment out following line if you only want to support TLS connections
30
gitaly['tls_listen_addr'] = "0.0.0.0:9999"
31
gitaly['certificate_path'] = "/etc/gitlab/ssl/server-1.pem"
32
gitaly['key_path'] = "/etc/gitlab/ssl/server.key"
33

34
# Enable service discovery for Prometheus
35
consul['enable'] = false
36
consul['monitoring_service_discovery'] =  false
37

38
# Set the network addresses that the exporters will listen on for monitoring
39
gitaly['prometheus_listen_addr'] = "0.0.0.0:9236"
40

41
# Gitaly Auth Token
42
# Should be the same as praefect_internal_token
43
gitaly['auth_token'] = 'LYIddgqhn91xxxxxDtLSTnO'
44
gitlab_shell['secret_token'] = 'vIH3gfTxxxxxxnY3ZH7DDVX17YJ'
45

46
git_data_dirs({
47
  'default' => {'gitaly_address' => 'tls://gitaly-1-.ccops.cc:9999','path' => '/git-repos'},
48
})

展开收起

3.2 新增证书#

mkdir ssl

拷贝以前准备的证书

cp -r /data/gitlab/config/ssl/ .

cp ssl/server-1.pem trusted-certs/

3.3 启动服务#

docker-compose up -d

4 修改集群配置#

4.1 拷贝原有 gitlab 秘钥文件 (原有节点操作)#

tar -cvf key.tar gitlab-secrets.json ssh_host_ecdsa_key ssh_host_ecdsa_key.pub ssh_host_ed13245_key ssh_host_ed13245_key.pub ssh_host_rsa_key ssh_host_rsa_key.pub

4.2 上传秘钥文件(所有节点操作)#

cd /gitlab-data/config

tar -xvf key.tar

4.3 启动其他 gitaly 节点#

5 启动 rails 节点进行测试#

5.1 查看集群状态#

image-20220610155640637

5.2 如果状态不对#

gitaly 容器执行

docker exec -it <name}/opt/gitlab/embedded/bin/gitaly-hooks check /var/opt/gitlab/gitaly/config.toml

5.3 配置 gitaly 权重#

默认情况 default 权重是 100,创建的所有 project 都分配到 default,需要手动改下

image-20220610163738368

6 测试#

6.1 新建项目查看在哪个 gitaly 节点#

已经分配到其他 gitaly 说明集群正常

image-20220614105457325

7 问题记录#

7.1 rails 报错 OpenSSL::Cipher::CipherError#

没有导入原来的秘钥导致，上传下即可

GitLab Cluster

Mon, 13 Jun 2022 18:50:52 GMT

背景,当前单节点 gitlab 已经无法满足公司需求,gitlab 官网方案用的资源比较多,最好采用 3rails,gitaly,其中 gitaly 分片存储
可能发生的问题,其中某个 gitaly 节点宕机会导致当前节点的 project 无法访问

一, 准备工作#

1 资源申请#

名称	数量	端口	备注
rails	3	80(HTTP),443(TCP/HTTPS),2222(TCP)	对外 gitlab 服务
gitaly	3	9999(TCP),9236(TCP)	gitlab 存储
负载均衡(F5)	1	80(HTTP),443(TCP/HTTPS),2222(TCP)	rails 负载
存储(NFS)	1	(111,635,2049,4046)TCP/UDP
plpgsql	1	5432(TCP)	版本>=12
redis	1	6379(TCP)	版本>=5

1.1 系统调优#

参考: [[Linux系统调优]]

2 证书准备#

2.1 Gitaly#

2.1.1 配置文件#

2.1.1.1 ca.conf#

1
[ req ]
2
default_bits = 4096
3
distinguished_name = req_distinguished_name
4

5
[ req_distinguished_name ]
6
countryName = Country Name (2 letter code)
7
countryName_default = CN
8
stateOrProvinceName = State or Province Name (full name)
9
stateOrProvinceName_default = BeiJing
10
localityName = Locality Name (eg, city)
11
localityName_default = BeiJIng
12
organizationName = Organization Name (eg, company)
13
organizationName_default = ccops
14
commonName = Common Name (e.g. server FQDN or YOUR name)
15
commonName_max = 64
16
commonName_default = GitLab CA Test

展开收起

2.1.1.2 server.conf#

1
[ req ]
2
default_bits = 2048
3
distinguished_name = req_distinguished_name
4
req_extensions = req_ext
5

6
[ req_distinguished_name ]
7
countryName = Country Name (2 letter code)
8
countryName_default = CN
9
stateOrProvinceName = State or Province Name (full name)
10
stateOrProvinceName_default = BeiJing
11
localityName = Locality Name (eg, city)
12
localityName_default = BeiJing
13
organizationName = Organization Name (eg, company)
14
organizationName_default = ccops
15
commonName = Common Name (e.g. server FQDN or YOUR name)
16
commonName_max = 64
17
commonName_default = gitaly-2.ccops.cc
18

19
[ req_ext ]
20
subjectAltName = @alt_names
21

22
[alt_names]
23
DNS.1 = gitaly-1.ccops.cc
24
DNS.2 = gitaly-2.ccops.cc
25
DNS.3 = gitaly-3.ccops.cc

展开收起

2.1.2 制作证书#

Terminal window展开收起

1
# 制作 ca 私钥
2
openssl genrsa -out ca.key 4096
3
# 制作 ca 请求文件
4
openssl req -new -sha256 -out ca.csr -key ca.key -config ca.conf
5
# 制作 ca 证书
6
openssl x509 -req -days 3650 -in ca.csr -signkey ca.key -out ca.crt
7
# 制作服务私钥
8
openssl genrsa -out server.key 2048
9

10
# 节点1
11
# 制作服务请求文件
12
openssl req -new -sha256 -out server-1.csr -key server.key -config server.conf
13
# 制作服务证书
14
openssl x509 -req -days 3650 -CA ca.crt -CAkey ca.key -CAcreateserial -in server-1.csr -out server-1.pem -extensions req_ext -extfile server.conf
15
# 节点2
16
openssl req -new -sha256 -out server-2.csr -key server.key -config server.conf
17
openssl x509 -req -days 3650 -CA ca.crt -CAkey ca.key -CAcreateserial -in server-2.csr -out server-2.pem -extensions req_ext -extfile server.conf
18
# 节点3
19
openssl req -new -sha256 -out server-3.csr -key server.key -config server.conf
20
openssl x509 -req -days 3650 -CA ca.crt -CAkey ca.key -CAcreateserial -in server-3.csr -out server-3.pem -extensions req_ext -extfile server.conf
21

22
# 查看证书
23
openssl x509 -text -noout -in server-1.pem

展开收起

2.2 Rails#

这里用的购买的证书,尽量别用自签证书,测试部署的时候各种 509 问题,实在不行用Let’s Encrypt,参考文档

3 架构图#

image-20220610171849739

二, 部署#

1 Redis#

[[RedisSentinel笔记]]

2 Plpgsql#

生产环境是 DB 团队提供的,以下命令是测试环境用的,不建议生产使用

mkdir /data/postgres_data

docker run -it --name postgres --restart always -e POSTGRES_PASSWORD='password' -e ALLOW_IP_RANGE=0.0.0.0/0 -v /data/postgres_data:/var/lib/postgresql -p 5432:5432 -d postgres:12.6

3 Gitaly#

3.1 创建目录#

所有 gitaly 节点都操作

Terminal window

1
mkdir -p /data/gitlab/config /data/gitlab/config/ssl /data/gitlab/config/trusted-certs /data/gitlab/logs /data/gitlab/data /data/gitlab/git-data

3.2 Copy 证书#

Terminal window

1
分别将server-[1,2,3].pem 和 server.key copy 到 gitlab-[1,2,3]服务器的/data/gitlab/config/ssl
2
分别将server-[1,2,3].pem copy 到 gitlab-[1,2,3]服务器的/data/gitlab/config/trusted-certs/
3
配置权限:
4
chmod  644 /data/gitlab/config/trusted-certs/*
5
chmod  644 /data/gitlab/config/trusted-certs/*
6
目录结构:
7
tree
8
├── docker-compose.yaml
9
├── gitlab.rb
10
├── ssl
11
│   ├── server-2.pem
12
│   └── server.key
13
└── trusted-certs
14
    └── server-2.pem

3.3 配置文件#

要修改的:

gitlab_rails[‘internal_api_url’]

gitaly[‘certificate_path’]

gitaly[‘auth_token’]

gitlab_shell[‘secret_token’]

git_data_dirs

1
postgresql['enable'] = false
2
redis['enable'] = false
3
nginx['enable'] = false
4
puma['enable'] = false
5
unicorn['enable'] = false
6
sidekiq['enable'] = false
7
gitlab_workhorse['enable'] = false
8
grafana['enable'] = false
9

10
# If you run a separate monitoring node you can disable these services
11
alertmanager['enable'] = false
12
prometheus['enable'] = false
13

14
# Prevent database migrations from running on upgrade automatically
15
gitlab_rails['auto_migrate'] = false
16

17
# Enable only the Gitaly service
18
gitaly['enable'] = true
19

20
# Configure the gitlab-shell API callback URL. Without this, `git push` will
21
# fail. This can be your 'front door' GitLab URL or an internal load
22
# balancer.
23
# Don't forget to copy `/etc/gitlab/gitlab-secrets.json` from web server to Gitaly server
24
gitlab_rails['internal_api_url'] = '' # gitlab对外域名
25

26
# Make Gitaly accept connections on all network interfaces. You must use
27
# firewalls to restrict access to this address/port.
28
# Comment out following line if you only want to support TLS connections
29
gitaly['tls_listen_addr'] = "0.0.0.0:9999"
30
gitaly['certificate_path'] = "/etc/gitlab/ssl/server-1.pem"
31
gitaly['key_path'] = "/etc/gitlab/ssl/server.key"
32

33
# Enable service discovery for Prometheus
34
consul['enable'] = false
35
consul['monitoring_service_discovery'] =  false
36

37
# Set the network addresses that the exporters will listen on for monitoring
38
gitaly['prometheus_listen_addr'] = "0.0.0.0:9236"
39

40
# Gitaly Auth Token
41
# Should be the same as praefect_internal_token
42
gitaly['auth_token'] = 'LYIddgqhn91vykzAxxxxxxxDtLSTnO'
43
gitlab_shell['secret_token'] = 'vIH3gfTSXbxxxxxxx3ZH7DDVX17YJ'
44

45
git_data_dirs({
46
  'default' => {'gitaly_address' => 'tls://gitaly-1.ccops.cc:9999','path' => '/mnt/gitlab/git-data'},
47
})

展开收起

3.4 Docker-compose#

1
version: '2.0'
2
services:
3
  gitaly:
4
    restart: always
5
    image: gitlab-ce:14.8.5
6
    hostname: gitaly-1.ccops.cc
7
    extra_hosts:
8
      - "gitlab-tst.ccops.cc:10.1.1.1"
9
    shm_size: '256m'
10
    ports:
11
     - "9999:9999"
12
     - "9236:9236"
13
    volumes:
14
     - "/data/gitlab/config:/etc/gitlab"
15
     - "/data/gitlab/logs:/var/log/gitlab"
16
     - "/data/gitlab/data:/var/opt/gitlab"
17
     - "/data/gitlab/git-data:/mnt/gitlab/git-data"
18
     - /etc/localtime:/etc/localtime:ro
19
    cap_add:
20
      - SYS_TIME
21
    restart: unless-stopped

展开收起

3.5 启动 Gitaly#

docker-compose up -d

4 Rails#

Gitlab rails 需要共享的目录：

/etc/gitlab

/var/opt/gitlab/.ssh

/var/opt/gitlab/gitlab-rails/uploads

/var/opt/gitlab/gitlab-rails/shared

/var/opt/gitlab/gitlab-ci/builds

以上文件路径 1、2 必需使用非对象存储，如 nfs, gfs 等，官方推荐使用 nfs
3、4、5 可使用 nfs ，但是官网推荐使用对象存储（minio, s3）

4.1 将 NFS 挂载三台 Rails 上#

Terminal window

1
yum install nfs-utils nfs-utils-lib
2
mkdir /gitlab-data
3
mount -t nfs ip:/path /gitlab-data   (请更新nfs信息到该命令中)

4.2 创建目录#

Terminal window

1
在其中一台rails下的nfs目录下创建如下目录
2
mkdir -p /gitlab-data/config /gitlab-data/config/ssl /gitlab-data/config/trusted-certs /gitlab-data/.ssh /gitlab-data/gitlab-rails/uploads /gitlab-data/gitlab-rails/share /gitlab-data/gitlab-ci/builds
3
在三台rails服务器上创建目录：
4
mkdir -p /data/gitlab/logs /data/gitlab/data

4.3 Copy 证书#

Terminal window

1
copy gitlab域名证书到 /gitlab-data/config/ssl
2
copy 三台gitaly中的证书server[1,2,3].pem 到 /gitlab-data/config/trusted-certs中
3
目录结构
4
tree
5
├── docker-compose.yaml
6
├── gitlab.rb
7
├── ssl
8
│   ├── gitlab-tst.ccops.cc.crt
9
│   └── gitlab-tst.ccops.cc.key
10
└── trusted-certs
11
    ├── server-1.pem
12
    ├── server-2.pem
13
    └── server-3.pem

4.4 配置文件#

更多功能配置参考[[GitLab单节点#1 编写 docker-compose.yml]]
这里的配置就比较复杂了,简要说是要修改的:

external_url

gitaly[‘auth_token’]

gitlab_shell[‘secret_token’]

git_data_dirs

postgresql 配置段落

redis 配置段落

如果需要其他功能,比如lfs,sso,请参考 [[GitLab单节点]]

1
external_url 'https://gitlab-tst.ccops.cc'
2
self_signed_cert = 'true'
3
gitlab_rails['time_zone'] = 'Beijing'
4
runtime_dir = '/dev/shm'
5
# Enable Prometheus metrics access to Praefect. You must use firewalls
6
# to restrict access to this address/port.
7

8
### Email Settings
9
gitlab_rails['gitlab_email_enabled'] = false
10
gitlab_rails['gitlab_email_from'] = ''
11
gitlab_rails['gitlab_email_display_name'] = ''
12

13
### Gravatar Settings
14
# gitlab_rails['initial_root_password'] = 'qweasd123' # 配置root密码,不建议添加,部署完使用gitlab-rake "gitlab:password:reset[root]"修改密码
15
gitlab_rails['gravatar_plain_url'] = 'http://gravatar.duoshuo.com/avatar/%{hash}?s=%{size}&d=identicon'
16

17
### Webhook Settings
18
###! Number of seconds to wait for HTTP response after sending webhook HTTP POST
19
###! request (default: 10)
20
gitlab_rails['webhook_timeout'] = 20
21

22
### LDAP Settings
23
###! Docs: https://docs.gitlab.com/omnibus/settings/ldap.html
24
###! **Be careful not to break the indentation in the ldap_servers block. It is
25
###!   in yaml format and the spaces must be retained. Using tabs will not work.**
26
gitlab_rails['ldap_enabled'] = false
27

28
gitlab_rails['ldap_servers'] = YAML.load <<-'EOS' # remember to close this block with 'EOS' below
29
   main:
30
     label: 'LDAP'
31
     host: ''
32
     port: 389
33
     uid: ''
34
     method: 'plain' # "tls" or "ssl" or "plain"
35
     bind_dn: ''
36
     password: ''
37
     active_directory: true
38
     allow_username_or_email_login: false
39
     base: ''
40
     active_directory: true
41
     allow_username_or_email_login: false
42
     base: ''
43
     user_filter: ''
44
     group_base: ''
45
     admin_group: ''
46
     sync_ssh_keys: false
47
EOS
48

49
### Backup Settings
50
###! Docs: https://docs.gitlab.com/omnibus/settings/backups.html
51
gitlab_rails['manage_backup_path'] = true
52
gitlab_rails['backup_path'] = "/var/opt/gitlab/backups"
53

54
# Gitaly and GitLab use two shared secrets for authentication, one to authenticate gRPC requests
55
# # to Gitaly, and a second for authentication callbacks from GitLab-Shell to the GitLab internal API.
56
# # The following two values must be the same as their respective values
57
# # of the Gitaly setup
58
gitaly['auth_token'] = 'LYIddgqhn91vykzA8O908MQ7GDtLSTnO'
59
gitlab_shell['secret_token'] = 'vIH3gfTSXbb4XNR3LznY3ZH7DDVX17YJ'
60

61
# git_data_dirs get configured for the Praefect virtual storage
62
# Address is Interal Load Balancer for Praefect
63
# Token is praefect_external_token
64
git_data_dirs({
65
  'default'  => { 'gitaly_address' => 'tls://gitaly-1.ccops.cc:9999', 'gitaly_token' => 'LYIddgqhn91vykzA8O908MQ7GDtLSTnO' },
66
  'storage1' => { 'gitaly_address' => 'tls://gitaly-2.ccops.cc:9999', 'gitaly_token' => 'LYIddgqhn91vykzA8O908MQ7GDtLSTnO' },
67
  'storage2' => { 'gitaly_address' => 'tls://gitaly-3.ccops.cc:9999', 'gitaly_token' => 'LYIddgqhn91vykzA8O908MQ7GDtLSTnO' },
68
})
69
## Disable components that will not be on the GitLab application server
70
roles ['application_role']
71
gitaly['enable'] = false
72
nginx['enable'] = true
73
nginx['ssl_certificate'] = "/etc/gitlab/ssl/gitlab-tst.ccops.ccm.crt"
74
nginx['ssl_certificate_key'] = "/etc/gitlab/ssl/gitlab-tst.ccops.cc.key"
75
nginx['ssl_protocols'] = "TLSv1 TLSv1.1 TLSv1.2 TLSv1.3"
76
nginx['ssl_ciphers'] = "ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA256:ECDHE-RSA-AES256-SHA:ECDHE-RSA-AES128-SHA:ECDHE-RSA-DES-CBC3-S
77
HA:AES256-GCM-SHA384:AES128-GCM-SHA256:AES256-SHA256:AES128-SHA256:AES256-SHA:AES128-SHA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!MD5:!PSK:!RC4"
78
nginx['listen_addresses'] = ['0.0.0.0']
79
nginx['redirect_http_to_https'] = true
80
web_server['external_users'] = ['nginx']
81
nginx['client_max_body_size'] = '5000m'
82
nginx['real_ip_trusted_addresses'] = [ '0.0.0.0/0' ]
83
nginx['real_ip_header'] = 'X-Forwarded-For'
84
nginx['real_ip_recursive'] = 'on'
85

86
gitlab_pages['enable'] = true
87
gitlab_pages['external_http'] = ['0.0.0.0:8087']
88
gitlab_pages['inplace_chroot'] = true
89
gitlab_exporter['enable'] = true
90
gitlab_exporter['listen_address'] = '0.0.0.0'
91
gitlab_exporter['listen_port'] = '9168'
92

93
# PostgreSQL connection details
94
postgresql['enable'] = false
95
gitlab_rails['db_adapter'] = "postgresql"
96
gitlab_rails['db_host'] = '10.1.1.1'
97
gitlab_rails['db_port'] = 5432
98
gitlab_rails['db_username'] = "user"
99
gitlab_rails['db_password'] = "passwd"
100
gitlab_rails['db_database'] = "gitlab"
101
# Prevent database migrations from running on upgrade automatically
102
#gitlab_rails['auto_migrate'] = false
103

104
# Redis connection details
105
redis['enable'] = false
106
gitlab_rails['redis_host'] = "10.1.1.1"
107
gitlab_rails['redis_port'] = 6379
108
gitlab_rails['redis_password'] = "passwd"
109
gitlab_rails['redis_database'] = 0
110

111
# Set the network addresses that the exporters used for monitoring will listen on
112
gitlab_workhorse['prometheus_listen_addr'] = '0.0.0.0:9229'
113
sidekiq['listen_address'] = "0.0.0.0"
114
puma['listen'] = '0.0.0.0'
115
puma['exporter_enabled'] = true
116
puma['exporter_address'] = "0.0.0.0"
117
puma['worker_timeout'] = 600
118
gitlab_rails['env'] = {
119
   'GITLAB_RAILS_RACK_TIMEOUT' => 600
120
 }
121
# Set number of Sidekiq threads per queue process to the recommend number of 10
122
sidekiq['max_concurrency'] = 25
123

124
# Add the monitoring node's IP address to the monitoring whitelist and allow it to
125
# scrape the NGINX metrics. Replace placeholder `monitoring.gitlab.example.com` with
126
# the address and/or subnets gathered from the monitoring node
127
gitlab_rails['monitoring_whitelist'] = ['10.0.0.0/8','127.0.0.0/8','172.0.0.0/8']
128
#nginx['status']['options']['allow'] = ['10.0.0.0/8', '127.0.0.0/8','172.0.0.0/8']
129

130
# note the 'https' below
131
#external_url "https://gitlab.xpaas.ccops.com"
132
letsencrypt['enable'] = false
133

134
### GitLab Shell settings for GitLab
135
# gitlab_rails['gitlab_shell_ssh_port'] = 22
136
gitlab_rails['git_max_size'] = 209715200
137
gitlab_rails['git_timeout'] = 30
138

139
### GitLab email server settings
140
###! Docs: https://docs.gitlab.com/omnibus/settings/smtp.html
141
###! **Use smtp instead of sendmail/postfix.**
142

143
gitlab_rails['smtp_enable'] = true
144
gitlab_rails['smtp_address'] = ""
145
gitlab_rails['smtp_port'] = 25
146
# gitlab_rails['smtp_user_name'] = "smtp user"
147
# gitlab_rails['smtp_password'] = "smtp password"
148
# gitlab_rails['smtp_domain'] = "example.com"
149
gitlab_rails['smtp_authentication'] = "plain"
150
gitlab_rails['smtp_enable_starttls_auto'] = true
151
gitlab_rails['smtp_tls'] = false
152
###! **Can be: 'none', 'peer', 'client_once', 'fail_if_no_peer_cert'**
153
###! Docs: http://api.rubyonrails.org/classes/ActionMailer/Base.html
154
gitlab_rails['smtp_openssl_verify_mode'] = 'none'
155

156
# user['git_user_name'] = "GitLab"
157
user['git_user_email'] = ""
158

159
################################################################################
160
## GitLab Logging
161
###! Docs: https://docs.gitlab.com/omnibus/settings/logs.html
162
################################################################################
163
logging['svlogd_size'] = 200 * 1024 * 1024 # rotate after 200 MB of log data
164
logging['svlogd_num'] = 30 # keep 30 rotated log files
165
logging['svlogd_timeout'] = 24 * 60 * 60 # rotate after 24 hours
166
logging['svlogd_filter'] = "gzip" # compress logs with gzip
167
logging['svlogd_udp'] = nil # transmit log messages via UDP
168
logging['svlogd_prefix'] = nil # custom prefix for log messages
169
#logging['logrotate_frequency'] = "daily" # rotate logs daily
170
logging['logrotate_size'] = "500M" # do not rotate by size by default
171
logging['logrotate_rotate'] = 30 # keep 30 rotated logs
172
logging['logrotate_compress'] = "compress" # see 'man logrotate'
173
logging['logrotate_method'] = "copytruncate" # see 'man logrotate'
174
#logging['logrotate_postrotate'] = nil # no postrotate command by default
175
# logging['logrotate_dateformat'] = nil # use date extensions for rotated files rather than numbers e.g. a value of "-%Y-%m-%d" would give rotated files like production.log-2016-03-09.gz
176
################################################################################
177
## Logrotate
178
##! Docs: https://docs.gitlab.com/omnibus/settings/logs.html#logrotate
179
##! You can disable built in logrotate feature.
180
################################################################################
181
logrotate['enable'] = true
182

183
gitlab_ci['gitlab_ci_email_from'] = ''
184
gitlab_ci['gitlab_ci_support_email'] = ''
185
gitlab_ci['gravatar_enabled'] = false

展开收起

4.5 Docker-compose#

1
version: '2.0'
2
services:
3
  gitlab-rails:
4
    restart: always
5
    image: registry-sy.ccops.cc/agile_tools/gitlab-ce:14.8.5
6
    extra_hosts:
7
      - "gitlab-tst.ccops.cc:10.1.1.4"
8
      - "gitaly-1.ccops.cc:10.1.1.1"
9
      - "gitaly-2.ccops.cc:10.1.1.2"
10
      - "gitaly-3.ccops.cc:10.1.1.3"
11
    ports:
12
     - "443:443"
13
     - "80:80"
14
     - "2222:22"
15
     - "8080:8080"
16
     - "9168:9168"
17
     - "9229:9229"
18
     - "8082:8082"
19
     - "8060:8060"
20
     - "8083:8083"
21
     - "8087:8087"
22
    volumes:
23
     - "/gitlab-data/config:/etc/gitlab"
24
     - "/data/gitlab/logs:/var/log/gitlab"
25
     - "/data/gitlab/data:/var/opt/gitlab"
26
     - "/gitlab-data/.ssh:/var/opt/gitlab/.ssh"
27
     - "/gitlab-data/gitlab-rails/uploads:/var/opt/gitlab/gitlab-rails/uploads"
28
     - "/gitlab-data/gitlab-rails/shared:/var/opt/gitlab/gitlab-rails/shared"
29
     - "/gitlab-data/gitlab-ci/builds:/var/opt/gitlab/gitlab-ci/builds"
30
     - "/etc/localtime:/etc/localtime:ro"

展开收起

4.6 启动 Gitlab#

docker-compose up -d

5 查看集群状态#

image-20220610155640637

5.1 如果状态不对#

gitaly 容器执行

docker exec -it <name}/opt/gitlab/embedded/bin/gitaly-hooks check /var/opt/gitlab/gitaly/config.toml

6 配置 Gitaly 权重#

默认情况 default 权重是 100,创建的所有 project 都分配到 default,需要手动改下

image-20220610163738368

三, 排错与遇到的问题#

docker logs <name>

tailf /data/gitlab/logs/gitlab-rails/production.log

1 连接不到 Redis#

Terminal window

1
2022-06-09T06:05:04.579Z: {:message=>"Failed to create / detach partition(s)", :table_name=>"batched_background_migration_job_transition_logs", :exception_class=>Redis::CommandError, :exception_message=>"ERR unknown command `sentinel`, with args beginning with: `get-master-addr-by-name`, `sentine10.1.142.110`,", :connection_name=>"main"}

2 找不到证书#

默认是根据 external_url 配置获取证书文件名

Terminal window

1
2022-06-09_06:05:03.37115 nginx: [emerg] cannot load certificate "/etc/gitlab/ssl/gitlab.example.com.crt": BIO_new_file() failed (SSL: error:02001002:system library:fopen:No such file or directory:fopen('/etc/gitlab/ssl/gitlab.example.com.crt','r') error:2006D080:BIO routines:BIO_new_file:no such file)

3 连不到 Pgsql#

这里卡半天,一定要检测 pgsql 连接啊

Terminal window

1
gitlab Reconfigured!
2
Checking for unmigrated data on legacy storage
3
Upgrade failed. Could not check for unmigrated data on legacy storage.
4

5
If you would like to restart the instance without perfming this check
6
check, add the following to your docker command:

4 删除旧日志#

Terminal window

1
2022-06-09_03:49:19.43475 ts=2022-06-09T03:49:19.432Z caller=log.go:168 level=debug msg="Querying namespace" namespace=pg_stat_bgwriter
2
*** buffer overflow detected ***: terminated
3
xargs: tail: terminated by signal 6

5 访问 Gitaly 问题#

一般都是 gitaly 问题,通过/opt/gitlab/embedded/bin/gitaly-hooks check /var/opt/gitlab/gitaly/config.toml命令测试是否正常

Terminal window

1
tailf /data/gitlab/logs/gitlab-rails/production.log
2
GRPC::Unavailable (14:failed to connect to all addresses. debug_error_string:{"created":"@1654766155.243770117","description":"Failed to pick subchannel","file":"src/core/ext/filters/client_channel/client_channel.cc","file_line":3093,"referenced_errors":[{"created":"@1654766155.243766927","description":"failed to connect to all addresses","file":"src/core/lib/transport/error_utils.cc","file_line":163,"grpc_status":14}]}):

6 证书问题#

Terminal window

1
could not create GitLab API client:

7 跳转#

如果配置 external_url 是 https,那么访问无法通过 http 请求访问

8 Error while Dialing: Dial Tcp: Lookup gitaly-d.ccops on 10.1.1.1:53: no such Host#

使用 dns 解析,没通过 hosts 解析,需要 dns 添加 gitaly-d.ccops 解析

9 org.eclipse.jgit.api.errors.TransportException: https://gitlab-tst.ccops.cc/tst.git: Cannot Open Git-upload-pack#

加密算法问题,添加

Terminal window

1
ssl_ciphers 'ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA256:ECDHE-RSA-AES256-SHA:ECDHE-RSA-AES128-SHA:ECDHE-RSA-DES-CBC3-SHA:AES256-GCM-SHA384:AES128-GCM-SHA256:AES256-SHA256:AES128-SHA256:AES256-SHA:AES128-SHA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!MD5:!PSK:!RC4';

GitLab 迁移到外部数据库

Thu, 09 Jun 2022 20:50:52 GMT

1 前期准备#

准备生产 redis 和 pg 集群,在 pg 上创建一个新的无任何数据的库： gitlab
提前将新的 gitlab.rb 文件修改完成（添加外部 pg 和 redis 连接配置）

2 备份#

2.1 检查后台迁移任务#

在升级到新的主要版本之前，请确保所有后台迁移已完全完成
这一点很重要。在后台迁移完成之前进行升级可能会导致数据损坏。
可在 http://{gitlaburl}/admin/background_jobs 中查看

image-20220613141122340

2.2 停掉服务#

gitlab-ctl stop puma

gitlab-ctl stop sidekiq

2.3 进行备份#

gitlab-backup create SKIP=uploads,builds,artifacts,lfs,registry,pages,repositories

2.4 查看#

Terminal window

1
# pwd
2
/data/gitlab-data/data/backups
3
# ll -h
4
total 3.4G
5
-rwxr-xr-x 1 chrony    polkitd 2.5G Jun 13 11:47 1655023648_2022_06_13_14.8.5_gitlab_backup.tar

3 修改配置文件#

将提前准备好的配置文件，替换 gitlab.rb

gitlab-ctl reconfigure

4 还原#

4.1 还原数据#

上面查到的文件名只保留版本前面的信息
按照提示输入两次 yes 并回车

gitlab-rake gitlab:backup:restore BACKUP=1655091528_2022_06_13_14.8.5

4.2 启动服务#

gitlab-ctl start

5 迁移数据#

gitlab-rake gitlab:check SANITIZE=true

gitlab-rake gitlab:doctor:secrets

Kubernetes命令总结

Thu, 09 Jun 2022 15:26:26 GMT

网上搜的命令要么不全,要么写的太多,看这字多,自己总结了下

1 kubectl 自动补全#

Terminal window

1
yum install bash-completion
2
echo "source /usr/share/bash-completion/bash_completion" >>  ~/.bashrc
3
echo 'source <(kubectl completion bash)' >>~/.bashrc
4
source ~/.bashrc
5
type _init_completion         #检查是否安装成功

2 资源对象#

2.1 工作负载型资源对象#

POD，ReplicaSet，Deployment，StatefulSet，DaemonSet，Job，Cronjob …

2.2 服务发现及均衡资源对象#

Service，Ingress, IngressRoute …

2.3 配置与存储资源对象#

PersistentVolumeClaim(存储卷声明)，CSI(容器存储接口,可以扩展各种各样的第三方存储卷)，ConfigMap，Secret

2.4 集群级资源#

Namespace，Node，Role，ClusterRole，RoleBinding，ClusterRoleBinding，PersistentVolume(存储卷)，StorageClass(存储类)

2.5 元数据型资源#

HPA，PodTemplate，LimitRange, event(事件)

3 查看与编辑#

3.1 查看#

kubectl get <资源对象> -n <名称空间> -o <wide>|<yaml>

3.2 详情#

kubectl describe <资源对象> <资源名称> -n <名称空间>

3.3 编辑#

kubectl edit <资源对象> <资源名称> -n <名称空间>

3.4 创建#

kubectl apply -f <文件名称>

3.5 过滤#

kubectl get -l <键>=<值> -n <名称空间> <资源对象>

3.6 查看状态#

kubectl describe <资源对象> <资源名称> -n <名称空间>

3.7 删除#

kubectl delete <资源对象> <资源名称> -n <名称空间>

4 集群维护#

4.1 集群健康情况#

kubectl get cs

4.2 集群核心组件运行情况#

kubectl cluster-info

4.3 查看 etcd 详情#

证书路径根据自己环境修改

Terminal window

1
ETCDCTL_API=3 etcdctl --endpoints="https://<etcd1>:2379,https://<etcd2>:2379,https://<etcd3>:2379" --cert=etcd/etcd.pem --key=etcd/etcd-key.pem --cacert=etcd/ca.pem -w table endpoint status

4.4 查看节点资源使用情况#

kubectl top node

4.5 查看 pod 资源使用情况#

kubectl top pod <pod名称> -n <名称空间>

4.6 查看事件#

kubectl get event -n <名称空间>

4.7 进入 pod 维护#

kubectl exec -it <pod名称> -n <名称空间> -- sh

4.8 查看单个 pod 单个容器日志#

kubectl logs -n <pod名称> -n <名称空间>

4.9 查看多个 pod 单个容器日志#

kubectl logs -l <键>=<值> -n <名称空间> -c <容器名称>

4.10 查看多个 pod 多个容器日志#

kubectl logs -l <键>=<值> -n minio --all-containers=true

更多命令参考

记录一次exporter故障

Tue, 07 Jun 2022 20:31:19 GMT

[!info] 现象: prometheus 上查看 exporter 节点爆红 exporter 的 pod 曾经 oom 过,重启后使用内存增长迅速,log 报错 timout,手动通过 url 访问没任何问题

1 考虑服务本身问题#

1.1 查看事件#

因为操作完写的文档,没有记录了,当时有OOM killed字段,怀疑硬件资源问题

1.2 查看系统硬件日志#

搜索 oom 会找到报错,重点是:mems_allowed=0,所以 pod 被 kill 掉了

1
dmesg -T |grep oom
2
[Mon Jun  6 14:15:29 2022] test-exporter-57bb88f4b4-92b6c invoked oom-killer: gfp_mask=0x40cc0(GFP_KERNEL|__GFP_COMP), order=0, oom_score_adj=999
3
[Mon Jun  6 14:15:29 2022]  oom_kill_process.cold+0xb/0x10
4
[Mon Jun  6 14:15:29 2022] [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
5
[Mon Jun  6 14:15:29 2022] oom-kill:constraint=CONSTRAINT_MEMCG,nodemask=(null),cpuset=2cc569cbfe3a5704262577c4981320162423466ca195a113062c49c633b719c6,mems_allowed=0,oom_memcg=/kubepods/burstable/pod772b413a-011a-4f9d-bd8d-037298a367df,task_memcg=/kubepods/burstable/pod772b413a-011a-4f9d-bd8d-037298a367df/2cc569cbfe3a5704262577c4981320162423466ca195a113062c49c633b719c6,task=test-exporter-57bb88f4b4-92b6c,pid=20620,uid=0

1.3 查看内存使用#

1
kubectl top pod -n kube-system test-exporter-57bb88f4b4-92b6c --use-protocol-buffers
2
NAME                              CPU(cores)   MEMORY(bytes)
3
test-exporter-57bb88f4b4-92b6c   79m           3301Mi

1.4 手动访问测试#

手动测试没任何问题

1
curl http://10.1.1.1:9100/metrics -I
2
HTTP/1.1 200 OK
3
Content-Length: 35049
4
Content-Type: text/plain; version=0.0.4; charset=utf-8
5
published: Mon, 06 Jun 2022 05:53:13 GMT

1.5 再次查看 prometheus#

[!info] 因为手动访问没任何问题,只能在看看 prometheus,于是发现一开始节点状态是正常的,但是过一会发现又报红了

1.6 再次查看资源使用情况#

发现内存使用增长迅速

1
kubectl top pod -n kube-system test-exporter-57bb88f4b4-92b6c --use-protocol-buffers
2
NAME                              CPU(cores)   MEMORY(bytes)
3
test-exporter-57bb88f4b4-92b6c   120m           6378Mi

1.7 尝试 pod 里查看资源使用情况#

pod 里面资源使用也正常,没有多余进程

2 检查 prometheus#

因为这服务一切正常,只能考虑 prometheus,后来发现这个

image-20220606144045898

2.1 查看配置#

是 10 秒拉取一次,而我们有两个 prometheus,平均 5 秒拉取一次,因为这个 exporter 是 Python 写的,所有性能比较低,考虑可能并发问题于是改成 2 分钟拉取一次

1
- job_name: kubernetes-cadvisor
2
  honor_timestamps: true
3
  scrape_interval: 10s
4
  scrape_timeout: 5s

继续观察发现节点正常,总结: prometheus 拉取频率要合理,优化代码

Redis 常用命令

Tue, 31 May 2022 21:53:19 GMT

Terminal window

1
#使用redis-cli连接到127.0.0.1 6379这个redis服务节点,集群模式需要加-c,输入密码加-a 后面可以直接接命令
2
/opt/redis/redis-cli -h 127.0.0.1 -p 6379 # -c -a qweasd

1 基本#

} 默认 16 个数据库，默认使用第 0 个 } } 集群模式只能用第 0 个

命令	说明
select dbNum	选择数据库，如 select 0 选择第一个
dbsize	查看当前数据库数据数量
flushdb	清空当前数据库
flushall	清空所有数据库
exists key	判断 key 是否存在
move key dbNum	把一个数据移动到指定的数据库，如 move key1 3，把 key1 移动到数据库 3
keys *	查询当前数据库所有 key，代表所有，也可以模糊匹配，如 keys a，代表查询 a 开头的所有 key
expire key seconds	设置一个 key 多久过期，单位秒
ttl key	查询一个 key 剩余到期时间
type key	查看 key 的数据类型，如 string
del key	直接删除
unlink key	懒删除
config get xxx	获取指定配置参数
info	查看服务节点信息，版本、主从、数据信息等
slaveof no one	当前节点变为 master 节点
slaveof host port	当前节点变为指定节点的从节点

2 字符串操作#

命令	说明
setex key seconds value	设置一个 string 类型的数据，并指定过期时间，如果存在该数据，则覆盖，原子操作设置成功返回 OK
setnx key value	设置一个 string 类型的数据，只有 key 不存在的情况下才可成功设置，若 key 存在，不做任何操作。成功返回 1，失败返回 0，通常用作分布式锁，但是建议 set key val nx ex…这样保证原子操作
set key value	设置一个 string 类型的数据，如果存在，则覆盖，成功返回 OK 支持 NX 参数（不存在才成功），支持 EX 参数（过期秒）支持 PX 参数（过期毫秒）
get key	获取一个 string 类型的数据
append key value	在一个 string 类型数据末尾添加数据，成功返回追加后的字符串长度
incr key	自增 1，数据格式必须是数字，返回自增后的值
decr key	递减 1，数据格式必须是数字，返回递减后的值
strlen key	获得数据的 length
getrange key start end	获取数据并截取指定长度，索引 0 开始算， end 可用-1 代表最大
mset key1 v1 key2 v2…	批处设置数据，set 的批量，成功返回 OK
mget key1 key2	批量获取数据，get 的批量，成功返回相应值的列表
msetnx key1 v1 key2 v2…	setnx 的批量设置，必须全部 key 不存在，才能设置成功。成功返回 1，失败返回 0
getset key	先获取原值，再设置新值，如果 key 不存在则返回 null 并设置新值

3 List 操作#

本质上是一个双向链表

lpush + rpop = 先进先出队列

lpush + lpop = 压栈弹栈

命令	说明
lpush key val1 val2 val3…	向 key 头部添加元素 val1 val2 val3…，返回列表长度
rpush key val1 val2 val3…	向 key 尾部添加元素 val1 val2 val3…，返回列表长度
lpop key	查询头部元素，取出后移除该元素
rpop key	查询尾部元素，取出后移除该元素
lrange key start end	查询元素列表，索引 0 开始，end -1 代表最大
lindex key index	按照索引查询指定的元素，0 开始
llen key	查询队列的元素数量
lrem key count value	移除指定的值， count } 0 代表从头部开始，移除 count 个 valuecount ${ 0 代表从尾端开始，移除 count 个 value 成功返回移除的数量
ltrim key start end	截取，索引 0 开始，包括 end，而不是 end 之前。成功返回 OK
rpoplpush key1 key2	将 key1 的尾端元素取出，添加到 key2 的头部，成功返回该元素
lset key index value	根据索引指定元素，设置它的新数据
linsert key befrore value newVal	在指定的 value 之前，插入新元素 newVal，成功返回元素总数
linsert key after value newVal	至指定的 value 之后，插入新元素 newVal，成功返回元素总数

4 Set 操作#

不可添加重复值的集合

命令	说明
sadd key val1 val2…	向 key 添加元素 val1 val2…重复值无效，返回添加个数
smembers key	查询 key 里的所有元素
sismember key val	查询 key 里是否有 val，存在返回 1，否则 0
scard key	查询 key 中的元素总数
srandmember key count	在 key 中随机查询 count 个元素，默认 count 1
spop key	随机查询一个元素，并在 key 中移除
srem key val	删除 key 中指定的值 val，成功返回 1
smove key1 key2 val	将 key1 中的 val，移出到 key2，成功返回 1
sdiff key1 key2	以 key1 为准，查询 key1 中，key1 与 key2 的差集
sinter key1 key2	查询 key1 与 key2 的交集
sunion key1 key2	查询 key1 与 key2 的并集

5 Hash 操作#

即一个 key 的值为 hashMap，这个 key 的值都是 k/v 键值对的 hashmap。

命令	操作
hset mapkey key val	在 mapkey 的 hashmap 中设置一个 key 为 k，value 为 v 的元素，成功返回增加元素的数量
hmset mapkey k1 v1 k2 v2	在 mapkey 的 hashmap 中，设置多个 k/v 元素，成功返回增加元素的数量
hget mapkey key	在 mapkey 这个 hashmap 中，获取 key 的值
hmget mapkey k1 k2	在 mapkey 这个 hashmap 中，获取多个 key 的值
hdel mapkey k1 k2…	删除 mapkey 这个 hashmap 中的 k1 k2 和相应的 value 成功返回删除数量
hgetall mapkey	获取 mapkey 这个 hashmap 中，所有的 k/v 键值对
hkeys mapkey	获取 mapkey 这个 hashmap 中所有的 key
hlen mapkey	获取 mapkey 这个 hashmap 中的元素数量
hincrby mapkey key incrNum	在 mapkey 这个 hashmap 中，将 key 的值递增，递增数由 incrNum 决定(可以负数)，成功返回自增后的值。
hsetnx mapkey key val	在 mapkey 这个 hashmap 中，设置一个 key/val 键值对，如果存在则设置失败，与字符串的 setnx 同理。成功返回插入数量 1，否则 0

6 ZSet(Sorted Set)操作#

有序集合

命令	说明
zadd key score1 val1 score2 val2	向集合 key 添加元素，score 代表排序值，支持 NX 参数(不存在才添加元素，但不支持 EX 过期)。成功返回添加成功的元素总数
zrange key start end	升序查询结果集，索引从 0 开始，参数 withscores 将把 score 加入结果集
zrevrange key start end	降序查询结果集，索引从 0 开始
zrangebyscore key min max	指定最小最大 score 值，升序查询，-inf 代表负无穷，+inf 代表正无穷，参数 withscores 将把 score 值加入结果集
zrevrangebyscore key max min	指定最大最小 score 值，降序查询，与 zrangebyscore 同理
zrem key val…	根据元素值删除元素，成功返回删除数量，否则 0
zincrby key incrNum val	给 val 的 score 递增 incrNum(可为负数)，成功返回递增后的值
zrank key val	按照升序，查询 val 的 score 排名，val 不存在返回 null
zrevrank key val	按照降序，查询 val 的 score 排名
zcard key	查询元素数量
zcount key min max	根据 score 最小最大值，查询指定范围内元素的数量

7 哨兵模式常用操作#

命令	说明
INFO	sentinel 的基本状态信息
SENTINEL masters	主服务器的当前状态
SENTINEL slaves ${master-name}	从节点状态情况
SENTINEL sentinels ${master-name}	列出指定主 redis 的监控哨兵信息,不包括他自己
SENTINEL get-master-addr-by-name ${master-name}	返回给定名字的主服务器的 IP 地址和端口号
SENTINEL flushconfig	将配置强制刷新到本地文件
sentinel monitor master−name{master-name}master−name{master-ip} ${master-prot} 2	添加 master
sentinel failover ${master-name}	强制故障转移

8 集群模式常用操作#

命令	说明
CLUSTER INFO	打印集群的信息
CLUSTER NODES	查看所有节点
CLUSTER MEET ${ip} ${port}	添加节点
CLUSTER FORGET ${node id}	移除节点
CLUSTER REPLICATE ${node id}	将当前节点设置为 node id 节点的从节点
CLUSTER SAVECONFIG	配置文件保存到硬盘里面
CLUSTER ADDSLOTS ${slot}	将一个或多个槽指派给当前节点
CLUSTER DELSLOTS ${slot}	当前节点移除一个或多个槽
CLUSTER FLUSHSLOTS	移除当前节点的所有槽
CLUSTER SETSLOT ${slot} NODE ${node id}	将槽指派给 node id 节点,如果槽被占用,需要提前移出
CLUSTER SETSLOT ${slot} MIGRATING ${node id}	将本节点的槽迁移到 node id 节点中
CLUSTER SETSLOT ${slot} IMPORTING ${node id}	从 node id 节点导入槽到本节点
CLUSTER SETSLOT ${slot}	取消对槽的导入或者迁移
CLUSTER KEYSLOT ${key}	计算键 key 应该被放置在哪个槽上
CLUSTER COUNTKEYSINSLOT ${slot}	返回槽 slot 目前包含的键值对数量
CLUSTER GETKEYSINSLOT ${slot} ${count}	返回 count 个 slot 槽中的键

更多命令参考

Redis 哨兵模式笔记

Tue, 31 May 2022 19:23:19 GMT

1 哨兵工作机制#

1.1 环境架构#

20220531161936

每个哨兵节点，每 10 秒向已知的各个主从节点发送 info 命令，获取最新的拓扑结构关系和各个节点详细信息；
每个哨兵节点每 1 秒向它已知的 Master、Slave 节点以及其他哨兵节点发送一个 ping 命令，从最后一次成功响应的时间开始，超过 down-after-milliseconds 设置的时间，则监测的哨兵标记为下线；
如果一个 Master 节点被哨兵标记为下线，其它所有哨兵节点再次每秒 1 个 ping，未收到 pong 则确认下线，进入主观下线状态；
确认 Master 主观下线的哨兵节点数，如果达到配置参数的值，则 Master 节点进入正式客观下线；
如果确认 Master 主管下线的哨兵节点数，达不到配置的值，客观下线状态移除；
如果哨兵节点能重新与 Master 节点进行 ping-pong ，主观下线状态移除。

1.2 为什么要用哨兵集群#

防止误判：对于节点的故障判断是由多个 Sentinel 节点共同完成。
高可靠：即使个别 Sentinel 节点不可用，整个 Sentinel 节点集合依然是健壮的。

1.3 Leader 选举流程#

每个哨兵都有机会成为 leader 负责故障转移，哨兵节点之间相互请求，选举自身为 leader，每个哨兵节点必须同意或拒绝投票，当一个哨兵节点的投票数达到哨兵总数 / 2 + 1 时，则选为 leader 负责故障转移。

1.4 故障转移#

image-20220531105316357

负责故障转移的哨兵节点会按以下步骤选择 Master 节点：

将现有节点拓扑结构中下线的节点过滤掉；

在剩余的从节点中，选择 replica-priority(5.0 之前的 slave-priority)参数最小的节点作为 Master，0 代表不参与选举；

如果未选出，则根据复制偏移量，选择最大的节点，复制偏移量越大代表数据越完整；

若仍未选出，则根据 redis 运行时生成的随机 run id，选择最小 id 节点作为 Master。

选择出 Master 之后，改变其它节点的主从关系，并重写配置，使得主从关系的持久化；并依据新的 Master 节点的数据，使其它节点进行数据同步。

2 主从部署#

一般来说，主从模式至少 1 个 master+2 个 slave 节点
主节点 6379，从节点 6380/6381，哨兵节点 4001/4002/4003 (详细配置参考)

2.1 Master 节点#

2.1.1 配置#

cat redis_6379.conf

Terminal window

1
bind 10.1.1.1
2
port 6379
3
# 主节点密码
4
requirepass qweasd
5
# 主从切换后新master节点密码
6
masterauth qweasd
7
daemonize yes
8
pidfile /var/run/redis_6379.pid
9
dir /opt/redis/redis_6379
10
dbfilename 6379_dump.rdb

2.1.2 启动#

Terminal window

1
cd /opt/redis
2
src/redis-server redis_6379.conf

2.2 Slave 节点#

2.2.1 配置#

cat redis_6380.conf redis_6381.conf

Terminal window展开收起

1
bind 10.1.1.1
2
# 每个节点设置自身的端口
3
port 6380
4
# slave节点密码
5
masterauth qweasd
6
# master节点密码
7
masterauth qweasd
8
# 配置文件建立初始的主从关系
9
# 也可以在从节点启动后，使用rediscli方式，slaveof ip port命令建立主从关系。
10
replicaof 10.1.1.1 6379
11
# 5.0之前使用slaveof配置
12
# slaveof 10.1.1.1 6379
13

14
# 后台启动
15
daemonize yes
16
pidfile /var/run/redis_6380.pid
17
dir /opt/redis/redis_6380
18
dbfilename 6380_dump.rdb

展开收起

2.2.2 启动#

分别启动 2 个从节点，默认从节点只读

Terminal window

1
cd /opt/redis
2
src/redis-server redis_6380.conf
3
src/redis-server redis_6381.conf

2.3 查看日志#

2.3.1 Master 主节点，同步信息#

Terminal window

1
1487:M 31 May 2022 04:46:16.774 * Replica 10.1.1.1:6379 asks for synchronization
2
1487:M 31 May 2022 04:46:16.774 * Full resync requested by replica 10.1.1.1:6379
3
......
4
1487:M 31 May 2022 04:46:16.894 * Synchronization with replica 10.1.1.1:6379 succeeded
5
......
6
1487:M 31 May 2022 04:46:18.738 * Replica 10.1.1.1:6380 asks for synchronization
7
1487:M 31 May 2022 04:46:18.738 * Full resync requested by replica 10.1.1.1:6380
8
......
9
1487:M 31 May 2022 04:46:18.805 * Synchronization with replica 10.1.1.1:6380 succeeded

2.3.2 Slave 从节点信息#

Terminal window

1
1491:S 31 May 2022 04:46:18.734 * Connecting to MASTER 10.1.1.1:6379
2
1491:S 31 May 2022 04:46:18.735 * MASTER <-> REPLICA sync started
3
1491:S 31 May 2022 04:46:18.737 * Master replied to PING, replication can continue
4
......
5
1491:S 31 May 2022 04:46:18.754 * Full resync from master: cd06ef23f36a4b98e0b0126d04d667b5ec6031ce:0
6
1491:S 31 May 2022 04:46:18.805 * MASTER <-> REPLICA sync: receiving 176 bytes from master to disk
7
1491:S 31 May 2022 04:46:18.807 * MASTER <-> REPLICA sync: Flushing old data
8
1491:S 31 May 2022 04:46:18.810 * MASTER <-> REPLICA sync: Loading DB in memory
9
1491:S 31 May 2022 04:46:18.825 * MASTER <-> REPLICA sync: Finished with success

2.4 查看集群状态#

使用 redis-cli 连接 master 查看信息如下：

Terminal window

1
10.1.1.1:6379> info replication
2
# Replication
3
role:master
4
connected_slaves:2
5
slave0:ip=10.1.1.1,port=6380,state=online,offset=1484,lag=1
6
slave1:ip=10.1.1.1,port=6381,state=online,offset=1484,lag=0
7
...

3 哨兵部署#

3.1 配置#

哨兵配置 sentinel_4001.conf、sentinel_4002.conf、sentinel_4003.conf
只需配置 master 节点地址，自动获取整个拓扑关系。

Terminal window

1
bind 10.1.1.1
2
# 具体哨兵节点的端口号
3
port 4001
4
daemonize yes
5
# 监听master节点，从master节点获取节点拓扑关系
6
# 2代表至少2个哨兵确认master下线，则标记为客观下线，开始选举和故障迁移 sineMaster是这个master的名字
7
sentinel monitor sineMaster 10.1.1.1 6379 2
8
# 主节点密码
9
sentinel auth-pass sineMaster qweasd
10
# 下线超时时间，毫秒
11
sentinel down-after-milliseconds sineMaster 3000
12
dir /opt/redis/sentinel_4001 # 工作路径

3.2 启动 3 个哨兵节点#

Terminal window

1
cd /opt/redis
2
src/redis-sentinel sentinel_4001.conf
3
src/redis-sentinel sentinel_4002.conf
4
src/redis-sentinel sentinel_4003.conf

3.3 查看日志#

Terminal window

1
1496:X 31 May 2022 05:09:03.984 # Sentinel ID is d62a1beae6b637f77f6e32233a4bb42ea5e0aee0
2
1496:X 31 May 2022 05:09:03.984 # +monitor master sineMaster 10.1.1.1 6379 quorum 2
3
1496:X 31 May 2022 05:09:03.987 * +slave slave 10.1.1.1:6379 10.1.1.1 6379 @ sineMaster 10.1.1.1 6379
4
1496:X 31 May 2022 05:09:03.992 * +slave slave 10.1.1.1:6380 10.1.1.1 6380 @ sineMaster 10.1.1.1 6379
5
1496:X 31 May 2022 05:09:04.380 * +sentinel sentinel ee753589ab5dea31a568e33eeee5aaf8366ebede 10.1.1.1 4002 @ sineMaster 10.1.1.1 6379
6
1496:X 31 May 2022 05:09:05.393 * +sentinel sentinel cbc1e91f109f153d0a2b49d81b039af57ad27309 10.1.1.1 4001 @ sineMaster 10.1.1.1 6379

3.4 查看哨兵集群状态#

src/redis-cli -h 10.1.1.1 -p 4001

Terminal window

1
10.1.1.1:4001> info sentinel
2
# Sentinel
3
sentinel_masters:1
4
sentinel_tilt:0
5
sentinel_running_scripts:0
6
sentinel_scripts_queue_length:0
7
sentinel_simulate_failure_flags:0
8
master0:name=sineMaster,status=ok,address=10.1.1.1:6379,slaves=2,sentinels=3

4 集群维护#

4.1 添加 slve 节点#

4.1.1 新增 6382 配置文件#

Terminal window展开收起

1
bind 10.1.1.1
2
#每个节点设置自身的端口
3
port 6382
4
# slave节点密码
5
requirepass "qweasd"
6
masterauth "qweasd"
7
#配置文件建立初始的主从关系
8
#也可以在从节点启动后，使用rediscli方式，slaveof ip port命令建立主从关系。
9

10
#5.0之前使用slaveof配置
11
#slaveof 10.1.1.1 6379
12
daemonize yes
13
pidfile "/var/run/redis_6382.pid"
14
dbfilename "6382_dump.rdb"
15
dir "/opt/redis/redis_6382"
16
# Generated by CONFIG REWRITE
17
save 3600 1
18
save 300 100
19
save 60 10000
20
user default on nopass sanitize-payload ~* &* +@all
21
replicaof 10.1.1.1 6380

展开收起

4.1.2 启动#

src/redis-server redis_6382.conf

4.1.3 查看节点信息#

数据会自动同步

Terminal window

1
10.1.1.1:6382> keys *
2
1) "str1"
3
2) "str3"
4
3) "str4"
5
4) "str2"
6
10.1.1.1:6382> info replication
7
# Replication
8
role:slave
9
master_host:10.1.1.1
10
master_port:6380

4.2 master 节点下线维护#

4.2.1 数据手动落盘#

src/redis-cli -h 10.1.1.1 -p 6380 -a qweasd save

4.2.2 手动切换节点#

Terminal window

1
10.1.1.1:4001> info sentinel
2
# Sentinel
3
sentinel_masters:1
4
sentinel_tilt:0
5
sentinel_running_scripts:0
6
sentinel_scripts_queue_length:0
7
sentinel_simulate_failure_flags:0
8
master0:name=sineMaster,status=ok,address=10.1.1.1:6380,slaves=3,sentinels=3
9
10.1.1.1:4001> sentinel failover sineMaster

4.2.3 查看新 master 节点#

Terminal window

1
10.1.1.1:4001> info sentinel
2
# Sentinel
3
sentinel_masters:1
4
sentinel_tilt:0
5
sentinel_running_scripts:0
6
sentinel_scripts_queue_length:0
7
sentinel_simulate_failure_flags:0
8
master0:name=sineMaster,status=ok,address=10.1.1.1:6379,slaves=3,sentinels=3

4.2.4 查看 Redis 集群状态#

Terminal window

1
info replication
2
# Replication
3
role:master
4
connected_slaves:3
5
slave0:ip=10.1.1.1,port=6382,state=online,offset=2502699,lag=0
6
slave1:ip=10.1.1.1,port=6381,state=online,offset=2502563,lag=1
7
slave2:ip=10.1.1.1,port=6380,state=online,offset=2502563,lag=1
8
...

4.2.5 测试数据 (可不操作直接进行下一步)#

4.2.5.1 新 master 节点写入数据#

Terminal window

1
10.1.1.1:6379> set str5 str5
2
OK

4.2.5.2 slave 节点查看数据#

Terminal window

1
10.1.1.1:6382> keys *
2
1) "str3"
3
2) "str5"
4
3) "str4"
5
4) "str1"
6
5) "str2"

4.2.6 停掉原来的 master 节点#

src/redis-cli -h 10.1.1.1 -p 6380 -a qweasd SHUTDOWN

5 高可用测试#

5.1 主从同步测试#

5.1.1 master 写入数据#

Terminal window

1
src/redis-cli -h 10.1.1.1 -p 6379 -a qweasd
2
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
3
10.1.1.1:6379> set str1 str1
4
OK
5
10.1.1.1:6379> set str2 str2
6
OK
7
10.1.1.1:6379> set str3 str3
8
OK

5.1.2 查看 slave 节点#

5.1.2.1 6380#

Terminal window

1
10.1.1.1:6380> keys *
2
1) "str2"
3
2) "str1"
4
3) "str3"

5.1.2.2 6381#

Terminal window

1
10.1.1.1:6381> keys *
2
1) "str3"
3
2) "str2"
4
3) "str1"

5.2 主从切换测试#

5.2.1 停掉 master#

src/redis-cli -h 10.0.16.12 -p 6379 -a qweasd SHUTDOWN

5.2.2 查看哨兵状态#

可以看到 Sentinel 配置的 master 节点会自动切换成新的 ip (命令参考)

Terminal window

1
info sentinel
2
# Sentinel
3
sentinel_masters:1
4
sentinel_tilt:0
5
sentinel_running_scripts:0
6
sentinel_scripts_queue_length:0
7
sentinel_simulate_failure_flags:0
8
master0:name=sineMaster,status=ok,address=10.1.1.1:6380,slaves=2,sentinels=3

5.2.3 查看 Redis 状态#

slave 节点会自动切换到新的 master 节点

Terminal window

1
10.1.1.1:6380> info replication
2
# Replication
3
role:master
4
connected_slaves:1
5
slave0:ip=10.1.1.1,port=6381,state=online,offset=2135687,lag=0
6
...

5.2.4 新 master 节点写入数据#

Terminal window

1
10.1.1.1:6380> set str4 str4
2
OK

5.2.5 slave 节点查看数据#

数据已经同步过来

Terminal window

1
10.1.1.1:6381> keys *
2
1) "str4"
3
2) "str3"
4
3) "str1"
5
4) "str2"

5.2.6 启动停掉的旧 master 节点#

数据已经同步过来,并且自动修改 master 节点 ip,这里要注意,密码不会自动修改,需要配置提前加入masterauth参数

Terminal window

1
10.1.1.1:6379> keys *
2
1) "str1"
3
2) "str4"
4
3) "str2"
5
4) "str3"
6
10.1.1.1:6379> info replication
7
# Replication
8
role:slave
9
master_host:10.1.1.1
10
master_port:6380
11
master_link_status:up

5.2.7 查看配置文件#

每一次故障转移，哨兵都会使各个节点的配置文件同步改变，无需人工干预维持主从关系。

Terminal window展开收起

1
sentinel_4001.conf
2

3
bind 10.1.1.1
4
#具体哨兵节点的端口号
5
port 4001
6
daemonize yes
7
#监听master节点，从master节点获取节点拓扑关系
8
#2代表至少2个哨兵确认master下线，则标记为客观下线，开始选举和故障迁移
9
sentinel monitor sineMaster 10.1.1.1 6380 2
10
sentinel auth-pass sineMaster qweasd
11
#下线超时时间，毫秒
12
sentinel down-after-milliseconds sineMaster 3000
13
dir "/opt/redis/sentinel_4001"
14
# Generated by CONFIG REWRITE
15
protected-mode no
16
pidfile "/var/run/redis.pid"
17
user default on nopass sanitize-payload ~* &* +@all
18
sentinel myid 444785ae34de834b920cedec95eb5425f873a2f2
19
sentinel config-epoch sineMaster 5
20
sentinel leader-epoch sineMaster 5
21
sentinel current-epoch 5
22
sentinel known-replica sineMaster 10.1.1.1 6379
23
sentinel known-replica sineMaster 10.1.1.1 6381
24
sentinel known-sentinel sineMaster 10.1.1.1 4003 872820ad14a3d0a4bfaf2ad79d18e0137f07b704
25
sentinel known-sentinel sineMaster 10.1.1.1 4002 7a985407acebebce1163cef703475e1074981a93
26

27
redis_6379.conf
28
bind 10.1.1.1
29
port 6379
30
#主节点密码
31
requirepass "qweasd"
32
daemonize yes
33
pidfile "/var/run/redis_6379.pid"
34
dbfilename "6379_dump.rdb"
35
masterauth qweasd
36
# Generated by CONFIG REWRITE
37
save 3600 1
38
save 300 100
39
save 60 10000
40
user default on sanitize-payload #a1bd1312d23002be258c9bb4642bbea77580353869a8ee8844e6940b7e0278b7 ~* &* +@all
41
dir "/opt/redis"
42
replicaof 10.1.1.1 6380
43

44
cat redis_6380.conf
45
bind 10.1.1.1
46
#每个节点设置自身的端口
47
port 6380
48
# slave节点密码
49
masterauth "qweasd"
50
requirepass "qweasd"
51
#配置文件建立初始的主从关系
52
#也可以在从节点启动后，使用rediscli方式，slaveof ip port命令建立主从关系。
53
#5.0之前使用slaveof配置
54
#slaveof 10.1.1.1 6379
55
daemonize yes
56
pidfile "/var/run/redis_6380.pid"
57
dbfilename "6380_dump.rdb"
58
dir "/opt/redis/redis_6380"
59
# Generated by CONFIG REWRITE
60
save 3600 1
61
save 300 100
62
save 60 10000
63
user default on #a1bd1312d23002be258c9bb4642bbea77580353869a8ee8844e6940b7e0278b7 ~* &* +@all

展开收起

6 备份与恢复#

参考: [[Redis备份与恢复]]]

Redis 备份与恢复

Tue, 10 May 2022 20:13:29 GMT

有两种方案,远程与本地
集群与哨兵模式都适用,只不过集群备份还原多节点,哨兵备份还原单节点

1 远程备份:#

优点: 一个节点可以备份所有节点,不用远程登录

缺点: 占用网络带宽与 redis 性能,备份相当于真实读取 redis 数据

1.1 备份#

命令（redis-dump -u @host -d passwd > fileName.json）无密码可省略

Terminal window

1
redis-dump -u 10.1.1.1:6379 -d passwd > 6379.json
2
redis-dump -u 10.1.1.2:6380 -d passwd > 6380.json
3
redis-dump -u 10.1.1.3:6381 -d passwd > 6381.json

执行完成命令之后，生成 3 个 json 文件，即为集群节点数据，为提升导入效率，可以将文件拷贝到目标集群机进行导入，也可以直接在本机导入。

1.2 还原#

命令（cat filename.json | redis-load -u @host -d passwd）无密码可省略,期间要停止服务访问

Terminal window

1
cat 6379.json | redis-load -u 10.1.1.1:6379 -d passwd
2
cat 6380.json | redis-load -u 10.1.1.1:6380 -d passwd

2 本地备份#

2.1 数据落盘#

2.1.1 手动落盘#

有两种方式:

save：

优点：节约系统资源

缺点：直接调用 rdbSave ，阻塞 Redis 主进程，直到保存完成为止。在主进程阻塞期间，服务器不能处理客户端的任何请求。

bgsave：

优点：fork 出一个子进程，子进程负责调用 rdbSave ，并在保存完成之后向主进程发送信号，通知保存已完成。 Redis 服务器在 BGSAVE 执行期间仍然可以继续处理客户端的请求

缺点：由于会 fork 一个进程，因此更消耗内存

这里使用 bgsave 命令

redis-cli -h 10.1.1.1 -p 6380 bgsave

2.1.2 自动落盘#

save m n 触发机制
自动触发最常见的情况是在配置文件中通过 save m n，指定当 m 秒内发生 n 次变化时，会触发 bgsave。
例如，查看 Redis 根目录默认配置文件 redis.conf，看到如下配置信息：

image-20220511115457859

其中 save 300 1 的含义是：当时间到 300 秒时，如果 Redis 数据发生了至少 1 次变化，则执行 bgsave；save 100 10 和 save 60 10000 同理。
当三个 save 条件满足任意一个时，都会引起 bgsave 的调用。

实现原理:

Redis 的 save m n，是通过 serverCron 函数、dirty 计数器、和 lastsave 时间戳来实现的。

serverCron 是 Redis 服务器的周期性操作函数，默认每隔 100ms 执行一次（可在 redis.conf 文件中配置默认：hz 10 这个配置表示 1s 内执行 10 次，也就是每 100ms 触发一次定时任务）；该函数对服务器的状态进行维护，其中一项工作就是检查 save m n 配置的条件是否满足，如果满足就执行 bgsave。

dirty 计数器是 Redis 服务器维持的一个状态，记录了上一次执行 bgsave/save 命令后，服务器状态进行了多少次修改(包括增删改)；而当 save/bgsave 执行完成后，会将 dirty 重新置为 0。

例如，如果 Redis 执行了 set mykey helloworld，则 dirty 值会+1；如果执行了 sadd myset v1 v2 v3，则 dirty 值会+3；注意 dirty 记录的是服务器进行了多少次修改，而不是客户端执行了多少修改数据的命令。

lastsave 时间戳也是 Redis 服务器维持的一个状态，记录的是上一次成功执行 save/bgsave 的时间。

save m n 的原理如下：每隔 100ms，执行 serverCron 函数；在 serverCron 函数中，遍历 save m n 配置的保存条件，只要有一个条件满足，就进行 bgsave。

对于每一个 save m n 条件，只有下面两条同时满足时才算满足：

1
当前时间-lastsave > m
2
dirty >= n

save m n ：执行日志

下图是 save m n 触发 bgsave 执行时，服务器打印日志的情况：

image-20220511115618626

2.2 数据备份#

不管上面那种落盘方式,直接拷贝 rdb 文件就行

cp redis_6379.rdb /data/backup_redis

2.3 数据还原#

2.3.1 停止服务#

src/redis-cli -h 10.1.1.1 -p 6379 -a passwd shutdown

2.3.2 将 rbd 文件拷贝到 redis 目录#

cp /data/backup_redis/redis_6379.rdb /opt/redis-6.2.7/

2.3.3 启动服务#

src/redis-server redis_6379.conf

Redis 配置详解

Mon, 09 May 2022 21:43:21 GMT

1 基础配置#

Terminal window展开收起

1
#带配置文件的启动方式
2
cd /usr/local/redis
3
./bin/redis-server redis.node1.6379.conf
4

5
#将指定配置文件包含进当前配置文件
6
include /usr/local/redis/redis-pub.conf
7

8
#在redis配置文件中
9
# 1k = 1000 bytes
10
# 1kb = 1024 bytes
11
# 1m = 1000000 bytes
12
# 1mb = 1024*1024 bytes
13
# 1g = 1000000000 bytes
14
# 1gb = 1024*1024*1024 bytes
15
# 并且这些单位字符不分大小写， 1MB 1mb 1mB 1Mb都是一样。

展开收起

2 网络配置#

Terminal window展开收起

1
#绑定ip
2
bind 0.0.0.0
3
#绑定端口
4
port 6379
5
#是否保护模式
6
#no，外部可以直接访问
7
#yes则按照绑定ip、端口，如果设置了密码，还需匹配密码
8
protected-mode yes
9
#客户端连接，空闲多少秒关闭，0不关闭
10
timeout 0
11
#定时向client连接发送tcp ack探测是否存活
12
tcp-keepalive 300
13
#TCP完成3次握手的连接， 连接队列总数
14
#但最终由linux内核决定最终的队列总数
15
#/proc/sys/net/ipv4/tcp_max_syn_backlog 半连接未完成3次握手的 连接队列总数
16
#/proc/sys/net/core/somaxconn  已建立连接的 连接队列总数
17
#此值须与somaxconn保持一致，建议设为2048，同时适当提高tcp_max_syn_backlog 半连接数量
18
tcp-backlog 511

展开收起

3 通用配置#

Terminal window展开收起

1
#守护进程方式启动，后台运行，并将进程pid号写入指定文件
2
daemonize yes
3
#管理守护进程的方式，默认no,一般无需改动
4
#可选linux的upstart/systemd
5
supervised no
6
#守护进程方式启动时，pid号写入的文件
7
pidfile /usr/local/redis/redis.noed1.6379.pid
8

9
#日志等级，按日志量debug > verbose > notice(生产) > warning
10
#debug，输出打量调试信息
11
#verbose，冗长的，但是比debug输出信息少
12
#notice，生产模式
13
#warning，只输出警告信息
14
loglevel notice
15
#日志文件路径
16
logfile  "/usr/local/redis/logs/redis.node1.6379.log"
17
#数据库数量，默认16
18
databases 16
19
#启动时，是否输出logo信息
20
always-show-logo yes

展开收起

4 快照配置(RDB 持久化)#

RDB 持久化，即按频率规则配置，定期将数据快照写入磁盘，格式为 rdb

Terminal window展开收起

1
#默认持久化配置
2
save 900 1    #900秒内，操作了1个key则持久化
3
save 300 10    #300秒内，操作了10个key则持久化
4
save 60 10000  #60秒内，操作了1w个key则持久化
5

6
#持久化出现错我是否继续工作，默认yes
7
stop-writes-on-bgsave-error yes
8
#是否压缩rdd文件，会消耗一定CPU资源，默认yes， 可根据实际情况关闭
9
rdbcompression yes
10
#是否校验rdb文件的数据，会消耗一定CPU资源，默认yes，可根据实际情况关闭
11
rdbchecksum yes
12
#rdb文件名称
13
dbfilename dump.rdb
14
#主从模式，是否同步删除rdb文件，默认no，也不推荐开启
15
rdb-del-sync-files no
16
#磁盘数据文件保存目录，默认redis运行时根目录
17
dir /usr/local/redis/data/

展开收起

5 AOF 持久化#

定期将所有指令写到磁盘，默认关闭。作为 rdb 的辅助，最大程度避免数据丢失

Terminal window展开收起

1
#是否开启AOF持久化，默认关闭
2
appendonly no
3

4
#aof持久化文件的名称，路径跟随dir参数
5
appendfilename "appendonly.aof"
6

7
#aof频率，默认everysec，每秒写一次磁盘(fsync)
8
#always 每一个指令都写一次磁盘，耗费资源，效率低
9
#no 完全由linux的fsync决定，大部分linux是30秒一次fsync
10
appendfsync everysec
11

12
#aof文件正在后台rewrite期间是否调用fsync写磁盘
13
#默认no，表示调用
14
no-appendfsync-on-rewrite no
15

16
#aof文件增长百分比，即当前aof文件比上次重写的文件，增长大小的比例
17
#默认100% 倍数增长
18
auto-aof-rewrite-percentage 100
19
#aof文件重写条件，至少达到此参数大小，作用于首次重写文件，默认64mb
20
auto-aof-rewrite-min-size 64mb
21
#redis恢复数据时，忽略最后一条有错误的指令，默认yes
22
#配置no的话，如果aof文件最后一条指令有问题，直接恢复失败
23
aof-load-truncated yes
24

25
#AOF重写的时候，将把rdb快照和aof记录的指令一起写入，默认yes
26
#这种混合持久化，可以大大提高数据多的实例，重启加载数据的速度
27
aof-use-rdb-preamble yes

展开收起

6 安全配置#

Terminal window

1
#访问密码，默认未开启此配置，无需匹配密码
2
requirepass 1234556

7 客户端配置#

Terminal window

1
# 同一时间最大的客户端连接数，默认不开启
2
maxclients 10000

8 内存管理配置#

Terminal window展开收起

1
#设置最大内存，推荐物理内存的3/4，默认未开启配置，不限制内存上限
2
maxmemory 1gb
3

4
#内存达到上限后的策略，默认noeviction策略
5
#volatile-lru 使用LRU算法，在设置了过期时间的key中选择，淘汰最后使用时间最远的
6
#allkeys-lru 使用LRU算法，在所有key中选择，淘汰最后使用时间最远的，推荐
7
#volatile-lfu 使用LFU算法，在设置了过期时间的key中选择，淘汰最不常使用的
8
#allkeys-lfu 使用LFU算法，在所有key中选择，淘汰最不常使用的，推荐
9
#volatile-random 在
10
#allkeys-random 在所有key中进行随机淘汰
11
#volatile-ttl 淘汰过期时间最近的key
12
#noeviction 不淘汰任何key，对继续写入请求响应错误
13
# 如OOM command not allowed when used memory
14
maxmemory-policy allkeys-lru
15

16
#LRU/LFU/TTL淘汰策略算法，不是精准算法，是近似算法
17
#设置样本数量，提高准确度。默认5折中，3最快，10最精确
18
#如果是LRU，样本数量会增加一定的CPU资源占用
19
maxmemory-samples 5
20

21
#从节点，忽略内存上限。
22
#由于从节点不会主动写数据 删数据 自动淘汰，这些操作是通过主节点实现然后将命令发送给从节点
23
#如果从节点不忽略内存上限，会有数据一致性的问题。
24
replica-ignore-maxmemory yes
25

26
#在一个过期key扫描周期内，过期的key，仍然保留在内存的比例
27
#默认1即一个过期key的淘汰周期里，保留10%
28
#值越小，代表保留的key越少，需要删除的key更多，因此消耗CPU资源增加
29
#参数hz默认10，1秒10次异步线程扫描过期key，即每100ms扫描一次过期key
30
active-expire-effort 1

展开收起

9 惰性释放配置#

惰性释放（懒删除），即先摘除 key 的索引，实际删除操作使用异步线程去执行。在惰性删除机制之前，如一个元素非常多的集合，直接删除会很低效，导致其它连接发起的指令阻塞。

Terminal window展开收起

1
#针对内存达到上限后，触发淘汰策略时， 进行懒删除
2
# 默认no，建议no，毕竟已经达到内存上限
3
# 如果大key较多的库，也可以yes，尽快减轻阻塞
4
azyfree-lazy-eviction no
5

6
#针对设置自动过期的key，进行懒删除，默认no
7
#建议开启
8
lazyfree-lazy-expire yes
9

10
#针对隐式del指令，进行懒删除
11
#如rename 改名， mv 移库，都是隐式删除原key
12
#建议开启
13
lazyfree-lazy-server-del yes
14

15
#此配置针对 从节点的flush的操作，是否进行懒删除
16
#比如 从节点全量同步主节点数据时，会先flush清空数据
17
#如果是迁移或预扩节点准备数据，可以开启，但生产使用后建议关闭
18
replica-lazy-flush no
19

20
#使del指令和unlink一样，异步线程做实际删除
21
lazyfree-lazy-user-del no

展开收起

10 多线程配置#

6.0 后，Redis 开始引入多线程配置，但不是真正多线程读写内存数据，执行指令扔是单线程顺序执行。多线程部分只是优化网络 I/O，

Terminal window

1
# 是否开启多线程模式，默认no，
2
io-threads-do-reads no
3

4
#线程数，官方建议4核时，2-3个线程；8核时6个线程
5
io-threads 4

11 主从复制#

实践中一般不单独使用主从复制，需要配合哨兵模式，便于故障后自动选新 master 节点。

实践中的高可用方式，一般是 主从+哨兵，或者 Cluster集群模式，以及三方中间件代理，类似数据分片中间件，如 codis。

Terminal window展开收起

1
####################### 主从复制 START ###########################
2

3
#slave节点配置此参数，启动时便与master建立主从关系
4
#也可以在实例运行后，在slave节点使用slaveof命令建立关系
5
replicaof masterIp masterPort
6
#5.0之前slaveof ip port
7

8
#如果使用此配置启动的节点作为slave从节点，此参数填master节点的密码
9
masterauth masterPwd
10
#从节点与主节点断连，或从节点正在拷贝数据时，是否提供查询服务
11
#默认yes 提供服务
12
replica-serve-stale-data yes
13
#从节点是否只读，默认yes，推荐yes
14
replica-read-only yes
15

16
#主从同步，新节点需要完整数据，
17
#此参数决定数据快照rdb传输的方式
18
#默认no，不使用无磁盘，即master先写盘rdb文件，再将文件传送到从节点
19
#yes表示使用无盘，master创建一个新进程，直接把rdb ，socket到从节点
20
repl-diskless-sync no
21
#无盘同步数据的延时参数，默认5
22
#即master 延迟多少秒后开始传送数据流
23
repl-diskless-sync-delay 5
24

25
#新节点同步数据，是否无盘加载数据
26
#disabled 不要使用无磁盘加载，先将rdb文件存储到磁盘，推荐
27
#on-empty-db 只有在完全安全的情况下才使用无磁盘加载
28
#swapdb 直接从Scoket套接字加载数据
29
repl-diskless-load disabled
30

31
#从节点向master节点进行心跳检测的周期，默认10s
32
repl-ping-replica-period 10
33
# 从节点向master节点检查心跳，超时时间，默认60秒
34
repl-timeout 60
35

36
#同步是否禁用TCP_NODELAY
37
#默认no 不禁用，即开启TCP_NODELAY，禁用TCP Nagle算法
38
#同步传输的TCP连接会按TCP_NODELAY拆成小包，降低延迟
39
repl-disable-tcp-nodelay no
40

41
#从节点端口后这段期间的变更的数据缓冲，默认1mb
42
#断开的从节点重新连接，只需同步部分数据即可
43
repl-backlog-size 1mb
44
#主从断开多少秒后，清理这期间的数据缓冲
45
# 默认3600秒，设0表示永不清理
46
repl-backlog-ttl 3600
47

48
#哨兵选举新master时，这个值越小越容易被选中
49
#0 表示永不被选中
50
replica-priority 100
51
#5.0之前 slave-priority
52

53
#组合参数，3和10为例表示：
54
#若master节点统计出连续3个从节点的连接，延迟都超过10秒
55
#则master节点不再接受写请求
56
#建议 设为0
57
min-replicas-to-write 3
58
min-replicas-max-lag 10
59

60
#真实ip，比如Docker NAT环境
61
replica-announce-ip 127.0.0.1
62
#真实端口
63
replica-announce-port 6379
64

65
####################### 主从复制 END ###########################

展开收起

12 哨兵配置#

哨兵是配合主从复制使用的，动态管理各个节点主从关系。

部署参考: [[RedisSentinel笔记]]

Terminal window展开收起

1
#哨兵启动方式：
2
cd /usr/local/redis
3
./bin/redis-sentinel sentinel-node1.conf
4

5
#作为守护进程运行
6
daemonize yes
7

8
#守护进程运行时，pid号写入的文件
9
pidfile /usr/local/redis/cluster/sentinel/node01.pid
10

11
#日志文件路径
12
logfile "/usr/local/redis/cluster/sentinel/log/node01.log"
13

14
#工作目录
15
dir "/usr/local/redis/cluster"
16

17
# 绑定ip
18
bind 0.0.0.0
19
# 绑定端口
20
port 4001
21

22
#定义监听的集群，指向master节点ip和端口，
23
# 2代表，2个哨兵节点都确认master主观下线，则标记为正式的客观下线，触发故障转移
24
sentinel monitor masterName masterIp masterPort 2
25

26
#哨兵判定master失效的时间，单位秒
27
#超过这个时间仍检查不到心跳则判断master故障
28
sentinel down-after-milliseconds 60000
29

30
#故障转移时，新的slave节点，从新的master同步数据的超时时间
31
#单位毫秒，超时不影响slave节点和master的关系
32
sentinel failover-timeout masterName 180000
33

34
#故障转移时，多少个slave可以同时从新的master节点同步数据
35
#数字越小，故障转移时间越长
36
#数字越大，意味着更多的slave节点不可用
37
#可以将从节点参数replica-serve-stale-data yes开启
38
# 复制时可读，但不能保证数据一致性( 该参数5.0之前使用slave-serve-stale-data)
39
sentinel parallel-syncs masterName 3
40

41
#主节点密码
42
sentinel auth-pass sineMaster 123123456

展开收起

13 Cluster 集群#

一般情况，除非主从+哨兵无法满足需求，才考虑 Redis Cluster 集群模式(数据分片)

部署参考: RedisCluster笔记

Terminal window展开收起

1
#开启集群模式的节点实例都启动后，使用redis-cli命令建立集群关系
2
#./redis-cli --cluster create ip1:port ip2:port ip3:port --cluster-replicas 1 -a 密码
3

4
####################### 集群 START #########################
5
#开启集群， 默认单例
6
cluster-enabled yes
7

8
#集群节点自从持久化的配置文件， 非编辑的配置
9
cluster-config-file /usr/local/redis/cluster/nodes1-6379.conf
10

11
#集群节点的失联时间，单位毫秒，默认15秒
12
#超过时间，则标记节点故障
13
#如果是master节点超时，则触发master选举
14
cluster-node-timeout 15000
15

16
#从节点，配合cluster-node-timeout参数
17
#表示从节点与故障主节点断开时长， 如果 此参数为5，表示超过 5次 * 15000毫秒之后
18
#这个从节点的数据将不参与故障恢复
19
#一般为了高可用，设为0，始终可以参与故障恢复
20
cluster-replica-validity-factor 5
21
#6.0前cluster-slave-validity-factor
22

23
#master节点，必须有多少个slave从节点
24
cluster-migration-barrier 1
25

26
#redis集群需要把16384个分片槽点放到不同达到节点
27
#默认yes 分片槽点都正常才能对外提供服务
28
#建议设为no，保证没有分片问题的节点能够提供服务
29
cluster-require-full-coverage yes
30

31
#当集群节点被标记为失败，或者无法满足master要求的从节点数量时
32
#该节点不提供服务，避免数据不一致。默认不提供服务 no
33
cluster-allow-reads-when-down no
34
####################### 集群  END #########################

展开收起

Redis 集群模式笔记

Mon, 09 May 2022 19:23:19 GMT

注意: 因为测试,我一个节点部署多个服务,生产环境建议分开不然会报 are on same IP,导致主从切换失败

1 使用场景#

哨兵模式已经能够实现高可用，实践中通常是分布式服务，某一个点的分类数据放在指定的一个哨兵主从，通常也足够，但如果某个分类数据量实在过于庞大，哨兵+主从这种模式，相当于每个节点都是一个全量的数据副本，从高可扩方面来说，它这种模式不是很方便，对资源也是很大的浪费。当哨兵+主从遇到资源瓶颈，或者对高可扩有一定要求的时候，集群模式便能解决这个问题

高可用原理

Redis 集群模式是没有中心节点的，它至少需要 3 个 master 节点，每个 master 节点至少一个 slave(默认读)，也就是至少 6 个节点才能组建集群模式，已经内置了数据分片和故障转移。
数据分片是 16384 个虚拟槽位分散到不同的 master 节点，设置 key 的时候，服务节点通过 key 的 hashcode % 16384，转发存放到不同的节点的对应分片槽位上。当查询请求到一个节点时，服务节点根据 key 检查槽位是否在当前节点，若存在则响应数据，若不存在则 moved 重定向到对应的服务节点。
故障转移方面和哨兵类似，集群模式下各个节点之间通过 gossip 通信，相互 ping-pong，当一个节点对另外一个节点的心跳检查，超过 cluster_node_timeout 参数的值，则广播所有节点对其检查，当超过 50%的节点都认为此节点故障时则正式下线。若是从节点，断开时长超过 cluster_node_timeout * cluster-slave-validity-factor 这个组合参数值，则该从节点不再参与数据恢复。
综合来看，集群模式在 5.0 后已经非常成熟，可以不用过多考虑扩容的问题，也减少了维护哨兵的工作。

img

2 环境信息#

因为集群模式至少 3 个 master 节点，而每个主节点至少 1 个 slave，所以至少 6 个节点才能组建集群模式，下面以 6 个节点为例。
启动 6 个实例节点后，使用 redis-cli 建立初始集群关系，便建立自动维护关系的 Cluster 集群。

image-20220510111020845

3 部署 redis 集群#

3.1 下载解压安装#

wget http://download.redis.io/releases/redis-6.2.7.tar.gz

tar-zxvf redis-6.2.7.tar.gz

make

# make install # 这里我不安装值编译好直接运行

3.2 修改配置文件#

此配置只当参考,不要在生产环境用,环境不同配置也不一样比如 repl-diskless-syn 设置同步方式为磁盘同步或者网络同步，磁盘慢网络带宽好的时候使用网络同步更好(详细配置参考: [[Redis配置详解]])

参数名称	解释
daemonize yes	redis 后台运行
appendonly yes	aof 日志开启有需要就开启，它会每次写操作都记录一条日志
bind 192.168.200.140	绑定 ip
cluster-config-file nodes_6379.conf	集群的配置配置文件首次启动自动生成
cluster-enabled yes	开启集群把注释#去掉
cluster-node-timeout 5000	请求超时设置 5 秒够了,防止网络波动主从误切换
logfile “nodes_6379.log”	指定输出日志
masterauth passwd	slave 节点数据同步 master 密码
pidfile /var/run/redis_6379.pid	pidfile 文件对应端口号
port 6379	要开放端口
protected-mode no	禁止安全模式运行,主要拦截公网 ip 访问,如果开启会一直卡在获取
requirepass passwd	可选,配置 redis 密码,如果配置了一定要配置 masterauth,不然无法同步数据

3.3 启动 redis#

src/redis-server 1114.conf

src/redis-server 1113.conf

redis4,加入集群

src/redis-cli --cluster create 192.168.1.133:6379 192.168.1.133:1110 192.168.1.133:1111 192.168.1.133:1112 192.168.1.133:1113 192.168.1.133:1114 --cluster-replicas 1 -a passwd

—replicas 1 代表一主一从, -a 是密码

关于主从节点的选择及槽的分配，其算法如下：

把节点按照 host 分类，这样保证 master 节点能分配到更多的主机中。

遍历 host 列表，从每个 host 列表中弹出一个节点，放入 interleaved 数组。直到所有的节点都弹出为止。

将 interleaved 数组中前 master 个数量的节点保存到 masters 数组中。

计算每个 master 节点负责的 slot 数量，16384 除以 master 数量取整，这里记为 N。

遍历 masters 数组，每个 master 分配 N 个 slot，最后一个 master，分配剩下的 slot。

接下来为 master 分配 slave，分配算法会尽量保证 master 和 slave 节点不在同一台主机上。对于分配完指定 slave 数量的节点，还有多余的节点，也会为这些节点寻找 master。分配算法会遍历两次 masters 数组。

第一次遍历 master 数组，在余下的节点列表找到 replicas 数量个 slave。每个 slave 为第一个和 master 节点 host 不一样的节点，如果没有不一样的节点，则直接取出余下列表的第一个节点。

第二次遍历是分配节点数除以 replicas 不为整数而多出的一部分节点。

执行指令后，提示预设的数据分片槽位信息 slots、主从关系信息等：

输入 yes

image-20211011162213380

创建完成

image-20211011162223437

三、检测

src/redis-cli -c -h 192.168.1.133 -p 1111 (-c 是进入集群模式)

CLUSTER nodes

(命令参考)

image-20211011162229514

存储的数据（key-value）是均匀分配到不同的节点的：

image-20211011162251295

以下文档新添加的,可能与上面环境不符,但是不影响观看

4 集群管理控制台#

4.1 安装 redisinsight#

docker run -d -v /data/redisinsight-data/:/db -p 8001:8001 redislabs/redisinsight:latest

4.2 登录添加集群#

image-20220510112624172

选择所有节点

image-20220510113015440

4.3 查看集群状态#

image-20220510113129353

5 节点下线维护#

所有操作都可以在上面控制台实现

5.1 查看节点状态#

src/redis-cli -c -h 10.1.1.1 -p 6379 -a passwd cluster nodes

5.2 master 节点,有两种方案(二选一)#

5.2.1 直接移除哈希槽,然后下线#

src/redis-cli —cluster reshard 10.1.1.1:6380 -a passwd

image-20220510113701245

5.2.2 改成 slave 节点#

src/redis-cli -c -h 10.1.1.1(slave节点地址) -p 6380 -a passwd cluster failover

image-20220511114956461

5.3 移除节点#

src/redis-cli --cluster del-node 10.1.1.3:6379 8285c1fbd2297aab9f031dafc0b9240b8fa89d15 -a passwd

5.4 查看集群状态#

slave 自动同步 id 以 a41 的 master 节点

image-20220510113946610

image-20220510114549548

5.5 查看 slave 节点数据#

image-20220510131149931

6 新加节点#

6.1 添加节点#

src/redis-cli —cluster add-node 10.1.1.3:6379(要加入的节点) 10.1.1.3:6380(当前集群已有节点) -a passwd

6.2 添加 master 节点#

因为加进来默认就是 master 节点,直接分配哈希槽就行

src/redis-cli --cluster reshard 10.1.1.3:6379 -a passwd

6.2.1 写入测试#

image-20220510125514125

6.3 添加 slave 节点#

src/redis-cli --cluster add-node --cluster-slave --cluster-master-id 8e165e491c28a35488e4c6a2fa659ec41fe8053b(主节点的ID) 10.1.1.3:6380 (新加的从节点) 10.1.1.3:6379(主节点地址) -a passwd

6.3.1 查看数据同步#

image-20220510130148845

7 高可用测试#

7.1 停掉 slave#

因为停掉 slave 不影响写入,所以不做写入测试,只测试能否自动加入集群

7.1.1 写入数据#

image-20220510135130309

7.1.2 启动服务查看#

启动后自动加入集群

image-20220510131053362

7.1.3 查看数据是否同步#

8 会自动同步过来

image-20220510135211912

7.2 停掉 master#

7.2.1 准备写入数据脚本#

1
#!/bin/bash
2
NUM=2000
3
PASS=passwd
4
for i in `seq $NUM`;do
5
    /opt/redis-6.2.7/src/redis-cli -c -h 10.1.1.1 -a "$PASS" --no-auth-warning set key${i} value${i}
6
    echo "key${i} value${i} 写入完成"
7
done
8
echo "$NUM个key写入到Redis完成"

7.2.2 启动脚本,停止 master#

slave 会自动变成 master

image-20220510131033137

7.2.3 写入数据,查看是否总共 2000 个 key#

运行过程中发现脚本并不会检测这个节点能不能用. 服务不可用时间为检测 master 间隔+检测超时时间

降低不可用时间有两种方法:

程序或者代理层做判断

降低 slave 检测 master 超时时间与增加检测次数

image-20220510170912071

master 切换的节点数量与别的节点相比差了将近 500

image-20220510172355790

7.2.4 master 重新启动#

会自动变成刚才 master 节点的 slave

image-20220510130956164

7.2.5 查看数据#

只有 master 节点存在的 key 都会同步过来,唯一的问题是客户端不会自动禁止访问不可用的节点,中间需要加代理判断节点可不可用

image-20220510171108914

8 单节点数据迁移到集群#

8.1 修改配置#

如果 redis5.0 之前的版本，在移动槽点的时候，假如槽点内有值的话，导致报错：Syntax error ,try client(list|kill|getname|setname|pause|reply) ，主要就是需要修改 redis-trib.rb 文件的 move_slot 这个方法，绕过 clientCommand，直接执行 migrateCommand（去掉.client 即可）。

image-20211011163137793

8.2 修改哈希槽#

把所有哈希槽放到一个节点上

1
src/redis-trib.rb reshard 192.168.1.114:6379

image-20211011163143128

8.3 迁移数据#

关闭服务,把单节点的 rdb 文件改成这个节点的配置文件里面的名字

image-20211011163204031

8.4 恢复服务#

启动服务

system start redis

重新分配哈希槽

1
src/redis-trib.rb reshard 192.168.1.114:6379

9 备份与还原#

参考: [[Redis备份与恢复]]

Redis 杂七杂八

Sun, 08 May 2022 20:21:56 GMT

基本概念#

Redis 是基于内存的数据库，读写内存数据是单线程完成的，官方提供测试数据，单线程支持 10w+ QPS，其主要原因以下几点：

单线程避免了多线程切换、竞争阻塞、锁，一个指令通常 1-4 微秒，单核 CPU 足够处理数十万请求
完全基于内存读写，数据存放于内存，查找和操作效率高于磁盘
多路 I/O 复用模型，采用 epoll 实现，一定程度上提高网络 I/O 吞吐性能
6.0 后支持多线程 I/O 模型，提高网络 I/O 瓶颈，内存数据操作仍然是单线程

多路 I/O 复用，多路复用机制是指在一个线程上处理多个网络 I/O 流，Redis 网络框架调用 epoll 机制，让 Linux 内核监听无数个套接字(Socket)，每个监听套接字发生的不同事件，都进入事件队列，Redis 单线程对该事件队列进行处理并调相应的事件回调函数，Redis 本身无需一直轮询是否有连接请求。

1 单线程#

单线程读写内存的缺点是无法发挥多核心的性能，可以在多核部署多个 Redis 实例避免浪费，或者利用容器机制，一个 Redis 容器分配 2 个核心足够。

对单线程 Redis 来说，性能瓶颈主要在于网络 I/O，因为不可能应用和 Redis 单独部署在同一系统中做进程通讯，通常都是多个应用与 Redis 做 TCP 通讯，理论上多路 I/O 复用可以支持并发数十万请求，但实践中 TCP 握手的开销、长连接的数量，以及读写的数据本身，都有着一定的影响，实践中通常 4-5 万左右 QPS。

2 多线程#

6.0 以后，Redis 开始引入多线程，因为即使多路 I/O 复用单线程，效率再高，也很难更进一步突破瓶颈。在 6.0 之后正式引入多线程模式优化网络 I/O 瓶颈，默认是非开启的。

配置io-threads-do-reads yes 开启多线程 I/O 模式，默认 no 关闭

io-threads线程数官方推荐 4 核时 2-3 个线程，8 核时 6 个线程，线程数维持在核心数 - 1 或核心数 -2，超过 8 个线程后的再进一步提升性能的作用不大。

3 惰性释放(懒删除)#

在 redis 4.0 之前，数据较大的 key(如数十万、上百万个元素的集合)，对它们 del 或者清理时，效率较低易引起阻塞；针对这个问题，4.0 之后增加了惰性删除机制，清理数据时先摘除 key 索引，再异步线程去做实际的数据清除，避免引起阻塞，比如 unlink、flushdb、flushall 这些命令都是如此。

同时也可以在配置文件中，针对内存上限清理策略、过期 key 的清理策略、隐式 del 指令(如 rename)等，都可以指定使用懒删除的方式。

安装与开机启动#

包下载完成后，解压文件

Terminal window展开收起

1
#当前目录为/usr/local/
2
#下载源码
3
wget https://download.redis.io/releases/redis-6.2.7.tar.gz
4
#解压文件
5
tar -zvxf redis-6.2.7.tar.gz
6
#安装相关依赖
7
yum -y install cpp glibc glibc-kernheaders glibc-devel gcc make
8
#编译
9
cd /usr/local/redis-6.2.7
10
make PREFIX=/usr/local/redis install
11
#添加运行用户
12
groupadd redis
13
useradd redis -g redis -p 密码
14
#授权文件给用户
15
chown -R redis:redis /usr/local/redis
16
su redis

展开收起

主要文件包括为:

文件	说明
redis-server	服务实例
redis-cli	指令工具
redis-sentile	哨兵实例
redis.conf	默认配置文件
redis-benchmark	性能测试工具
redis-check-aof	aof 持久化工具
redis-check-rdb	rdb 持久化工具

1 启动一个服务#

1.1 新建配置文件#

vim /usr/local/redis/redis.conf(详细配置参考)

Terminal window展开收起

1
tcp-keepalive 300
2
timeout 0
3

4
daemonize yes
5

6
save 900 1
7
save 300 10
8
save 60 10000
9

10
appendonly yes
11

12
maxmemory-policy allkeys-lru
13

14
lazyfree-lazy-expire yes
15
lazyfree-lazy-server-del yes
16

17
bind 0.0.0.0
18
port 6379
19
#启停脚本shell也需要pid
20
pidfile /usr/local/redis/pid/node.pid
21

22
logfile "/usr/local/redis/log/node.log"
23

24
dir /usr/local/redis/data
25

26
dbfilename node.rdb
27
appendfilename "node.aof"

展开收起

在根目录执行 redis-server

Terminal window

1
su redis
2

3
# 按配置文件redis.conf启动一个单节点实例
4
/usr/local/redis/bin/redis-server /usr/local/redis/redif.conf

2 连接服务节点#

Terminal window

1
su redis
2
/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p 6379
3
....
4
#连接成功后，如果需要密码，输入后即可执行其它命令
5
auth 密码

3 自定义服务#

注册为系统服务开机启动，方便管理

3.1 chkconfig 方式，#

Terminal window展开收起

1
# 新建服务配置文件
2
vim /etc/init.d/redis
3

4
#编辑内容如下：
5

6
#!/bin/sh
7
# chkconfig: 2345 10 90
8
# start/stop/restart anything
9

10
#待添加到PATH环境变量的路径，如Java应用依赖的$JAVA_HOME/bin:$JRE_HOME/bin
11
ADDPATH=/usr/local/redis/bin
12

13
#新 PATH生效
14
PATH=$PATH:$ADDPATH
15
export PATH
16
source /etc/profile
17

18
#运行应用的用户
19
EXEC_USER=redis
20

21
#程序运行文件
22
EXEC_FILE=/usr/local/redis/bin/redis-server
23
#运行时PID，停止服务时，先按运行文件查找pid进行kill，如果失败，则按此pid文件的进程号kill
24
EXEC_PID=/usr/local/redis/pid/node.pid
25

26
#运行参数
27
EXEC_OPTS="/usr/local/redis/conf/redis.conf"
28

29
start() {
30
  echo "$EXEC_FILE starting ...... "
31
  #chkconfig方式，切换用户
32
  su - $EXEC_USER -c "$EXEC_FILE $EXEC_OPTS"
33
  exr=$?
34
  if [ $exr -ne 0 ]; then
35
    echo "start error"
36
  else
37
    echo "started"
38
  fi
39
}
40
stop() {
41
  echo "stopping $EXEC_FILE ..."
42
  kill -15 `ps -ef|grep $EXEC_FILE|grep -v grep|grep -v stop|awk '{print $2}'`
43
  exr1=$?
44
  if [ $exr1 -ne 0 ]; then
45
    echo "stop error, retry......"
46
    kill -15 `cat $EXEC_PID`
47
    exr2=$?
48
    if [ $exr2 -ne 0 ]; then
49
      echo "stop error"
50
    else
51
      echo "stopped"
52
    fi
53
  else
54
    echo "stopped"
55
  fi
56
}
57
case "$1" in
58
  start)
59
    start
60
    ;;
61
  stop)
62
    stop
63
    sleep 6
64
    ;;
65
  restart)
66
    stop
67
    sleep 6
68
    start
69
    ;;
70
  *)
71
    echo "Userage: $0 {start|stop|restart}"
72
    exit 1
73
esac

展开收起

Terminal window

1
#保存服务配置文件后，赋权
2
chmod +x /etc/init.d/redis
3

4
#开机启动服务
5
chkconfig --add redis
6
chkconfig redis on

3.2 systemd 方式，CentOS7 及以上#

Terminal window展开收起

1
#新建运行脚本，
2
vim /usr/local/redis/mananger.sh
3
# .... 脚本内容和上述chkconfig方式的脚本内容大体一致 ...
4
# su - $EXEC_USER -c "$EXEC_FILE $EXEC_OPTS" 改为以下
5
$EXEC_FILE $EXEC_OPTS
6

7
#修改完成后，
8

9
#新建systemd服务，并指定mananger.sh脚本路径
10
vim /lib/systemd/system/redis.service
11

12
#编辑内容如下
13
[Unit]
14
Description=redis
15
After=network.target
16

17
[Service]
18
Type=forking
19
User=redis
20
Group=redis
21
ExecStart=/usr/local/redis/mananger.sh start
22
ExecReload=/usr/local/redis/mananger.sh restart
23
ExecStop=/usr/local/redis/mananger.sh stop
24
PrivateTmp=true
25

26
[Install]
27
WantedBy=multi-user.target

展开收起

Terminal window

1
#保存systemd服务脚本文件后，赋权
2
chmod +x /lib/systemd/system/redis.service
3

4
#绑定服务开机启动
5
systemctl enable redis

4 性能测试工具#

跟目录下的 redis-benchmark,不安装的话在 redis src 目录下

参数	说明
-h	服务节点主机，默认值 127.0.0.1
-p	服务节点端口，默认 6379
-s	指定服务器 socket
-c	指定并发的连接数，默认 50
-n	指定请求数，默认 10000
-d	以字节的形式指定 SET/GET 值的数据大小，默认 3
-k	1 保持连接，0 重连
-P	通过管道传输请求
-q	强制退出 redis
—csv	CSV 格式输出
-l	循环测试
-t	指定测试的命令，如 set,get

示例：

执行如下

Terminal window

1
# 对127.0.0.1 6379这个节点，并发50执行10w个请求，只测试set和get
2
/usr/local/redis/bin/redis-benchmark -h 127.0.0.1 -p 6379 -c 50 -n 100000 -t set,get

响应结果：

Terminal window展开收起

1
====== SET ======    #写入测试
2
  100000 requests completed in 3.73 seconds # 3.73秒写入10万个请求
3
  50 parallel clients  # 50个并发连接
4
  3 bytes payload   # 每次写入3个字节
5
  keep alive: 1
6
  host configuration "save": 900 1 300 10 60 10000
7
  host configuration "appendonly": no
8
  multi-thread: no
9
0.00% <= 0.4 milliseconds
10
0.00% <= 0.5 milliseconds
11
0.38% <= 0.6 milliseconds
12
4.93% <= 0.7 milliseconds
13
14.52% <= 0.8 milliseconds
14
16.92% <= 0.9 milliseconds
15
19.59% <= 1.0 milliseconds     # 1秒完成19.59%的请求写入
16
31.63% <= 1.1 milliseconds
17
51.21% <= 1.2 milliseconds
18
69.20% <= 1.3 milliseconds
19
77.85% <= 1.4 milliseconds
20
81.71% <= 1.5 milliseconds
21
84.54% <= 1.6 milliseconds
22
90.08% <= 1.7 milliseconds
23
95.66% <= 1.8 milliseconds
24
98.64% <= 1.9 milliseconds
25
99.51% <= 2 milliseconds
26
100.00% <= 2 milliseconds  # 2秒完成所有请求写入
27
26795.28 requests per second
28

29
====== GET ======    # get测试
30
  100000 requests completed in 3.57 seconds    # 3.57秒完成10万个请求
31
  50 parallel clients    #50个并发客户端
32
  3 bytes payload      # 每个get测试，3个字节大小
33
  keep alive: 1
34
  host configuration "save": 900 1 300 10 60 10000
35
  host configuration "appendonly": no
36
  multi-thread: no
37

38
22.19% <= 1 milliseconds    # 1秒完成22.19%的请求
39
99.95% <= 2 milliseconds
40
100.00% <= 2 milliseconds    # 2秒完成100% 10万个请求
41
28011.21 requests per second

展开收起

5 事务#

传统数据库像 MySQL InnoDB 和 OracleDB 考虑效率原因，都是日志先行策略，并不会实时将内存数据写入磁盘。
以 InnoDB 为例，应用端提交事务后，数据库服务仅仅在内存完成了修改，redo log 前滚日志记录事务，落地后便响应事务成功，此时内存中的数据并未写入磁盘，如果内存数据丢失，则可以通过 redo log 前滚恢复。
undo log 是对事务提交前的数据进行备份，该日志持续顺序落库(写磁盘)，当有事务未最终 commit，而又有连接查询数据时，undo log 可以回滚保证数据一致性。
也就是前滚日志保证数据持久性，回滚日志保障原子性从而实现一致性。
Redis 因为是以内存为主的数据库，所以没有传统数据库复杂的机制。
对于 Redis 来说，事务就是将每一条指令当作 queue，放入队列，排队处理。

5.1 流程如下:#

multi 开启事务队列

事务队列[

命令 1

命令 2

命令 n…

]

exec 执行事务队列 / discard 取消执行

Redis 事务是非原子性的，也就是开启事务后，每一条指令都是一个 queue，其中一个 queue 有错误不影响其它指令 queue 执行生效，如下所示：

Terminal window展开收起

1
127.0.0.1:6379> set k1 "str"  #设置 k1 值为 字符串str
2
OK
3
127.0.0.1:6379> get k1      # 查询到 k1 值为 "str"
4
"str"
5
127.0.0.1:6379> multi    #开启事务
6
OK
7
127.0.0.1:6379> incr k1      #事务指令1， 对k1的值"str"进行自增1，一定错误
8
QUEUED
9
127.0.0.1:6379> set k2 "val2"  #事务指令2，设置k2的值为"val2"
10
QUEUED
11
127.0.0.1:6379> exec    #提交事务
12
1) (error) ERR value is not an integer or out of range  #事务指令1错误信息
13
2) OK
14
127.0.0.1:6379> get k2  #查询k2成功， k2是事务指令2设置的，即使指令1错误，它也执行了
15
"val2"
16
127.0.0.1:6379>

展开收起

5.2 乐观锁#

Redis 中乐观锁是使用指令 watch 声明，与事务组合使用，带乐观锁的事务，如果操作乐观锁 key 的事务指令失败，那么整个事务撤销。示范如下：

Terminal window

1
127.0.0.1:6379> set lockKey 100    #设置lockKey的值为100
2
OK
3
127.0.0.1:6379> watch lockKey    #对lockKey使用乐观锁，接下来的事务按乐观锁组合处理
4
OK
5
127.0.0.1:6379> multi        #开启事务
6
OK
7
127.0.0.1:6379> incr lockKey #对lockKey的值自增1，若其他连接修改为任意值，又改回100，一定错误
8
QUEUED
9
127.0.0.1:6379> set key2 123 #指令2.. 如果乐观锁的指令错误，该指令也不生效
10
QUEUED
11
127.0.0.1:6379> exec

6 缓存问题#

Redis 作为辅助的缓存数据库，很有可能出现缓存穿透，缓存击穿，缓存雪崩等问题。

6.1 缓存穿透#

当一个请求进来，先到 Redis 中查询数据，如果 Redis 中没有，则到数据库中查询，如果突然大量请求查询不存在的数据，则会造成缓存穿透，造成数据库过大的压力。

常见的解决方式：

一，校验不合理的查询参数和不符合规则的 key，能直接拦截就不再往 DB 查询；同时在 DB 层查出来为空的数据，可以做以 key-null 形式放到 Redis 中，即把空值放到 Redis，适当的设置过期时间，减轻数据库的压力。

二、如果是恶意攻击，第一种方式将会造成大量空缓存，很有可能比 DB 实际存在的 key 都多，这种场景就可以使用布谷鸟过滤器结合 Redis，将 DB 实际存在的 key 放入 Redis，利用布谷鸟过滤器拦截，请求进来不存在的 key，布谷鸟过滤器在 redis 中查询不到，直接返回结果。

6.2 缓存击穿#

大量请求查询同一个 key，持续查询，当这个 key 的缓存过期了，海量请求查询同一个 key 的数据，直接打到数据库，这种现象便是缓存击穿。比如一篇普通微博，突然越来越多的人关注，很短的时间内形成了巨大的查询请求，当这个缓存过期的时候，巨量请求直接打到数据库，对数据库层面来说压力不小。

常见解决方式：

一，使用分布式锁，确保第一个到 DB 的请求，能将数据重新放回缓存。其它分布式服务和线程到达 DB 请求层面，等锁的同时，间断的查询缓存。等这一步骤完成后进来的请求都重新直接走缓存。

二，定时任务监控热度，根据数据热度的增长，适当的增加缓存过期时间。

6.3 缓存雪崩#

缓存雪崩与缓存击穿类似，区别在于，缓存雪崩是大量缓存数据同一时间过期或者 Redis 宕机，造成大量请求直接打到 DB，造成 DB 瞬间面量大量请求。

常见解决方式：

一，Redis 采取主从+哨兵的高可用方式，或者 Redis Cluster 集群模式的高可用，来避免 Redis 宕机或崩溃的情况；同时开启 RDB、AOF 混合持久化模式，确保重启时能更快加载持久化数据。

二，加锁或者阻塞队列排队处理，防止 DB 被打死，对用户来说体验很糟糕。

三，限流，比如每一秒只处理 2000 个请求，超过数量的请求走限流逻辑排队逻辑。

四，热点数据过期时间尽量分散设置，比如设置过期时间，随机增加几秒、几分钟；在重大活动前，也尽量能访问到的数据访问一遍，查漏补缺，缓存预热。

记录一次pod访问不了外部服务

Thu, 14 Apr 2022 19:25:58 GMT

一, pod 访问外界服务时断时续#

1 现象#

环境:

k8s calico 网络插件 BGP 模式

redis 单节点

问题:
部分 pod 与 redis 无法通信,telnet 端口不通,有这几种情况

b pod 一开始可以通 redis,我删了重构下,可能在 node1,也可能在 node2,但是再 Telnet redis 就不通了

d pod 一直访问不了 redis,我删了重构下,可能在 node1,也可能在 node2,但是再 Telnet redis 就通了

image-20220415111021132

2 排查#

2.1 路由#

2.1.1 查看无法通信 pod 信息#

Terminal window

1
kubectl get pod -n test -owide
2
NAME                             READY   STATUS    RESTARTS   AGE     IP               NODE
3
service-21189-54f674b658-ksj2b   1/1     Running   1          13h     172.18.239.103   node1

2.1.2 到对应的节点查看路由表#

这里发现个问题,不知道是不是集群问题,按理来说 podip 网段路由到 bond1 才对,不知道 169.254 这网段做什么的,但是不影响
访问路径: pod -> bond0 -> redis

Terminal window

1
route -n
2
Kernel IP routing table
3
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
4
0.0.0.0         10.2.94.254   0.0.0.0         UG    0      0        0 bond0
5
10.2.94.0     0.0.0.0         255.255.255.0   U     0      0        0 bond0
6
169.254.0.0     0.0.0.0         255.255.0.0     U     1009   0        0 bond0
7
169.254.0.0     0.0.0.0         255.255.0.0     U     1010   0        0 bond1
8
172.16.58.0     0.0.0.0         255.255.255.0   U     0      0        0 docker0
9
172.18.239.103  0.0.0.0         255.255.255.255 UH    0      0        0 cali1b3b587d00a
10
......
11
192.168.2.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0

2.1.3 traceroute 验证下#

可以看到跟上面猜想一样

Terminal window

1
traceroute -n -T -p 6380 10.2.1.94
2
traceroute to 10.2.33.94 (10.2.1.94), 30 hops max, 52 byte packets
3
 1  10.2.12.8  6.269 ms  6.967 ms  5.402 ms
4
 2  10.2.12.254  2.269 ms  1.967 ms  1.402 ms
5
 3  10.9.10.2  1.458 ms  1.347 ms  1.215 ms
6
 4  10.2.205.2  1.059 ms  0.888 ms  0.828 ms
7
 5  10.2.205.54  1.175 ms  1.438 ms  1.197 ms
8
 6  10.2.1.254  1.956 ms  1.836 ms  1.834 ms   # 这里也有个问题,某些pod会出现找不到下一跳的问题
9
 7  10.2.1.94  1.207 ms  1.212 ms  1.196 ms

2.2 测试不通的网络访问别的服务#

能访问说明 pod 网络没任何问题,重点排查 redis

1
curl -v  www.baidu.com
2
* Rebuilt URL to: www.baidu.com/
3
*   Trying 110.242.68.4...
4
* TCP_NODELAY set
5
* Connected to www.baidu.com (110.242.68.4) port 80 (#0)
6
> GET / HTTP/1.1
7
> Host: www.baidu.com
8
> User-Agent: curl/7.52.1
9
> Accept: */*
10
>
11
< HTTP/1.1 200 OK
12
< Accept-Ranges: bytes
13
< Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
14
< Connection: keep-alive
15
< Content-Length: 2381
16
< Content-Type: text/html
17
< published: Fri, 15 Apr 2022 02:37:57 GMT
18
< Etag: "588604c1-94d"
19
< Last-Modified: Mon, 23 Jan 2017 13:27:29 GMT
20
< Pragma: no-cache
21
< Server: bfe/1.0.8.18
22
< Set-Cookie: BDORZ=27315; max-age=86400; domain=.baidu.com; path=/

展开收起

2.3 在 redis 节点抓包查看#

tcpdump -i eth0 port 6379 -w redis.pcap

2.3.1 使用 Wireshark 查看抓的包#

通过抓包发现,pod 访问发送 tcp 握手请求,而 redis 没有回应

image-20220415111502088

3 结果#

通过排查 Linux tcp 连接数不够了

二, 业务 pod 告警 No route to host#

1 先测试解析发现第一次稍慢,但是后续正常#

Terminal window

1
nslookup test.ccops.cc 10.1.1.1
2
Server:10.1.1.1
3
Address:10.1.1.1#53
4

5
Non-authoritative answer:
6
test.ccops.cc name = bn1--test.ccops.cc.
7
Name:bn1--test.ccops.cc
8
Address: 410.1.1.2

2 排查 coredns#

2.1 检查配置#

配置无任何问题

Terminal window

1
forward . 10.1.1.1:53

2.2 检查日志#

日志可以看到 coredns 转发出现超时

Terminal window

1
kubectl logs -f -n kube-system -l k8s-app=kube-dns
2
2022/11/22 05:57:48 [ERROR] 2 test.ccops.cc. A: read udp 172.16.71.6:46422->10.1.1.1:53: i/o timeout

3 排查 dns 服务器#

因为 dns 由另一个团队维护,我没有办法排查,不过说下大概排查方向,看看日志,有没有收到我转发请求,如果没有可能中间网络问题,收到的话看看返回用多久,是不是 dns 压力比较大

这里的最终结果是域名映射的外网 ip,dns 解析超时,改成内网 ip 即可

Tekton进阶使用

Wed, 13 Apr 2022 19:25:58 GMT

上篇文章简单介绍了基础操作,但是还有些功能没提到参考
这篇文章实现了:

如何构建其他语言程序

挂载 configmap,不覆盖其他目录

git 触发部署

1 构建 npm 项目#

这里我用自己博客为例,就不开源了

1.1 下载代码#

git clone https://git.ccops.cc/Kubernetes/tekton.git

1
cat tekton/cicd/build-push-image-task.yaml
2

3
apiVersion: tekton.dev/v1beta1
4
kind: Task
5
metadata:
6
  name: build-push-image
7
spec:
8
  params:
9
    - name: pathToDockerfile
10
      description: The path to the dockerfile to build (relative to the context)
11
      default: Dockerfile
12
    - name: imageUrl
13
      description: Url of image repository
14
    - name: imageTag
15
      description: Tag to apply to the built image
16
      default: latest
17
  workspaces:
18
    - name: source
19
    - name: dockerconfig
20
      mountPath: /kaniko/.docker # config.json 的挂载目录
21
    - name: hexo-config
22
      mountPath: /opt/blog/_config.butterfly.yml # hexo配置文件 的挂载目录
23
  steps:
24
    - name: build-and-push
25
      image: aiotceo/kaniko-executor:v1.6.0
26
      workingDir: $(workspaces.source.path)
27
      command:
28
        - /kaniko/executor
29
      args:
30
        - --dockerfile=$(params.pathToDockerfile)
31
        - --destination=$(params.imageUrl):$(params.imageTag)
32
        - --context=$(workspaces.source.path)
33
        - --skip-tls-verify  # 跳过证书验证

展开收起

1
cat tekton/cicd/blog-pipeline.yaml
2

3
apiVersion: tekton.dev/v1beta1
4
kind: Pipeline
5
metadata:
6
  name: blog-pipeline
7
spec:
8
  workspaces: # 声明 workspaces,名字与类型一定要与taks里的对上
9
    - name: blog-build-pvc # pvc
10
    - name: docker-config # docker认证
11
    - name: hexo-config #hexo配置
12
    - name: kubernetes-config # kubeconfig
13
  params:
14
    - name: git_url
15
    - name: revision
16
    - name: gitInitImage
17
      type: string
18
      default: "ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-git-init:v0.33.3"
19
    - name: pathToDockerfile
20
    - name: imageUrl
21
    - name: imageTag
22
  tasks: # 添加task到流水线中
23
    - name: clone
24
      taskRef:
25
        name: git-clone
26
      workspaces:
27
        - name: output
28
          workspace: blog-build-pvc
29
      params:
30
        - name: url
31
          value: $(params.git_url)
32
        - name: revision
33
          value: $(params.revision)
34
        - name: gitInitImage
35
          value: $(params.gitInitImage)
36
    - name: build-push-image
37
      params:
38
        - name: pathToDockerfile
39
          value: $(params.pathToDockerfile)
40
        - name: imageUrl
41
          value: $(params.imageUrl)
42
        - name: imageTag
43
          value: $(tasks.clone.results.commit)
44
      taskRef:
45
        name: build-push-image
46
      workspaces: # 传递 workspaces
47
        - name: source
48
          workspace: blog-build-pvc
49
        - name: dockerconfig
50
          workspace: docker-config
51
        - name: hexo-config
52
          workspace: hexo-config
53
    - name: deploy-to-k8s
54
      taskRef:
55
        name: deploy-to-k8s
56
      params:
57
        - name: pathToYamlFile
58
          value: deployment.yaml
59
        - name: IMAGE
60
          value: $(params.imageUrl)
61
        - name: TAG
62
          value: $(tasks.clone.results.commit)
63
      workspaces:
64
        - name: source
65
          workspace: blog-build-pvc
66
        - name: kubernetesconfig
67
          workspace: kubernetes-config
68
      runAfter:
69
        - build-push-image

展开收起

1.2 部署 pipeline#

1.2.1 查看#

image-20220412172853421

image-20220412172917611

1.3 部署 npm 项目#

1.3.1 项目 dockerfile#

1
cat Dockerfile
2
FROM ccr.ccs.tencentyun.com/ccops/hexo:5.4.2 AS build-env # 这里基础镜像已经下了npm的mod了,如需要更新可以加更新命令
3
ADD . /opt/blog/source/_posts
4
WORKDIR /opt/blog/source/_posts
5
RUN hexo g
6
FROM ccr.ccs.tencentyun.com/ccops/nginx:1.21.6-alpine
7
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime
8
COPY --from=build-env /opt/blog/public/ /opt/blog
9
EXPOSE 80
10
WORKDIR /opt/blog
11
CMD ["nginx","-g","daemon off;"]

1.4 测试构建#

1
apiVersion: v1
2
kind: Secret
3
metadata:
4
  name: gitlab-auth
5
  annotations:
6
    tekton.dev/git-0: https://git.ccops.cc/
7
type: kubernetes.io/basic-auth
8
stringData:
9
  username: xxxx # git账号
10
  password: xxxx # git密码
11
---
12
apiVersion: v1
13
kind: ServiceAccount
14
metadata:
15
  name: tekton-build-sa
16
secrets:
17
  - name: gitlab-auth
18
---
19
apiVersion: rbac.authorization.k8s.io/v1
20
kind: ClusterRoleBinding
21
metadata:
22
  name: tekton-clusterrole-binding
23
roleRef:
24
  apiGroup: rbac.authorization.k8s.io
25
  kind: ClusterRole
26
  name: edit
27
subjects:
28
  - kind: ServiceAccount
29
    name: tekton-build-sa
30
    namespace: blog-cicd
31
# 上半部分为权限配置,因为这个只是测试用我和到一起了
32
---
33
apiVersion: tekton.dev/v1beta1
34
kind: PipelineRun
35
metadata:
36
  name: blog-pipeline-run
37
spec:
38
  pipelineRef:
39
    name: blog-pipeline
40
  params:
41
    - name: revision
42
      value: master
43
    - name: git_url
44
      value: https://git.ccops.cc/blog/blog.git
45
    - name: imageUrl
46
      value: ccr.ccs.tencentyun.com/ccops/blog
47
    - name: imageTag
48
      value: "1.1"
49
    - name: pathToDockerfile
50
      value: Dockerfile
51
  workspaces:
52
    - name: blog-build-pvc
53
      volumeClaimTemplate:
54
        spec:
55
          storageClassName: local-path # 通过local sc自动创建pv
56
          accessModes:
57
            - ReadWriteOnce
58
          resources:
59
            requests:
60
              storage: 50M
61
    - name: docker-config
62
      secret:
63
        secretName: docker-config
64
    - name: hexo-config
65
      configmap:
66
        name: hexo-config  # hexo的configmap名称
67
      subPath: _config.butterfly.yml # 挂载的文件名,taks里一定写文件名而不是目录名
68
    - name: kubernetes-config
69
      secret:
70
        secretName: kubernetes-config
71
  serviceAccountName: tekton-build-sa

展开收起

1.4.1 查看#

2 配置 triggers#

2.1 triggers 是什么#

Tekton Trigger 是 Tekton 的一个组件，它可以从各种来源的事件中检测并提取需要信息，然后根据这些信息来运行 TaskRun 和 PipelineRun，还可以将提取出来的信息传递给它们以满足不同的运行要求。
其核心组件如下：

EventListener：时间监听器，是外部事件的入口，通常需要通过 HTTP 方式暴露，以便于外部事件推送，比如配置 Gitlab 的 Webhook。

Trigger：指定当 EventListener 检测到事件发生时会发生什么，它会定义 TriggerBinding、TriggerTemplate 以及可选的 Interceptor。

TriggerTemplate：用于模板化资源，根据传入的参数实例化 Tekton 对象资源，比如 TaskRun、PipelineRun 等。

TriggerBinding：用于捕获事件中的字段并将其存储为参数，然后会将参数传递给 TriggerTemplate。

ClusterTriggerBinding：和 TriggerBinding 相似，用于提取事件字段，不过它是集群级别的对象。

Interceptor：拦截器，在 TriggerBinding 之前运行，用于负载过滤、验证、转换等处理，只有通过拦截器的数据才会传递给 TriggerBinding。

2.2 　安装 triggers#

kubectl apply -f triggers/ -n tekton-pipelines

2.3 配置 triggers#

2.3.1 添加权限#

kubectl apply -f deploy/triggers-rabc.yaml -n tekton-pipelines

2.3.2 配置 TriggerTemplate#

可以使传入的参数在资源模板中的任何位置被使用，它就好比我们定义了一个对象，这个对象可以接收外部的参数，在对象内部把接收到的参数再传递给 Tekton 资源对象进行使用。

1
apiVersion: triggers.tekton.dev/v1alpha1
2
kind: TriggerTemplate
3
metadata:
4
  name: blog-pipeline-triggertemplate # 与下面EventListener的bindings字段对应
5
  namespace: blog-cicd
6
spec:
7
  params: # 参数的定义，从外部接收的参数
8
    - name: gitrevision
9
      description: The git revision
10
      default: master
11
    - name: gitrepositoryurl
12
      description: The git repository url
13
    - name: namespace
14
      description: The namespace to create the resources
15
  resourcetemplates:   # # 资源模板，将参数传递给资源模板，实例化一个PipelineRun对象,tt是TriggerTemplate缩写
16
    - apiVersion: tekton.dev/v1beta1
17
      kind: PipelineRun
18
      metadata:
19
        name: blog-pipeline-run-$(tt.params.gitrevision) # gitcommit ID 变量
20
        namespace: $(tt.params.namespace)
21
      spec:
22
        pipelineRef:
23
          name: blog-pipeline
24
        params:
25
          - name: revision
26
            value: master
27
          - name: git_url
28
            value: $(tt.params.gitrepositoryurl) # 使用git地址变量
29
          - name: imageUrl
30
            value: ccr.ccs.tencentyun.com/ccops/blog
31
          - name: imageTag
32
            value: $(tt.params.gitrevision) # gitcommit ID 变量
33
          - name: pathToDockerfile
34
            value: Dockerfile
35
        workspaces:
36
          - name: blog-build-pvc
37
            persistentVolumeClaim:
38
              claimName: blog-pvc
39
          - name: docker-config
40
            secret:
41
              secretName: docker-config
42
          - name: hexo-config
43
            configmap:
44
              name: hexo-config
45
            subPath: _config.butterfly.yml
46
          - name: kubernetes-config
47
            secret:
48
              secretName: kubernetes-config
49
        serviceAccountName: tekton-build-sa

展开收起

kubectl apply -f deploy/triggers.yaml -n tekton-pipelines

2.3.3 配置 TriggerBinding#

TriggerBinding 用于将事件进行绑定，通过捕获事件中的字段并将其存储为参数。
TriggerBinding 接收从 EventListener 传递过来的参数，然后传给 TriggerTemplate，在 TriggerTemplate 上实例化资源对象。
TriggerBinding 提供 TriggerTemplate 需要的参数，参数以 key-value 的方式存储并传递。其中的 value 是通过$()中包裹的JSONPath表达式来提取（https://tekton.dev/docs/triggers/triggerbindings/）。

1
apiVersion: triggers.tekton.dev/v1alpha1
2
kind: TriggerBinding
3
metadata:
4
  name: blog-pipelinebinding # 与EventListener的template字段对应
5
  namespace: blog-cicd
6
spec:
7
  params:
8
    - name: gitrevision
9
      value: $(body.head_commit.id)
10
    - name: namespace
11
      value: blog-cicd
12
    - name: gitrepositoryurl
13
      value: "https://git.ccops.cc/$(body.repository.full_name)" # git地址

2.3.4 配置 EventListener#

基于 HTTP 事件的，通过 HTTP 的方式可以绕过常规的认证路径，比如 kubeconfig 等
在 k8s 里需要通过 kube-apiserver 的事件都需要认证、鉴权等一系列操作
EventListener 拥有自己的 serviceaccount，并且这个 serviceaccount 只能用于 Tekton 资源操作,用于监听 Kubernetes 上指定端口的事件，然后会接收传入的事件并指定一个或多个触发器。

1
cat deploy/eventlistener.yaml
2
apiVersion: triggers.tekton.dev/v1alpha1
3
kind: EventListener
4
metadata:
5
  name: blog-cicd-listener
6
  namespace: blog-cicd
7
spec:
8
  serviceAccountName: tekton-triggers-example-sa
9
  triggers:
10
    - bindings:
11
      - ref: blog-pipelinebinding # TriggerBinding名称
12
      template:
13
        ref: blog-pipeline-triggertemplate # TriggerTemplate名称
14
---
15
apiVersion: v1
16
kind: ServiceAccount
17
metadata:
18
  name: tekton-triggers-example-sa
19
secrets:
20
- name: gitea-secret # 与下面的Secret名字对应
21
---
22
apiVersion: v1
23
kind: Secret
24
metadata:
25
  name: gitea-secret
26
  namespace: blog-cicd
27
type: Opaque
28
stringData:
29
  secretToken: "61fea7d143806e8d6fa9" # git里要配置的密钥

展开收起

kubectl apply -f deploy/eventlistener.yaml -n tekton-pipelines

2.3.5 查看#

创建完会自动生成一个 listener pod 与 svc,因为我 git 在 k8s 集群里,直接用 svc 名称就行,不在 k8s 集群需要暴露

Terminal window

1
kubectl get pod,svc -n blog-cicd
2
NAME                                                                  READY   STATUS      RESTARTS   AGE
3
pod/el-blog-cicd-listener-7575db8489-b5g9d                            1/1     Running     0          44h
4
NAME                            TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)             AGE
5
service/el-blog-cicd-listener   ClusterIP   10.43.57.170   <none>        8080/TCP,9000/TCP   44h

2.4 配置 git#

image-20220414105533730

2.4.1 测试能不能触发#

image-20220412133040834

查看日志可以看到触发记录

image-20220412132906817

2.5 提交代码测试下#

image-20220414110003943

可以看到会自动创建一个以 commit id 为名称的任务

image-20220414110108728

本来也想把自动删除旧的构建也做了,但是官方文档需要用 tekton 的 operator 进行配置,这点国内实现有问题,使用 operator 会自动从谷歌仓库拉取镜像,如果需要这需求自己写脚本吧

Kubernetes证书管理

Wed, 06 Apr 2022 22:06:26 GMT

参考文档

后面 traefik 自己集成了证书管理,参考文档后面补充

1 准备工作#

先安装对应 webhook,这里我使用腾讯的 DNSPod,其它的从这里找

git clone https://github.com/qqshfox/cert-manager-webhook-dnspod.git

1.1 获取 apiID 与 apiToken#

文档参考

访问这里创建并记录

20220404181425.png

2 部署 cert-manager#

Terminal window

1
 helm repo add jetstack https://charts.jetstack.io
2
 helm repo update
3
 helm install cert-manager jetstack/cert-manager \
4
  --namespace cert-manager \ # 命名空间名称
5
  --create-namespace \ # 自动创建命名空间
6
  --version v1.7.2 \ # 版本
7
  --set ingressShim.defaultIssuerName=letsencrypt-prod \ # 下面三个参数是自动生成ClusterIssuer
8
  --set ingressShim.defaultIssuerKind=ClusterIssuer \
9
  --set ingressShim.defaultIssuerGroup=cert-manager.io \
10
  --set installCRDs=true # 创建cert-manager所需要的crd

2.1 查看#

Terminal window

1
kubectl get pod -n cert-manager
2
NAME                                       READY   STATUS    RESTARTS   AGE
3
cert-manager-88c9c88d7-5vmdm               1/1     Running   0          3m2s
4
cert-manager-cainjector-857f5bd88c-bwkfg   1/1     Running   0          3m2s
5
cert-manager-webhook-5cd99556d6-jnl4w      1/1     Running   0          3m2s

3 部署 DNSPod webhook#

Terminal window

1
helm install cert-manager-webhook-dnspod ./cert-manager-webhook-dnspod/deploy/cert-manager-webhook-dnspod \
2
    --namespace 部署的命名空间 \
3
    --set groupName=组名 \
4
    --set secrets.apiID=apiID,secrets.apiToken=apiToken \
5
    --set clusterIssuer.enabled=true,clusterIssuer.email=邮箱

3.1 查看#

Terminal window

1
kubectl get pod -n cert-manager
2
NAME                                           READY   STATUS    RESTARTS   AGE
3
cert-manager-88c9c88d7-5vmdm                   1/1     Running   0          3m44s
4
cert-manager-cainjector-857f5bd88c-bwkfg       1/1     Running   0          3m44s
5
cert-manager-webhook-5cd99556d6-jnl4w          1/1     Running   0          3m44s
6
cert-manager-webhook-dnspod-7cbb554d57-bkdrx   1/1     Running   0          13s
7
kubectl get ClusterIssuer
8
NAME                                         READY   AGE
9
cert-manager-webhook-dnspod-cluster-issuer   True    16s

4 使用#

1
cat ingress.yaml
2
apiVersion: networking.k8s.io/v1
3
kind: Ingress
4
metadata:
5
  annotations:
6
    cert-manager.io/cluster-issuer: cert-manager-webhook-dnspod-cluster-issuer # kubectl get ClusterIssuer查到的名字
7
  name: hello-ingress
8
spec:
9
  rules:
10
  - host: hello.ccops.cc
11
    http:
12
      paths:
13
      - pathType: Prefix
14
        path: /
15
        backend:
16
          service:
17
            name: myservice
18
            port:
19
              number: 443
20
  tls:
21
  - hosts:
22
    - hello.ccops.cc
23
    secretName: hello-cert

展开收起

4.1 查看 dns 有没有自动添加#

20220406220810.png

4.2 访问查看证书#

20220406220518.png

5 遇到的问题#

第一条 dns 解析能自动添加,第二条就没有了,日志也没任何报错

证书没自动创建,申请证书太多

Terminal window

1
kubectl describe certificaterequest -n tekton-pipelines tekton-cert-sqrgx
2
Warning  OrderFailed      48m   cert-manager  Failed to wait for order resource "xxx-cert-sqrgx-3392950336" to become ready: order is in "errored" state: Failed to create Order: 429 urn:ietf:params:acme:error:rateLimited: Error creating new order :: too many certificates (5) already issued for this exact set of domains in the last 168 hours: xxx.ccops.cc: see https://letsencrypt.org/docs/rate-limits/

Tekton入门

Sat, 02 Apr 2022 12:25:58 GMT

Jenkins 不使用共享库的话 Pipeline 维护太困难,有学共享库的时间不如研究点新技术,早就想试试 tekton 了

1 介绍#

其中Task、TaskRun、Pipeline、PipelineRun、PipelineResource、Condition作为其核心 CRD，这里主要介绍它们。

Task：定义构建任务，它由一系列有序 steps 构成。每个 step 可以定义输入和输出，且可以将上一个 step 的输出作为下一个 step 的输入。每个 step 都会由一个 container 来执行。

TaskRun：Task 用于定义具体要做的事情，并不会真正的运行，而 TaskRun 就是真正的执行者，并且会提供执行所需需要的参数，一个 TaskRun 就是一个 Pod。

Pipeline：顾名思义就是流水线，它由一系列 Tasks 组成。就像 Task 中的 step 一样，上一个 Task 的输出可以作为下一个 Task 的输入。

PipelineRun：Pipeline 的实际执行，创建后会创建 Pod 来执行 Task，一个 PipelineRun 中有多个 Task。

PipelineResource：主要用于定义 Pipeline 的资源，常见的如 Git 地址、Docker 镜像等。

Condition：它主要是在 Pipeline 中用于判断的，Task 的执行与否通过 Condition 的判断结果来决定。

Tasks and Pipelines

如图所示，一个 Pipeline 是由许多 Task 组成，每个 Task 又由许多 step 组成。在实际工作中，我们可以灵活定义各种 Task，Task 可以复用,然后根据需要任意组合 Task 形成各类 Pipeline 来完成不同的需求。

2 准备工作#

2.1 拉取镜像#

Terminal window

1
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-controller:v0.33.3
2
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-kubeconfigwriter:v0.33.3
3
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-git-init:v0.33.3
4
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-entrypoint:v0.33.3
5
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-nop:v0.33.3
6
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-imagedigestexporter:v0.33.3
7
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-pullrequest-init:v0.33.3
8
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-workingdirinit:v0.33.3
9
docker pull ccr.ccs.tencentyun.com/ccops/cloudsdktool-cloud-sdk:v1
10
docker pull ccr.ccs.tencentyun.com/ccops/distroless-base:v1
11
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-pipeline-cmd-webhook:v0.33.3
12
docker pull ccr.ccs.tencentyun.com/ccops/tektoncd-dashboard-cmd-dashboard:v0.24.1
13
docker pull ccr.ccs.tencentyun.com/ccops/kaniko-executor:v1.6.0
14
docker pull ccr.ccs.tencentyun.com/ccops/kubectl:1.22.8

2.2 获取代码#

git clone https://git.ccops.cc/Kubernetes/tekton.git

2.3 安装 jq#

Terminal window

1
yum install jq -y

2.4 配置秘钥#

Terminal window

1
kubectl create secret docker-registry dockerhub --docker-server=仓库地址 --docker-username="用户名" --docker-password="密码" --dry-run=client -o json | jq -r '.data.".dockerconfigjson"' | base64 -d > /tmp/config.json && kubectl create secret generic docker-config --from-file=/tmp/config.json

2.5 配置 kubeconfig#

Terminal window

1
kubectl create secret generic kubernetes-config --from-file=/root/.kube/config

2.6 安装 tekon 客户端,可选,我这里没装#

点这里下载

3 tekton 安装#

3.1 添加 dashboard 访问方式 externalIPs#

Terminal window

1
vim tekton/csi/tekton-dashboard-release.yaml
2
  externalIPs:
3
    -  10.1.1.1

3.2 安装#

会自动安装到 tekton-pipelines 命名空间,不建议更换

Terminal window

1
kubectl apply -f tekton/csi

3.3 查看 pod#

Terminal window

1
kubectl get pod -n tekton-pipelines
2
NAME                                           READY   STATUS    RESTARTS   AGE
3
tekton-dashboard-796d7f9d69-qzsfc              1/1     Running   0          44h
4
tekton-pipelines-controller-844c695595-8mpmf   1/1     Running   0          23h
5
tekton-pipelines-webhook-5d7b464584-2bqch      1/1     Running   0          44h

3.4 查看访问方式#

Terminal window

1
kubectl get svc -n tekton-pipelines
2
NAME                          TYPE        CLUSTER-IP       EXTERNAL-IP      PORT(S)                              AGE
3
tekton-dashboard              ClusterIP   172.19.93.135    10.1.1.1         9097/TCP                             44h
4
tekton-pipelines-controller   ClusterIP   172.19.4.207     <none>           9090/TCP,8008/TCP,8080/TCP           45h
5
tekton-pipelines-webhook      ClusterIP   172.19.221.253   <none>           9090/TCP,8008/TCP,443/TCP,8080/TCP   45h

3.5 测试#

Terminal window

1
kubectl apply -f tekton/hello/task.yaml

3.5.1 查看#

image-20220401143402368

4 配置流水线#

4.1 跳过私有仓库证书验证,可选#

Terminal window

1
tail -n 1 build-push-image-task.yaml
2
        - --skip-tls-verify

4.2 Task#

Task 就是一个任务模板，Task 的定义中可以包含变量，在真正执行的时候需要给变量赋值。
Task 通过 input.params 定义入参，每一个入参还可以指定默认值，在每一个 step 中可以$(params.A)引用变量。steps 字段表示当前 Task 有哪些步骤组成，每一个 step 都会通过定义一个 container 来执行具体的操作。
Task 主要包括以下元素：

Workspaces：定义工作区，Task 可以共享工作区

Parameters：用于定义 params 参数

Steps：定义具体的操作步骤

1
 cat deploy-to-k8s-task.yaml
2
apiVersion: tekton.dev/v1alpha1
3
kind: Task
4
metadata:
5
  name: deploy-to-k8s
6
spec:
7
  workspaces:
8
    - name: source
9
    - name: kubernetesconfig
10
      mountPath: /root/.kube
11
  params:
12
    - name: pathToYamlFile
13
      description: The path to the yaml file to deploy within the git source
14
      default: deployment.yaml
15
    - name: IMAGE
16
    - name: TAG
17
  steps:
18
    - name: run-kubectl
19
      image: registry.cn-hangzhou.aliyuncs.com/coolops/kubectl:1.19.16
20
      workingDir: $(workspaces.source.path)
21
      script: |
22
        sed -i s#IMAGE#$(params.IMAGE)#g $(params.pathToYamlFile)
23
        sed -i s#TAG#$(params.TAG)#g $(params.pathToYamlFile)
24
        kubectl apply -f $(params.pathToYamlFile)

展开收起

4.3 Pipeline#

Pipeline 是一个编排 Task 的模板，通过 spec.params 来声明执行时需要的入参，通过 spec.tasks 来编排具体的 task，除此之外还可以通过 runAfter 来控制 Task 的先后顺序。

1
apiVersion: tekton.dev/v1beta1
2
kind: Pipeline
3
metadata:
4
  name: devops-hello-world-pipeline
5
spec:
6
  workspaces: # 声明 workspaces
7
    - name: go-repo-pvc
8
    - name: docker-config
9
    - name: kubernetes-config
10
  params:
11
    # 定义代码仓库
12
    - name: git_url
13
      description: https://git.ccops.cc/golang_test/go_demo.git
14
    - name: revision
15
      type: string
16
      default: "master"
17
    - name: gitInitImage
18
      type: string
19
      default: "gexuchuan123/tektoncd-pipeline-cmd-git-init:v0.33.3"
20
    # 定义镜像参数
21
    - name: pathToDockerfile
22
      description: The path to the build context, used by Kaniko - within the workspace
23
      default: .
24
    - name: imageUrl
25
      description: Url of image repository
26
    - name: imageTag
27
      description: Tag to apply to the built image
28
      default: latest
29
  tasks: # 添加task到流水线中
30
    - name: clone
31
      taskRef:
32
        name: git-clone
33
      workspaces:
34
        - name: output
35
          workspace: go-repo-pvc
36
      params:
37
        - name: url
38
          value: $(params.git_url)
39
        - name: revision
40
          value: $(params.revision)
41
        - name: gitInitImage
42
          value: $(params.gitInitImage)
43
    - name: unit-test
44
      workspaces: # 传递 workspaces
45
        - name: source
46
          workspace: go-repo-pvc
47
      taskRef:
48
        name: unit-test
49
      runAfter: # 控制Task顺序
50
        - clone
51
    - name: build-push-image
52
      params:
53
        - name: pathToDockerfile
54
          value: $(params.pathToDockerfile)
55
        - name: imageUrl
56
          value: $(params.imageUrl)
57
        - name: imageTag
58
          value: $(tasks.clone.results.commit)
59
      taskRef:
60
        name: build-push-image
61
      runAfter:
62
        - unit-test
63
      workspaces: # 传递 workspaces
64
        - name: source
65
          workspace: go-repo-pvc
66
        - name: dockerconfig
67
          workspace: docker-config
68
    - name: deploy-to-k8s
69
      taskRef:
70
        name: deploy-to-k8s
71
      params:
72
        - name: pathToYamlFile
73
          value: deployment.yaml
74
        - name: IMAGE
75
          value: $(params.imageUrl)
76
        - name: TAG
77
          value: $(tasks.clone.results.commit)
78
      workspaces:
79
        - name: source
80
          workspace: go-repo-pvc
81
        - name: kubernetesconfig
82
          workspace: kubernetes-config
83
      runAfter:
84
        - build-push-image

展开收起

4.4 应用与查看#

kubectl apply -f tekton/cicd/

image-20220401143402368

4.5 配置 git 账户#

1
vim tekton/deploy/serviceaccount.yaml
2
apiVersion: v1
3
kind: Secret
4
metadata:
5
  name: gitlab-auth
6
  annotations:
7
    tekton.dev/git-0: https://git.ccops.cc/ # git地址
8
type: kubernetes.io/basic-auth
9
stringData:
10
  username: 用户名
11
  password: 密码
12
---
13
apiVersion: v1
14
kind: ServiceAccount
15
metadata:
16
  name: tekton-build-sa
17
secrets:
18
  - name: gitlab-auth
19
---
20
apiVersion: rbac.authorization.k8s.io/v1
21
kind: ClusterRoleBinding
22
metadata:
23
  name: tekton-clusterrole-binding
24
roleRef:
25
  apiGroup: rbac.authorization.k8s.io
26
  kind: ClusterRole
27
  name: edit
28
subjects:
29
  - kind: ServiceAccount
30
    name: tekton-build-sa
31
    namespace: default # 这里注意下命名空间,如果不在default要改
32
kubectl apply -f tekton/deploy/serviceaccount.yaml

展开收起

4.6 配置 PipelineRun#

Pipeline 和 Task 一样，单纯的定义完并不会运行，Pipeline 需要借助 PipelineRun 来完成真正的执行。
PipelineRun 会自动为 Pipeline 中定义的 Task 创建对应的 TaskRun。

1
cim tekton/deploy/pipeline-run.yaml
2
apiVersion: tekton.dev/v1beta1
3
kind: PipelineRun
4
metadata:
5
  name: devops-hello-world-pipeline-run
6
spec:
7
  pipelineRef:
8
    name: devops-hello-world-pipeline
9
  params:
10
    - name: revision
11
      value: master
12
    - name: git_url
13
      value: https://git.ccops.cc/golang_test/go_demo.git
14
    - name: imageUrl
15
      value: 自己的仓库地址
16
    - name: imageTag
17
      value: 这里配置也没用,会自动根据commit id修改
18
    - name: pathToDockerfile
19
      value: Dockerfile #dockerfile名称
20
  workspaces:
21
    - name: go-repo-pvc
22
      volumeClaimTemplate:
23
        spec:
24
          storageClassName: nfs-client # 通过nfs csi自动创建pv,这里选择存储要注意,有的可能报错pvc被占用,因为tekton运行完tasks的pod不属于正常删除,文件句柄没有及时关闭导致挂载不了
25
          accessModes:
26
            - ReadWriteMany
27
          resources:
28
            requests:
29
              storage: 1G
30
    - name: docker-config
31
      secret:
32
        secretName: docker-config # 刚才添加的docker仓库信息
33
    - name: kubernetes-config
34
      secret:
35
        secretName: kubernetes-config
36
  serviceAccountName: tekton-build-sa

展开收起

4.7 运行#

kubectl apply -f tekton/deploy/pipeline-run.yaml

5 查看#

6 Pipeline#

image-20220401144155183

6.1 pod#

Terminal window

1
kubectl get pod
2
NAME                                                           READY   STATUS             RESTARTS   AGE
3
httpserver-6bd9bb97f6-xrcvb                                    1/1     Running             0          40m

7 总结#

tekton 复用性非常强,如果需要部署 java 项目只需要新加个 maven taks,其他基本不用动

如何在Kubernetes里使用Minio存储

Fri, 01 Apr 2022 11:25:58 GMT

1 部署驱动#

minio 部署参考: [[使用minion当blog图床]]
下载此目录所有文件
可以参考官网的,需要自己改镜像

Terminal window

1
kubectl apply -f . -n minio
2
kubectl get pod -n minio
3
NAME                   READY   STATUS    RESTARTS   AGE
4
csi-attacher-s3-0      1/1     Running   0          16h
5
csi-provisioner-s3-0   2/2     Running   0          16h
6
csi-s3-2dfnn           2/2     Running   0          16h
7
csi-s3-nn5pp           2/2     Running   0          16h
8
csi-s3-q9pln           2/2     Running   0          16h

2 Storageclass#

创建 Secret

1
cat secret.yaml
2
apiVersion: v1
3
kind: Secret
4
metadata:
5
  namespace: minio
6
  name: csi-s3-secret
7
stringData:
8
  accessKeyID: "admin"   # minio用户名,明文就可以
9
  secretAccessKey: "xxxxxxxxx"  # minio密码,明文就可以
10
  endpoint: http://10.1.1.1:9000   # minio api地址
11
kubectl apply -f secret.yaml -n minio

创建 Storageclass

1
cat sc.yaml
2
kind: StorageClass
3
apiVersion: storage.k8s.io/v1
4
metadata:
5
  name: csi-s3
6
provisioner: ch.ctrox.csi.s3-driver
7
parameters:
8
  mounter: s3fs
9
  csi.storage.k8s.io/provisioner-secret-name: csi-s3-secret
10
  csi.storage.k8s.io/provisioner-secret-namespace: minio
11
  csi.storage.k8s.io/controller-publish-secret-name: csi-s3-secret
12
  csi.storage.k8s.io/controller-publish-secret-namespace: minio
13
  csi.storage.k8s.io/node-stage-secret-name: csi-s3-secret
14
  csi.storage.k8s.io/node-stage-secret-namespace: minio
15
  csi.storage.k8s.io/node-publish-secret-name: csi-s3-secret
16
  csi.storage.k8s.io/node-publish-secret-namespace: minio
17
reclaimPolicy: Delete
18
volumeBindingMode: Immediate
19
kubectl apply -f sc.yaml -n minio

展开收起

3 验证#

3.1 创建 pvc#

1
cat pvc.yaml
2
apiVersion: v1
3
kind: PersistentVolumeClaim
4
metadata:
5
  name: csi-s3-pvc
6
  namespace: minio
7
spec:
8
  accessModes:
9
  - ReadWriteOnce
10
  resources:
11
    requests:
12
      storage: 5Gi
13
  storageClassName: csi-s3
14
kubectl apply -f pvc.yaml -n minio

查看

Terminal window

1
kubectl get pvc -n minio
2
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
3
csi-s3-pvc   Bound    pvc-df3ed2a7-6086-450d-8c17-ff40ab9a1fb4   5Gi        RWO            csi-s3         16h

3.2 创建 pod#

1
cat pod.yaml
2
kind: Pod
3
apiVersion: v1
4
metadata:
5
  name: minio-pod
6
  namespace: minio
7
spec:
8
  containers:
9
  - name: minio-pod
10
    image:  nginx
11
    volumeMounts:
12
      - name: pvc
13
        mountPath: "/mnt"
14
  volumes:
15
    - name: pvc
16
      persistentVolumeClaim:
17
        claimName: csi-s3-pvc
18
        readOnly: false
19
kubectl apply -f pod.yaml -n minio

展开收起

查看

Terminal window

1
kubectl get pod -n minio
2
NAME                   READY   STATUS    RESTARTS   AGE
3
minio-pod              1/1     Running   0          16h

如何在Kubernetes里使用NFS存储

Fri, 01 Apr 2022 10:25:58 GMT

nfs 无法空间限额,相当于有个 provisioner 远程帮忙挂载

1 安装 nfs 客户端#

最好每个节点都安装

yum -y install nfs-utils

1.1 测试#

Terminal window

1
showmount -e 10.1.1.1
2
Export list for 10.1.1.1:
3
/data/nfs_data *

2 部署驱动#

下载此目录所有文件

2.1 修改配置#

1
cat deployment.yaml
2
apiVersion: apps/v1
3
kind: Deployment
4
metadata:
5
  name: nfs-client-provisioner
6
  labels:
7
    app: nfs-client-provisioner
8
  namespace: nfs
9
spec:
10
  replicas: 1
11
  strategy:
12
    type: Recreate
13
  selector:
14
    matchLabels:
15
      app: nfs-client-provisioner
16
  template:
17
    metadata:
18
      labels:
19
        app: nfs-client-provisioner
20
    spec:
21
      serviceAccountName: nfs-client-provisioner
22
      containers:
23
        - name: nfs-client-provisioner
24
          image: willdockerhub/nfs-subdir-external-provisioner:v4.0.2
25
          volumeMounts:
26
            - name: nfs-client-root
27
              mountPath: /persistentvolumes
28
          env:
29
            - name: PROVISIONER_NAME
30
              value: k8s-sigs.io/nfs-subdir-external-provisioner
31
            - name: NFS_SERVER
32
              value: 10.1.1.1 # nfs地址
33
            - name: NFS_PATH
34
              value: /data/nfs_data # nfs目录
35
      volumes:
36
        - name: nfs-client-root
37
          nfs:
38
            server: 10.1.1.1 # nfs地址
39
            path: /data/nfs_data # nfs目录

展开收起

Terminal window

1
kubectl apply -f . -n nfs
2
kubectl get pod -n nfs
3
NAME                                      READY   STATUS    RESTARTS   AGE
4
nfs-client-provisioner-6fddfdfd9f-7rwh6   1/1     Running   0          6d23h

3 Storageclass#

创建 Storageclass

1
cat sc.yaml
2
apiVersion: storage.k8s.io/v1
3
kind: StorageClass
4
metadata:
5
  name: nfs-client
6
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
7
parameters:
8
  archiveOnDelete: "false"
9
kubectl apply -f sc.yaml -n nfs

4 验证#

4.1 创建 pvc#

1
cat pvc.yaml
2
kind: PersistentVolumeClaim
3
apiVersion: v1
4
metadata:
5
  name: test-claim
6
spec:
7
  storageClassName: nfs-client
8
  accessModes:
9
    - ReadWriteMany
10
  resources:
11
    requests:
12
      storage: 1Mi
13
kubectl apply -f pvc.yaml -n nfs

查看

Terminal window

1
kubectl get pvc -n nfs
2
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
3
test-claim   Bound    pvc-8c1a55c4-eb09-4aca-8a2a-9cbbddb12706   1Mi        RWX            nfs-client     6d23h

4.2 创建 pod#

1
cat pod.yaml
2
kind: Pod
3
apiVersion: v1
4
metadata:
5
  name: nfs-pod
6
  namespace: nfs
7
spec:
8
  containers:
9
  - name: nfs-pod
10
    image:  nginx
11
    volumeMounts:
12
      - name: pvc
13
        mountPath: "/mnt"
14
  volumes:
15
    - name: pvc
16
      persistentVolumeClaim:
17
        claimName: nfs-pvc
18
kubectl apply -f pod.yaml -n nfs

展开收起

查看

Terminal window

1
kubectl get pod -n nfs
2
NAME                   READY   STATUS    RESTARTS   AGE
3
nfs-pod              1/1     Running   0          16h

5 静态创建#

5.1 创建 pv#

1
apiVersion: v1
2
kind: PersistentVolume
3
metadata:
4
  name: nfs-pv    #pv的名字
5
spec:
6
  accessModes:
7
  - ReadWriteMany
8
  capacity:
9
    storage: 2Mi    #容量大小
10
  nfs:
11
    path: /data/nfs_data/pvc-test   #该/data/nfs_data/为nfs固定目录，不可变；
12
    server: 10.1.1.1          #nfs server地址
13
  persistentVolumeReclaimPolicy: Retain #回收策略，默认为Retain，删除pvc后，pv可以继续用。建议手动创建pv都使用该策略。
14
  volumeMode: Filesystem

5.2 pvc 绑定 pv#

1
apiVersion: v1
2
kind: PersistentVolumeClaim
3
metadata:
4
  name: nfs-pvc
5
spec:
6
  volumeName: nfs-pv
7
  accessModes: ["ReadWriteOnce"]
8
  resources:
9
    requests:
10
      storage: 1Gi

5.3 查看#

Terminal window

1
kubectl get pvc -n gfs
2
NAME       STATUS   VOLUME     CAPACITY   ACCESS MODES   STORAGECLASS     AGE
3
nfs-pvc    Bound    nfs-pv     1Gi        RWO                             12m

如何在Kubernetes里使用本地存储

Tue, 29 Mar 2022 17:25:58 GMT

1 准备工作#

1.1 创建虚拟化磁盘#

别批量复制执行,这里要一步一步操作

Terminal window

1
dd if=/dev/zero of=local_data.img bs=1M count=4096
2
du -h local_data.img
3
mkfs.ext4 local_data.img
4
mkdir /data/local_data
5
mount -o loop -t ext4 local_data.img /data/local_data/
6
df -h

2 静态供应器#

2.1 查看刚才创建的虚拟磁盘#

Terminal window

1
lsblk |grep local_data
2
loop4                         7:4    0    4G  0 loop /data/local_data

2.2 配置静态供应器的发现目录#

Terminal window

1
mkdir /mnt/disks
2
ln -s /dev/loop4 /mnt/disks

2.3 部署静态供应器#

1
cat csi.yaml
2
apiVersion: v1
3
kind: ConfigMap
4
metadata:
5
  name: local-provisioner-config
6
  namespace: local-csi
7
data:
8
  storageClassMap: |
9
    # storageclass的名称
10
    fast-disks:
11
       # 配置发现目录
12
       hostDir: /mnt/disks
13
       mountDir:  /mnt/disks
14
       blockCleanerCommand:
15
         - "/scripts/shred.sh"
16
         - "2"
17
       volumeMode: Block # 创建的pv将是这个类型的卷
18
       fsType: ext4
19
       namePattern: "*"
20
---
21
apiVersion: apps/v1
22
kind: DaemonSet
23
metadata:
24
  name: local-volume-provisioner
25
  namespace: local-csi
26
  labels:
27
    app: local-volume-provisioner
28
spec:
29
  selector:
30
    matchLabels:
31
      app: local-volume-provisioner
32
  template:
33
    metadata:
34
      labels:
35
        app: local-volume-provisioner
36
    spec:
37
      serviceAccountName: local-storage-admin
38
      containers:
39
        - image: "dyrnq/local-volume-provisioner:v2.4.0"
40
          imagePullPolicy: "IfNotPresent"
41
          name: provisioner
42
          securityContext:
43
            privileged: true
44
          env:
45
          - name: MY_NODE_NAME
46
            valueFrom:
47
              fieldRef:
48
                fieldPath: spec.nodeName
49
          volumeMounts:
50
            - mountPath: /etc/provisioner/config
51
              name: provisioner-config
52
              readOnly: true
53
            - mountPath:  /mnt/disks # 静态供应器发现目录
54
              name: disks
55
              mountPropagation: "HostToContainer"
56
      volumes:
57
        - name: provisioner-config
58
          configMap:
59
            name: local-provisioner-config
60
        - name: disks
61
          hostPath:
62
            path: /mnt/disks # 静态供应器发现目录
63

64
---
65
apiVersion: v1
66
kind: ServiceAccount
67
metadata:
68
  name: local-storage-admin
69
  namespace: local-csi
70

71
---
72
apiVersion: rbac.authorization.k8s.io/v1
73
kind: ClusterRoleBinding
74
metadata:
75
  name: local-storage-provisioner-pv-binding
76
  namespace: local-csi
77
subjects:
78
- kind: ServiceAccount
79
  name: local-storage-admin
80
  namespace: local-csi
81
roleRef:
82
  kind: ClusterRole
83
  name: system:persistent-volume-provisioner
84
  apiGroup: rbac.authorization.k8s.io
85
---
86
apiVersion: rbac.authorization.k8s.io/v1
87
kind: ClusterRole
88
metadata:
89
  name: local-storage-provisioner-node-clusterrole
90
  namespace: local-csi
91
rules:
92
- apiGroups: [""]
93
  resources: ["nodes"]
94
  verbs: ["get"]
95
---
96
apiVersion: rbac.authorization.k8s.io/v1
97
kind: ClusterRoleBinding
98
metadata:
99
  name: local-storage-provisioner-node-binding
100
  namespace: local-csi
101
subjects:
102
- kind: ServiceAccount
103
  name: local-storage-admin
104
  namespace: local-csi
105
roleRef:
106
  kind: ClusterRole
107
  name: local-storage-provisioner-node-clusterrole
108
  apiGroup: rbac.authorization.k8s.io

展开收起

Terminal window

1
kubectl apply -f csi.yaml -n local-csi

3 创建 storageclass#

1
cat sc.yaml
2
apiVersion: storage.k8s.io/v1
3
kind: StorageClass
4
metadata:
5
  name: local-sc
6
provisioner: kubernetes.io/no-provisioner
7
volumeBindingMode: Immediate
8
kubectl apply -f sc.yaml -n local-csi

4 验证#

4.1 查看#

静态供应器会将发现目录中的设备文件自动创建为 pv

Terminal window

1
kubectl get pv
2
NAME               CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM      STORAGECLASS    AGE
3
local-pv-xxx0b1     4Gi        RWO            Delete           Bound                  local-sc      21h
4
local-pv-xxx79f     4Gi        RWO            Delete           Bound                  local-sc      21h

4.2 创建 pvc#

1
cat pvc.yaml
2
apiVersion: v1
3
kind: PersistentVolumeClaim
4
metadata:
5
  name: local-pvc
6
spec:
7
  accessModes:
8
    - ReadWriteOnce
9
  volumeMode: Block
10
  storageClassName: local-sc
11
  resources:
12
    requests:
13
      storage: 1Gi
14
kubectl apply -f pvc.yaml -n local-csi

查看

Terminal window

1
kubectl get pvc -n local-csi
2
NAME                     STATUS   VOLUME              CAPACITY   ACCESS MODES   STORAGECLASS   AGE
3
local-pvc                 Bound    local-pv-xxx0b1   4Gi        RWO               local-sc     19h

4.3 创建 statefuset#

1
cat statefuset.yaml
2
apiVersion: apps/v1
3
kind: StatefulSet
4
metadata:
5
  name: local-test
6
spec:
7
  serviceName: "local-service"
8
  replicas: 1
9
  selector:
10
    matchLabels:
11
      app: local-test
12
  template:
13
    metadata:
14
      labels:
15
        app: local-test
16
    spec:
17
      containers:
18
      - name: test-container
19
        image: nginx
20
        volumeDevices:
21
        - name: local-vol
22
          devicePath: /mnt/loop4
23
  volumeClaimTemplates:
24
  - metadata:
25
      name: local-vol
26
    spec:
27
      accessModes:
28
      - ReadWriteOnce
29
      volumeMode: Block
30
      storageClassName: "local-sc"
31
      resources:
32
        requests:
33
          storage: 4Gi
34
kubectl apply -f statefuset.yaml -n local-csi

展开收起

查看

Terminal window

1
kubectl get pod -n local-csi
2
NAME                             READY   STATUS             RESTARTS   AGE
3
local-test-0                     1/1     Running            0          19h

Glusterfs入门

Tue, 29 Mar 2022 17:25:58 GMT

1 介绍#

1.1 GlusterFS 数据访问流程#

1.客户端通过 glusterfs 的 mount point 来读写数据。
2.用户的这个操作被递交给本地 linux 系统的 VFS 来处理。
3.VFS 将数据递交给 FUSE 内核文件系统，在启动 glusterfs 客户端以前，需要向系统注册一个实际的文件系统 FUSE，如图所示,该文件系统与 XFS 在同一个层次上面，XFS 是对实际的磁片进行处理，而 fuse 文件系统则是将数据通过/dev/fuse 这个设备文件递交给了 glusterfs client 端。所以，我们可以将 fuse 文件系统理解为一个代理。
4.数据被 fuse 递交给 Glusterfs client 后，client 对数据进行根据配置文件进行的一系列处理
5.在 glusterfsclient 的处理末端，通过网路将数据递交给 Glusterfs Server,并且将数据写入到服务器所控制的存储设备上

整体流程

2 安装#

2.1 配置 yum 源并安装#

Terminal window

1
cat /etc/yum.repos.d/glusterfs.repo
2
[glusterfs]
3
name=glusterfs
4
baseurl=https://buildlogs.centos.org/centos/7/storage/x86_64/gluster-9/
5
enabled=1
6
gpgcheck=0
7

8
yum install -y glusterfs glusterfs-server glusterfs-fuse

2.2 启动#

Terminal window

1
systemctl enable glusterd
2
systemctl start glusterd

2.3 查看状态#

Terminal window

1
systemctl status glusterd

3 配置集群#

Terminal window

1
gluster peer probe 10.1.1.1
2
gluster peer probe 10.1.1.2
3
gluster peer probe 10.1.1.3

3.1 查看状态#

Terminal window

1
gluster peer status

4 创建存储池#

4.1 卷类型#

名称	应用场景	优点	缺点
分布式卷	对可靠性高和读写性能要求高的场景	读写性能好	写性能差
复制卷	对可靠性高和读写性能要求高的场景	读写性能好	写性能差
条带卷	大文件	适用于大文件存储	可靠性低
分布式复制卷	大量文件读和可靠性要求高的场景	高可靠，读性能高	牺牲存储空间，写性能差
分布式条带卷	读/写性能高的大量大文件场景	高并发支持	没有冗余，可靠性差
条带式复制卷	超大文件，并且对可靠性要求高	大文件存储，可靠性高	牺牲空间写性能差
分布式条带复制卷	大量大文件并且对可靠性要求高的场景	读/写/可靠性比较均匀	牺牲存储空间，写性能相对差

4.2 卷存储机制说明#

名称	说明
分布式卷	分布式卷也成为哈希卷，多个文件以文件为单位在多个 brick 上，使用哈希算法随机存储。
复制卷	多个文件在多个 brick 上复制多份，brick 的数目要与需要复制的份数相等，建议 brick 分布在不同的服务器上。
条带卷	将文件分成条带，存放在多个 brick 上，默认条带大小 128k
分布式复制卷	多个文件在多个节点哈希存储，每个文件再多分条带在多个 brick 上存储
分布式条带卷	多个文件在多个节点上哈希存储，在多个 brick 复制多份存储。
条带式复制卷	一个大文件存储的时候划分条带，并且保存多份
分布式条带复制卷	多个大文件在多个节点哈希存储，存储是分成条带，并且保存多份

因为这里只是简单部署,主要测试 csi,只是用了分布式卷,具体参考:架构 - Gluster Docs

4.3 创建虚拟化磁盘#

别批量复制执行,这里要一步一步操作

Terminal window

1
dd if=/dev/zero of=gfs_data.img bs=1M count=1024
2
du -h gfs_data.img
3
mkfs.ext4 gfs_data.img
4
mkdir /data/gfs_data
5
mount -o loop -t ext4 gfs_data.img /data/gfs_data/
6
df -h

4.4 创建分布式卷#

Terminal window

1
gluster volume create gv0 replica 3 10.1.1.1:/data/gfs_data 10.1.1.2:/data/gfs_data 10.1.1.3:/data/gfs_data
2
gluster volume start gv0

4.4.1 查看#

Terminal window展开收起

1
gluster volume info
2
Volume Name: gv0
3
Type: Replicate
4
Volume ID: 544e31b9-2c0f-4454-a35a-xxxxxxxxx
5
Status: Started
6
Snapshot Count: 0
7
Number of Bricks: 1 x 4 = 4
8
Transport-type: tcp
9
Bricks:
10
Brick1: 10.1.1.1:/data/gfs_data
11
Brick2: 10.1.1.2:/data/gfs_data
12
Brick3: 10.1.1.3:/data/gfs_data
13
Options Reconfigured:
14
performance.client-io-threads: off
15
nfs.disable: on
16
transport.address-family: inet
17
storage.fips-mode-rchecksum: on
18
cluster.granular-entry-heal: on

展开收起

4.5 挂载测试#

Terminal window

1
mount -t glusterfs 10.1.1.1:/gv0 /opt/1/

5 删除卷#

5.1 停止#

Terminal window

1
gluster volume stop gv0

5.2 删除#

Terminal window

1
gluster volume delete gv0

5.3 删除目录残留#

Terminal window

1
rm -f /data/gfs_data

如何在Kubernetes里使用Glusterfs存储

Mon, 28 Mar 2022 17:25:58 GMT

部署 Glusterfs 参考: [[glusterfs]]
Kubernetes 通过 StorageClass 访问 heketi,heketi 负责管理 Glusterfs 集群

1 heketi#

1.1 安装#

1.1.1 配置 yum 源并安装#

Terminal window

1
cat /etc/yum.repos.d/glusterfs.repo
2
[glusterfs]
3
name=glusterfs
4
baseurl=https://buildlogs.centos.org/centos/7/storage/x86_64/gluster-9/
5
enabled=1
6
gpgcheck=0
7
yum install -y heketi heketi-client

1.1.2 配置文件#

这个一般只需要修改用户名与 key

Terminal window展开收起

1
cat /etc/heketi/heketi.json
2

3
{
4
  "_port_comment": "Heketi Server Port Number",
5
  "port": "8080", # 对外暴露端口号
6

7
  "_use_auth": "Enable JWT authorization. Please enable for deployment",
8
  "use_auth": true,
9

10
  "_jwt": "Private keys for access",
11
  "jwt": {
12
    "_admin": "Admin has access to all APIs",
13
    "admin": {
14
      "key": "admin" # admin key
15
    },
16
    "_user": "User only has access to /volumes endpoint",
17
    "user": {
18
      "key": "user"
19
    }
20
  },
21

22
  "_glusterfs_comment": "GlusterFS Configuration",
23
  "glusterfs": {
24
    "_executor_comment": [
25
      "Execute plugin. Possible choices: mock, ssh",
26
      "mock: This setting is used for testing and development.",
27
      "      It will not send commands to any node.",
28
      "ssh:  This setting will notify Heketi to ssh to the nodes.",
29
      "      It will need the values in sshexec to be configured.",
30
      "kubernetes: Communicate with GlusterFS containers over",
31
      "            Kubernetes exec api."
32
    ],
33
    "executor": "ssh",
34

35
    "_sshexec_comment": "SSH username and private key file information",
36
    "sshexec": {
37
      "keyfile": "/etc/heketi/heketi_key",
38
      "user": "ops", # 远程用户名
39
      "port": "22", # 远程端口
40
      "sudo": true, # 是否sudo
41
      "fstab": "/etc/fstab"
42
    },
43

44
    "_db_comment": "Database file name",
45
    "db": "/var/lib/heketi/heketi.db",
46

47
    "_loglevel_comment": [
48
      "Set log level. Choices are:",
49
      "  none, critical, error, warning, info, debug",
50
      "Default is warning"
51
    ],
52
    "loglevel" : "info" # 日志级别
53
  }
54
}

展开收起

1.1.3 添加免密登录#

Terminal window

1
cd /etc/heketi/
2
ssh-keygen -t rsa -q -f /etc/heketi/heketi_key -N ""
3
ssh-copy-id -i /etc/heketi/heketi_key.pub -p 9999 ops@10.1.1.1
4
ssh-copy-id -i /etc/heketi/heketi_key.pub -p 9999 ops@10.1.1.2
5
ssh-copy-id -i /etc/heketi/heketi_key.pub -p 9999 ops@10.1.1.3

1.1.4 启动#

Terminal window

1
systemctl enable heketi
2
systemctl start heketi

1.1.5 查看与测试#

Terminal window

1
systemctl status heketi
2
curl 10.1.1.1:8080/hello
3
Hello from Heketi

1.2 添加 Glusterfs 集群#

1.2.1 添加 heketi 专用磁盘#

不需要格式化

Terminal window

1
dd if=/dev/zero of=gfs-data.img bs=1M count=10240
2
losetup -d /dev/loop10
3
losetup  /dev/loop10 gfs-data.img

查看刚才创建的虚拟磁盘

Terminal window

1
lsblk
2
NAME                                                                              MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
3
loop10                                                                              7:10   0   10G  0 loop

1.2.2 配置 Glusterfs 集群#

磁盘一定要与上面查询到的一样

可以使用主机名,我为了方便直接使用 ip 地址了

1
cat /etc/heketi/topology.json
2

3
{
4
    "clusters": [
5
      {
6
        "nodes": [
7
          {
8
              "node": {
9
                "hostnames": {
10
                  "manage": [
11
                    "10.1.1.1"
12
                  ],
13
                  "storage": [
14
                    "10.1.1.1"
15
                  ]
16
                },
17
                "zone": 1
18
              },
19
              "devices": [
20
                "/dev/loop10"
21
              ]
22
            },
23
          {
24
            "node": {
25
              "hostnames": {
26
                "manage": [
27
                  "10.1.1.2"
28
                ],
29
                "storage": [
30
                  "10.1.1.2"
31
                ]
32
              },
33
              "zone": 1
34
            },
35
            "devices": [
36
              "/dev/loop10"
37
            ]
38
          },
39
          {
40
            "node": {
41
              "hostnames": {
42
                "manage": [
43
                  "10.1.1.3"
44
                ],
45
                "storage": [
46
                  "10.1.1.3"
47
                ]
48
              },
49
              "zone": 1
50
            },
51
            "devices": [
52
              "/dev/loop10"
53
            ]
54
          },
55
          {
56
            "node": {
57
              "hostnames": {
58
                "manage": [
59
                  "10.1.1.4"
60
                ],
61
                "storage": [
62
                  "10.1.1.4"
63
                ]
64
              },
65
              "zone": 1
66
            },
67
            "devices": [
68
              "/dev/loop10"
69
            ]
70
          }
71
        ]
72
      }
73
    ]
74
  }

展开收起

1.2.3 连接集群#

Terminal window

1
heketi-cli --user admin --secret admin topology load --json=/etc/heketi/topology.json
2
        Found node 10.1.1.1 on cluster bd307c566431464e6d91578ff88724f8
3
                Adding device /dev/loop10 ... OK
4
        Found node 10.1.1.2 on cluster bd307c566431464e6d91578ff88724f8
5
                Adding device /dev/loop10 ... OK
6
        Found node 10.1.1.3 on cluster bd307c566431464e6d91578ff88724f8
7
                Adding device /dev/loop10 ... OK
8
        Found node 10.1.1.4 on cluster bd307c566431464e6d91578ff88724f8
9
                Adding device /dev/loop10 ... OK

1.2.4 创建测试存储卷#

1
heketi-cli --user admin --secret admin volume create --size=5
2

3
Name: vol_399d09a026f7e9faa4c112fa01c01f97
4
Size: 3
5
Volume Id: 399d09a026f7e9faa4c112fa01c01f97
6
Cluster Id: bd307c566431464e6d91578ff88724f8
7
Mount: 10.1.1.1:vol_399d09a026f7e9faa4c112fa01c01f97
8
Mount Options: backup-volfile-servers=10.1.1.2,10.1.1.3,10.1.1.4
9
Block: false
10
Free Size: 0
11
Reserved Size: 0
12
Block Hosting Restriction: (none)
13
Block Volumes: []
14
Durability Type: replicate
15
Distribute Count: 1
16
Replica Count: 3

展开收起

1.2.5 查看#

1.2.5.1 glusterfs#

Terminal window展开收起

1
gluster volume info
2

3
Volume Name: vol_399d09a026f7e9faa4c112fa01c01f97
4
Type: Replicate
5
Volume ID: 26c8ae49-00e4-4f1b-9388-e2e3ec5eabf9
6
Status: Started
7
Snapshot Count: 0
8
Number of Bricks: 1 x 3 = 3
9
Transport-type: tcp
10
Bricks:
11
Brick1: 10.1.1.3:/var/lib/heketi/mounts/vg_61f345a18c1093cac5abfc6a373a8716/brick_0826c144799419a265dae9759214bfa2/brick
12
Brick2: 10.1.1.1:/var/lib/heketi/mounts/vg_e5b0b51220b519ed7bfb553ac1073a1f/brick_163d78579056f4e38ca6e8a0f8467f03/brick
13
Brick3: 10.1.1.4:/var/lib/heketi/mounts/vg_034008384665cab8fb2fdb1477893424/brick_7266a0b5b52f60e8c363a2e17f3a6915/brick
14
Options Reconfigured:
15
user.heketi.id: 399d09a026f7e9faa4c112fa01c01f97
16
cluster.granular-entry-heal: on
17
storage.fips-mode-rchecksum: on
18
transport.address-family: inet
19
nfs.disable: on
20
performance.client-io-threads: off

展开收起

能看到说明以前正常,如果看不到看看日志,应该是免密没有做好

1.2.6 删除#

Terminal window

1
heketi-cli --user admin --secret admin volume delete ${Volume Id}

2 Kubernetes#

2.1 安装 glusterfs 客户端#

所有节点最好都执行

yum install glusterfs-fuse -y

2.2 StorageClass#

2.2.1 查看 heketi 的 Cluster Id#

Terminal window

1
heketi-cli --user admin --secret admin topology info
2
Cluster Id: b122b2fa65f1e02648d0bc434deefc5e
3

4
    File:  true
5
    Block: true
6

7
    Volumes:  ...........................

2.2.2 StorageClass 配置文件#

1
cat gfs.yaml
2
apiVersion: storage.k8s.io/v1
3
kind: StorageClass
4
metadata:
5
  name: gluster-heketi-storageclass
6
provisioner: kubernetes.io/glusterfs
7
parameters:
8
  resturl: "http://10.1.1.1:8080" # heketi服务端地址
9
  clusterid: "b122b2fa65f1e02648d0bc434deefc5e"  # 刚才查到的Cluster Id
10
  restauthenabled: "true"
11
  restuser: "admin"
12
  secretNamespace: "gfs"
13
  secretName: "heketi-secret"
14
  gidMin: "40000"
15
  gidMax: "50000"
16
  volumetype: "replicate:2"
17
---
18
apiVersion: v1
19
kind: Secret
20
metadata:
21
  name: heketi-secret
22
data:
23
  key: YWRtaW4= # heketi.json里配置的admin key base64加密
24
type: kubernetes.io/glusterfs

展开收起

添加

Terminal window

1
kubectl apply -f gfs.yaml  -n gfs

2.3 pvc#

Terminal window

1
cat pvc.yaml
2
kind: PersistentVolumeClaim
3
apiVersion: v1
4
metadata:
5
  name: gfs-pvc
6
spec:
7
  storageClassName: gluster-heketi-storageclass
8
  accessModes:
9
    - ReadWriteMany
10
  resources:
11
    requests:
12
      storage: 1G
13

14
kubectl apply -f pvc.yaml  -n gfs

2.3.1 查看#

Terminal window

1
kubectl get pvc -n gfs
2
NAME      STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
3
gfs-pvc   Bound    pvc-e3e5cfb6-25b1-429c-8e85-2bf93a5ae61f   1Gi        RWX            gluster-heketi-storageclass   4d17h

2.4 pod#

1
cat pod.yaml
2
kind: Pod
3
apiVersion: v1
4
metadata:
5
  name: gfs-pod
6
  namespace: gfs
7
spec:
8
  containers:
9
  - name: gfs-pod
10
    image:  nginx
11
    volumeMounts:
12
      - name: pvc
13
        mountPath: "/mnt"
14
  volumes:
15
    - name: pvc
16
      persistentVolumeClaim:
17
        claimName: gfs-pvc

展开收起

2.5 查看#

2.5.1 pod#

Terminal window

1
kubectl get pod -n gfs
2
NAME      READY   STATUS    RESTARTS   AGE
3
gfs-pod   1/1     Running   0          4d17h

2.5.2 Glusterfs#

Terminal window

1
gluster volume info
2

3
Volume Name: vol_3373ccb6e612ae94f39d56a8b55c5068
4
Type: Replicate
5
Volume ID: 751b7641-443f-4207-875a-4d42f13abfef
6
Status: Started
7
Snapshot Count: 0
8
Number of Bricks: 1 x 2 = 2
9
............

3 静态绑定#

3.1 glusterfs 创建 volume#

gluster volume create kube_vol 10.1.1.1:/data/gfs2_data 10.1.1.2:/data/gfs2_data 10.1.1.3:/data/gfs2_data

3.1.1 启动 volume#

gluster volume start kube_vol

3.2 配置 kubernetes 访问 glusterfs 集群#

1
 cat endpoints.yaml
2

3
apiVersion: v1
4
kind: Endpoints
5
metadata:
6
  name: glusterfs-cluster
7
subsets:
8
- addresses:
9
  - ip: 10.1.1.1
10
  ports:
11
  - port: 20
12
- addresses:
13
  - ip: 10.1.1.2
14
  ports:
15
  - port: 20
16
- addresses:
17
  - ip: 10.1.1.3
18
  ports:
19
  - port: 20
20
- addresses:
21
  - ip: 10.1.1.4
22
  ports:
23
  - port: 20
24
---
25
apiVersion: v1
26
kind: Service
27
metadata:
28
  name: glusterfs-cluster
29
spec:
30
  ports:
31
  - port: 20

展开收起

3.3 创建 pv#

1
apiVersion: v1
2
kind: PersistentVolume
3
metadata:
4
  name: gfs-pv
5
spec:
6
  accessModes:
7
  - ReadWriteOnce
8
  capacity:
9
    storage: 1Gi
10
  glusterfs:
11
    endpoints: glusterfs-cluster
12
    path: kube_vol
13
    readOnly: true

3.4 创建 pvc 绑定 pv#

1
apiVersion: v1
2
kind: PersistentVolumeClaim
3
metadata:
4
  name: gfs-pvc2
5
spec:
6
  volumeName: gfs-pv
7
  accessModes: ["ReadWriteOnce"]
8
  resources:
9
    requests:
10
      storage: 1Gi

3.5 查看#

Terminal window

1
kubectl get pvc gfs-pvc2 -n gfs
2
NAME       STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
3
gfs-pvc2   Bound    gfs-pv   1Gi        RWO                           19m

4 问题#

4.1 mount: unknown filesystem type ‘glusterfs’#

安装 glusterfs 客户端

yum install glusterfs-fuse -y

4.2 添加集群初始化失败#

硬盘不需要格式化

4.3 pod 挂载不上 pvc#

查看 glusterfs 集群 volume 是否正常,可能没启动,gluster volume status

如何在Kubernetes里使用cephrdb作为存储

Mon, 28 Mar 2022 17:25:58 GMT

1 准备工作#

部署集群参考: [[RookCeph安装]]

1.1 创建一个 ceph pool 创建存储池#

Terminal window

1
ceph osd pool create rbd 128
2
ceph osd pool set-quota rbd max_bytes $((20 * 1024 * 1024 * 1024)) #20G的存储池
3
rbd pool init rbd

1.1.1 查看集群状态#

csi-config-map.yaml 会用到

Terminal window展开收起

1
ceph -s
2
  cluster:
3
    id:     xxxxxxx-67a0f564e0d6
4
    health: HEALTH_OK
5

6
  services:
7
    mon: 3 daemons, quorum ceph01,ceph02,ceph03 (age 7d)
8
    mgr: ceph01.pjvndt(active, since 7d), standbys: ceph02.injlkl, ceph03.sulrio
9
    mds: 1/1 daemons up, 2 standby
10
    osd: 8 osds: 8 up (since 7d), 8 in (since 7d)
11
    rgw: 3 daemons active (3 hosts, 1 zones)
12

13
  data:
14
    volumes: 1/1 healthy
15
    pools:   10 pools, 265 pgs
16
    objects: 269 objects, 8.3 KiB
17
    usage:   20 GiB used, 400 GiB / 420 GiB avail
18
    pgs:     265 active+clean

展开收起

1.1.2 查看用户 key#

csi-rbd-secret.yaml 文件会用到

Terminal window

1
ceph auth get client.admin
2
[client.admin]
3
        key = xxxxxxxxMLkw==
4
        caps mds = "allow *"
5
        caps mgr = "allow *"
6
        caps mon = "allow *"
7
        caps osd = "allow *"
8
exported keyring for client.admin

或者自己创建存储池、用户以及用户 key

Terminal window

1
ceph osd pool create kubernetes
2
rbd pool init kubernetes
3
ceph auth get-or-create client.kubernetes mon 'profile rbd' osd 'profile rbd pool=kubernetes' mgr 'profile rbd pool=kubernetes'
4
[client.kubernetes]
5
        key = xxxxxxxpmg==

1.1.3 查看集群信息#

csi-config-map.yaml 会用到

Terminal window

1
ceph mon dump
2
epoch 3
3
fsid 2a8e37c8-a0ef-11ec-bfb9-67a0f564e0d6
4
last_changed 2022-03-11T03:57:44.615026+0000
5
created 2022-03-11T03:56:03.739853+0000
6
min_mon_release 16 (pacific)
7
election_strategy: 1
8
0: [v2:10.1.1.1:3300/0,v1:10.1.1.1:6789/0] mon.ceph01
9
1: [v2:10.1.1.2:3300/0,v1:10.1.1.2:6789/0] mon.ceph02
10
2: [v2:10.1.1.3:3300/0,v1:10.1.1.3:6789/0] mon.ceph03
11
dumped monmap epoch 3

这里有两种方案

所有操作都在 pod 里使用 rbd 命令,只能在快照卷和克隆卷用 ReadOnlyMany,但是部署方便

node 节点上安装 ceph-common,使用 ceph-common 挂载无限制,但是部署不方便

2 第一种方法(功能多,推荐)#

2.1 生成 ceph-csi 的 kubernetes configmap#

下载此目录所有文件可以参考官网的,需要自己改镜像

1
cat csi-config-map.yaml
2
---
3
apiVersion: v1
4
kind: ConfigMap
5
metadata:
6
  name: "ceph-csi-config"
7
  namespace: rbd
8
data:
9
  config.json: |-
10
    [
11
      {
12
        "clusterID": "2a8e37c8-a0ef-11ec-bfb9-67a0f564e0d6",
13
        "monitors": [
14
          "10.1.1.1:6789",
15
          "10.1.1.2:6789",
16
          "10.1.1.3:6789"
17
        ]
18
      }
19
    ]

展开收起

2.1.1 修改 kubectl 路径#

Terminal window

1
grep plugins_registry *
2
csi-nodeplugin-psp.yaml:            path: /var/lib/kubelet/plugins_registry/
3
csi-rbdplugin.yaml:    - pathPrefix: '/var/lib/kubelet/plugins_registry'

sed -i "s/var\/lib/data/g" *

Terminal window

1
grep plugins_registry *
2
csi-nodeplugin-psp.yaml:    - pathPrefix: '/data/kubelet/plugins_registry'
3
csi-rbdplugin.yaml:            path: /data/kubelet/plugins_registry/

2.1.2 生成 ceph-csi cephx 的 secret#

1
cat <<EOF > csi-rbd-secret.yaml
2
apiVersion: v1
3
kind: Secret
4
metadata:
5
  name: csi-rbd-secret
6
  namespace: rbd
7
stringData:
8
  userID: admin
9
  userKey: AQBTyCpiHHhbARAAfHqI0X9iMd3rnzJQHaMLkw==
10
EOF

2.1.3 部署 csi#

kubectl apply -f . -n rbd

2.2 使用 ceph 块儿设备#

2.2.1 创建 storageclass,注意 secret-name 要与上面 Secret 名字一致#

1
apiVersion: storage.k8s.io/v1
2
kind: StorageClass
3
metadata:
4
   name: csi-rbd-sc
5
provisioner: rbd.csi.ceph.com
6
parameters:
7
   clusterID: 2a8e37c8-a0ef-11ec-bfb9-67a0f564e0d6
8
   pool: rbd
9
   imageFeatures: layering
10
   csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
11
   csi.storage.k8s.io/provisioner-secret-namespace: rbd
12
   csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
13
   csi.storage.k8s.io/controller-expand-secret-namespace: rbd
14
   csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
15
   csi.storage.k8s.io/node-stage-secret-namespace: rbd
16
   csi.storage.k8s.io/fstype: ext4
17
reclaimPolicy: Delete
18
allowVolumeExpansion: true
19
mountOptions:
20
   - discard

展开收起

clusterID 对应之前的步骤中的 fsid
imageFeatures，这个是用来确定创建的 image 的特征的
allowVolumeExpansion: true 是否开启在线扩容

kubectl apply -f sc.yaml -n rbd

2.2.2 查看 storageclass#

Terminal window

1
kubectl get StorageClass -n rbd
2
NAME            PROVISIONER           RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
3
csi-rbd-sc      rbd.csi.ceph.com      Delete          Immediate           true                   23m

2.2.3 创建 PVC#

1
cat pvc.yaml
2
apiVersion: v1
3
kind: PersistentVolumeClaim
4
metadata:
5
  name: rbd-pvc
6
spec:
7
  accessModes:
8
    - ReadWriteOnce
9
  resources:
10
    requests:
11
      storage: 1Gi
12
  storageClassName: csi-rbd-sc

kubectl aaply -f pvc.yaml

2.2.4 查看 pvc#

Terminal window

1
kubectl get pvc -n rbd
2
NAME      STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
3
rbd-pvc   Bound    pvc-d98c1d23-6e67-4185-82c5-d862b9768267   1Gi        RWO            csi-rbd-sc     2d15h

2.2.5 测试挂载 pod 写入#

Terminal window展开收起

1
cat <<EOF > pod.yaml
2
kind: Pod
3
apiVersion: v1
4
metadata:
5
  name: rbd-pod
6
  namespace: rbd
7
spec:
8
  containers:
9
  - name: rbd-pod
10
    image:  nginx
11
    volumeMounts:
12
      - name: pvc
13
        mountPath: "/mnt"
14
  volumes:
15
    - name: pvc
16
      persistentVolumeClaim:
17
        claimName: rbd-pvc
18
EOF

展开收起

Terminal window

1
kubectl apply -f pod.yaml -n rbd
2
kubectl exec -it rbd-pod -n rbd -- sh
3
echo "hello" > /mnt/1
4
cat /mnt/1

2.3 快照的使用#

2.3.1 安装 snapshot 驱动#

Terminal window

1
./install-snapshot.sh install

2.3.2 创建 VolumeSnapshotClass#

1
apiVersion: snapshot.storage.k8s.io/v1
2
kind: VolumeSnapshotClass
3
metadata:
4
  name: csi-rbdplugin-snapclass
5
driver: rbd.csi.ceph.com
6
parameters:
7
  clusterID: 2a8e37c8-a0ef-11ec-bfb9-67a0f564e0d6
8
  snapshotNamePrefix: "test-" # 命名RBD快照的前缀
9
  csi.storage.k8s.io/snapshotter-secret-name: csi-rbd-secret
10
  csi.storage.k8s.io/snapshotter-secret-namespace: kube-system
11
deletionPolicy: Delete

2.3.3 创建 VolumeSnapshot#

要与 pvc 在同一个命名空间

1
apiVersion: snapshot.storage.k8s.io/v1
2
kind: VolumeSnapshot
3
metadata:
4
  name: rbd-pvc-snapshot
5
spec:
6
  volumeSnapshotClassName: csi-rbdplugin-snapclass # VolumeSnapshotClass名称
7
  source:
8
    persistentVolumeClaimName: rbd-pvc # pvc名称

2.3.4 查看快照#

kubectl describe volumesnapshot rbd-pvc-snapshot

2.3.5 还原快照#

1
apiVersion: v1
2
kind: PersistentVolumeClaim
3
metadata:
4
  name: rbd-pvc-restore
5
spec:
6
  storageClassName: csi-rbd-sc
7
  dataSource:
8
    name: rbd-pvc-snapshot
9
    kind: VolumeSnapshot
10
    apiGroup: snapshot.storage.k8s.io
11
  accessModes:
12
    - ReadWriteOnce
13
  resources:
14
    requests:
15
      storage: 1Gi

展开收起

3 第二种方法#

3.1 安装 ceph 命令工具#

每个节点都需要安装

ceph-common,不装会报没有挂载类型错误

ceph-fuse,不装会报找不到配置文件

Terminal window

1
rpm -ivh https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm
2
yum install -y yum-utils && \
3
yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && \
4
yum install --nogpgcheck -y epel-release && \
5
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && \
6
rm -f /etc/yum.repos.d/dl.fedoraproject.org*
7
yum install ceph-common ceph-fuse

3.2 创建 storageclass#

1
cat <<EOF > sc.yaml
2
apiVersion: storage.k8s.io/v1
3
kind: StorageClass
4
metadata:
5
  name: intree-rbd
6
provisioner: kubernetes.io/rbd
7
parameters:
8
  monitors: 10.1.1.1:6789,10.1.1.2:6789,10.1.1.3:6789
9
  adminId: admin
10
  adminSecretName: ceph-secret
11
  adminSecretNamespace: kube-system
12
  pool: rbd
13
  userId: admin
14
  userSecretName: ceph-secret
15
  userSecretNamespace: kube-system
16
  fsType: ext4
17
  imageFormat: "2"
18
  imageFeatures: "layering"
19
  kubectl apply -f sc.yaml -n rbd

展开收起

1
cat <<EOF > csi-rbd-secret.yaml
2
apiVersion: v1
3
kind: Secret
4
metadata:
5
  name: csi-rbd-secret
6
  namespace: rbd
7
type: kubernetes.io/rbd
8
stringData:
9
  userID: admin
10
  userKey: xxxx0X9iMd3rnzJQHaMLkw==
11
EOF
12
kubectl apply -f csi-rbd-secret.yaml -n rbd

3.3 使用 ceph 块儿设备#

3.3.1 创建 PVC#

1
cat pvc.yaml
2
apiVersion: v1
3
kind: PersistentVolumeClaim
4
metadata:
5
  name: rbd-pvc
6
spec:
7
  accessModes:
8
    - ReadWriteOnce
9
  resources:
10
    requests:
11
      storage: 1Gi
12
  storageClassName: intree-rbd

kubectl aaply -f pvc.yaml

3.3.2 查看 pvc#

Terminal window

1
kubectl get pvc -n rbd
2
NAME      STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
3
rbd-pvc   Bound    pvc-d98c1d23-6e67-4185-82c5-d862b9768267   1Gi        RWO            csi-rbd-sc     2d15h

4 排错#

4.1 查看日志#

kubectl logs deployment.apps/csi-rbdplugin-provisioner -n rbd --all-containers=true --max-log-requests=7

4.2 查看 pvc 状态#

kubectl describe pvc rbd-pvc -n rbd

4.3 报错找不到配置文件#

1
 persistentvolume-controller  Failed to provision volume with StorageClass "intree-rbd": failed to create rbd image: exit status 2, command output: did not load config file, using default settings.
2
2022-04-24 15:12:36.652 7fa722bb6c80 -1 Errors while parsing config file!
3
2022-04-24 15:12:36.652 7fa722bb6c80 -1 parse_file: cannot open /etc/ceph/ceph.conf: (2) No such file or directory
4
2022-04-24 15:12:36.652 7fa722bb6c80 -1 parse_file: cannot open /.ceph/ceph.conf: (2) No such file or directory
5
2022-04-24 15:12:36.652 7fa722bb6c80 -1 parse_file: cannot open ceph.conf: (2) No such file or directory
6
2022-04-24 15:12:36.652 7fa722bb6c80 -1 Errors while parsing config file!
7
2022-04-24 15:12:36.652 7fa722bb6c80 -1 parse_file: cannot open /etc/ceph/ceph.conf: (2) No such file or directory
8
2022-04-24 15:12:36.652 7fa722bb6c80 -1 parse_file: cannot open /.ceph/ceph.conf: (2) No such file or directory
9
2022-04-24 15:12:36.652 7fa722bb6c80 -1 parse_file: cannot open ceph.conf: (2) No such file or directory
10
2022-04-24 15:12:36.680 7fa722bb6c80 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory

检查 key 与地址是否对,ceph auth get client.admin,ceph mon dump

检查 ceph 是否有这个 pull,rados lspools

如何在Kubernetes里使用cephfs作为存储

Mon, 28 Mar 2022 17:25:58 GMT

1 创建一个 ceph pool 创建存储池#

1.1 ceph 集群请看这里：[[RookCeph安装]]#

Terminal window

1
ceph osd pool create cephfs_data 128
2
ceph osd pool set-quota cephfs_data max_bytes $((20 * 1024 * 1024 * 1024)) #20G的存储池
3
cephfs pool init cephfs_data

1.2 查看集群状态#

Terminal window展开收起

1
ceph -s
2
  cluster:
3
    id:     xxxxxxxxx-xxxx-11ec-bfb9-67a0f564e0d6
4
    health: HEALTH_OK
5

6
  services:
7
    mon: 3 daemons, quorum ceph01,ceph02,ceph03 (age 7d)
8
    mgr: ceph01.pjvndt(active, since 7d), standbys: ceph02.injlkl, ceph03.sulrio
9
    mds: 1/1 daemons up, 2 standby
10
    osd: 8 osds: 8 up (since 7d), 8 in (since 7d)
11
    rgw: 3 daemons active (3 hosts, 1 zones)
12

13
  data:
14
    volumes: 1/1 healthy
15
    pools:   10 pools, 265 pgs
16
    objects: 269 objects, 8.3 KiB
17
    usage:   20 GiB used, 400 GiB / 420 GiB avail
18
    pgs:     265 active+clean

展开收起

1.3 查看用户 key#

Terminal window

1
ceph auth get client.admin
2
[client.admin]
3
        key = AQBTyCpiHHhbARAAfHqI0X9iMd3rnzJQHaMLkw==
4
        caps mds = "allow *"
5
        caps mgr = "allow *"
6
        caps mon = "allow *"
7
        caps osd = "allow *"
8
exported keyring for client.admin

或者自己创建存储池、用户以及用户 key

Terminal window

1
ceph osd pool create kubernetes
2
cephfs pool init kubernetes
3
ceph auth get-or-create client.kubernetes mon 'profile cephfs' osd 'profile cephfs pool=kubernetes' mgr 'profile cephfs pool=kubernetes'
4
[client.kubernetes]
5
        key = AQD9o0Fd6hEWSDAAAt7fMaSZXduT3NWEqylNpmg==

2 k8s ceph 配置#

2.1 生成 ceph-csi 的 kubernetes configmap#

Terminal window

1
ceph mon dump
2
epoch 3
3
fsid xxxxxxxxx-xxxx-11ec-bfb9-67a0f564e0d6
4
last_changed 2022-03-11T03:57:44.615026+0000
5
created 2022-03-11T03:56:03.739853+0000
6
min_mon_release 16 (pacific)
7
election_strategy: 1
8
0: [v2:10.1.1.1:3300/0,v1:10.1.1.1:6789/0] mon.ceph01
9
1: [v2:10.1.1.2:3300/0,v1:10.1.1.2:6789/0] mon.ceph02
10
2: [v2:10.1.1.3:3300/0,v1:10.1.1.3:6789/0] mon.ceph03
11
dumped monmap epoch 3

2.2 用以上的的信息生成 configmap#

下载此目录所有文件可以参考官网的,需要自己改镜像

1
cat csi-config-map.yaml
2
---
3
apiVersion: v1
4
kind: ConfigMap
5
metadata:
6
  name: "ceph-csi-config"
7
  namespace: cephfs
8
data:
9
  config.json: |-
10
    [
11
      {
12
        "clusterID": "xxxxxxxxx-xxxx-11ec-bfb9-67a0f564e0d6",
13
        "monitors": [
14
          "10.1.1.1:6789",
15
          "10.1.1.2:6789",
16
          "10.1.1.3:6789"
17
        ]
18
      }
19
    ]

展开收起

2.3 修改 kubectl 路径(可选)#

这里我的 kubelet 存储路径在/data/kubelet/
如果这里不对的话会报在不到驱动

Terminal window

1
grep plugins_registry *
2
csi-cephfsplugin.yaml:            - "--kubelet-registration-path=/var/lib/kubelet/plugins/cephfs.csi.ceph.com/csi.sock"
3
csi-cephfsplugin.yaml:              mountPath: /var/lib/kubelet/pods
4
csi-cephfsplugin.yaml:              mountPath: /var/lib/kubelet/plugins
5
csi-cephfsplugin.yaml:            path: /var/lib/kubelet/plugins/cephfs.csi.ceph.com/
6
csi-cephfsplugin.yaml:            path: /var/lib/kubelet/plugins_registry/
7
csi-cephfsplugin.yaml:            path: /var/lib/kubelet/pods
8
csi-cephfsplugin.yaml:            path: /var/lib/kubelet/plugins
9
csi-cephfsplugin.yaml:            path: /var/lib/kubelet/plugins/cephfs.csi.ceph.com/mountinfo
10
csi-nodeplugin-psp.yaml:    - pathPrefix: '/var/lib/kubelet/pods'
11
csi-nodeplugin-psp.yaml:    - pathPrefix: '/var/lib/kubelet/plugins/cephfs.csi.ceph.com'
12
csi-nodeplugin-psp.yaml:    - pathPrefix: '/var/lib/kubelet/plugins_registry'
13
csi-nodeplugin-psp.yaml:    - pathPrefix: '/var/lib/kubelet/plugins'

sed -i "s/var\/lib/data/g" *

Terminal window

1
grep kubelet *
2
csi-cephfsplugin.yaml:            - "--kubelet-registration-path=/data/kubelet/plugins/cephfs.csi.ceph.com/csi.sock"
3
csi-cephfsplugin.yaml:              mountPath: /data/kubelet/pods
4
csi-cephfsplugin.yaml:              mountPath: /data/kubelet/plugins
5
csi-cephfsplugin.yaml:            path: /data/kubelet/plugins/cephfs.csi.ceph.com/
6
csi-cephfsplugin.yaml:            path: /data/kubelet/plugins_registry/
7
csi-cephfsplugin.yaml:            path: /data/kubelet/pods
8
csi-cephfsplugin.yaml:            path: /data/kubelet/plugins
9
csi-cephfsplugin.yaml:            path: /data/kubelet/plugins/cephfs.csi.ceph.com/mountinfo
10
csi-nodeplugin-psp.yaml:    - pathPrefix: '/data/kubelet/pods'
11
csi-nodeplugin-psp.yaml:    - pathPrefix: '/data/kubelet/plugins/cephfs.csi.ceph.com'
12
csi-nodeplugin-psp.yaml:    - pathPrefix: '/data/kubelet/plugins_registry'
13
csi-nodeplugin-psp.yaml:    - pathPrefix: '/data/kubelet/plugins'

2.4 生成 ceph-csi cephx 的 secret#

1
cat <<EOF > csi-cephfs-secret.yaml
2
apiVersion: v1
3
kind: Secret
4
metadata:
5
  name: csi-cephfs-secret
6
  namespace: cephfs
7
stringData:
8
  userID: admin
9
  userKey: xxxxx3rnzJQHaMLkw==
10

11
  adminID: admin
12
  adminKey: xxxxx0X9iMd3rnzJQHaMLkw==
13
EOF

2.5 部署 csi#

kubectl apply -f . -n cephfs

3 使用 ceph 块儿设备#

3.1 查看 fsName#

Terminal window

1
ceph fs ls
2
name: testfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

3.2 创建 storageclass#

1
apiVersion: storage.k8s.io/v1
2
kind: StorageClass
3
metadata:
4
   name: csi-cephfs-sc
5
provisioner: cephfs.csi.ceph.com
6
parameters:
7
   clusterID: 2a8e37c8-a0ef-11ec-bfb9-67a0f564e0d6
8
   pool: cephfs_data
9
   fsName: testfs
10
   csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret
11
   csi.storage.k8s.io/provisioner-secret-namespace: cephfs
12
   csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret
13
   csi.storage.k8s.io/controller-expand-secret-namespace: cephfs
14
   csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret
15
   csi.storage.k8s.io/node-stage-secret-namespace: cephfs
16
reclaimPolicy: Delete
17
mountOptions:
18
   - discard

展开收起

clusterID 对应之前的步骤中的 fsid
secret-name 对应之前的 Secret 名字
fsName 对应 ceph fs ls 查到的名字
imageFeatures，这个是用来确定创建的 image 的特征的
allowVolumeExpansion: true 是否开启在线扩容

kubectl apply -f sc.yaml -n cephfs

3.3 查看 storageclass#

Terminal window

1
get StorageClass -n cephfs
2
NAME            PROVISIONER           RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
3
csi-cephfs-sc   cephfs.csi.ceph.com   Delete          Immediate           false                  8m48s

3.4 创建 PVC#

1
apiVersion: v1
2
kind: PersistentVolumeClaim
3
metadata:
4
  name: csi-cephfs-pvc
5
  namespace: cephfs
6
spec:
7
  accessModes:
8
    - ReadWriteOnce
9
  resources:
10
    requests:
11
      storage: 1Gi
12
  storageClassName: csi-cephfs-sc

kubectl aaply -f pvc.yaml

3.5 查看 pvc#

Terminal window

1
kubectl get pvc -n cephfs
2
NAME             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS    AGE
3
csi-cephfs-pvc   Bound    pvc-42da0f11-baba-4b73-a1ea-bbaee1f5fad4   1Gi        RWO            csi-cephfs-sc   2s

3.6 测试挂载 pod 写入#

Terminal window展开收起

1
cat <<EOF > csi-cephfs-secret.yaml
2
apiVersion: v1
3
kind: Pod
4
metadata:
5
  name: csi-cephfs-demo-pod
6
  namespace: cephfs
7
spec:
8
  containers:
9
    - name: web-server
10
      image: nginx
11
      volumeMounts:
12
        - name: mypvc
13
          mountPath: /var/lib/www/html
14
  volumes:
15
    - name: mypvc
16
      persistentVolumeClaim:
17
        claimName: csi-cephfs-pvc
18
        readOnly: false
19
EOF

展开收起

kubectl apply -f pod.yaml -n cephfs

Terminal window

1
kubectl apply -f pod.yaml -n rbd
2
kubectl exec -it rbd-pod -n rbd -- sh
3
echo "hello" > /mnt/1
4
cat /mnt/1

4 静态创建#

4.1 配置 secret#

在 pvc 所在的 namespaces 创建

1
apiVersion: v1
2
kind: Secret
3
metadata:
4
  name: ceph-secret
5
data:
6
  key: QVFCVHlDcGlISGhiQVJxxxxxxxx # 上面获取的token要base64加密,很重要

4.2 创建 pv#

1
apiVersion: v1
2
kind: PersistentVolume
3
metadata:
4
  name: cai-pv
5
spec:
6
  accessModes:
7
  - ReadWriteOnce
8
  capacity:
9
    storage: 1Gi
10
  cephfs:
11
    monitors:
12
    - 10.1.1.1:6789   #ceph的monitors
13
    - 10.1.1.2:6789
14
    path: /volumes/pvc-cephfs #默认为 / ，不会自动创建目录,可通过在cephfs增加subvolume或subvolumegroup,并获取其path来创建新的目录
15
    user: admin           #ceph账号，需要后端存储提供
16
    secretRef:
17
      name: ceph-secret   #下面的cephfs-seret.yml
18
    #secretFile: "/etc/ceph/cephfs-seret.yml"  #如果不用secretRef，也可直接指定secret文件
19
  persistentVolumeReclaimPolicy: Retain
20
  volumeMode: Filesystem

展开收起

4.3 pvc 挂载#

1
apiVersion: v1
2
kind: PersistentVolumeClaim
3
metadata:
4
  name: cai-pvc
5
spec:
6
  volumeName: cai-pv
7
  accessModes: ["ReadWriteOnce"] # 与上面一样
8
  resources:
9
    requests:
10
      storage: 1Gi

4.4 查看状态#

Terminal window

1
kubectl get pvc
2
NAME        STATUS   VOLUME    CAPACITY   ACCESS MODES   STORAGECLASS   AGE
3
cai-pvc     Bound    cai-pv       1Gi        RWO                        63m

5 排错#

5.1 查看日志#

kubectl logs -f deployment.apps/csi-cephfsplugin-provisioner -n cephfs --all-containers=true --max-log-requests=7

5.2 查看 pvc 状态#

kubectl describe pvc csi-cephfs-pvc01 -n cephfs

5.3 测试挂载#

mount -t ceph 10.1.1.1:6789,10.1.1.2:6789,10.1.1.3:6789:/volumes/pvc-cephfs -o name=admin,secret=xxxxxx9iMd3rnzJQHaMLkw==

个人开发环境搭建记录

Fri, 11 Mar 2022 17:25:58 GMT

1 sqlite3#

系统自带的版本太低需要升级

1.1 编译#

Terminal window

1
wget https://sqlite.org/2022/sqlite-autoconf-3380000.tar.gz
2
tar -zxvf sqlite-autoconf-3380000.tar.gz
3
cd sqlite-autoconf-3380000
4
./configure --prefix=/usr/local
5
make && make install

1.2 替换#

Terminal window

1
mv /usr/bin/sqlite3 /usr/bin/sqlite3_old
2
ln -s /usr/local/bin/sqlite3 /usr/bin/sqlite3
3
echo "/usr/local/lib" > /etc/ld.so.conf.d/sqlite3.conf
4
ldconfig
5
sqlite3 -version
6
3.38.0 2022-02-22 18:58:40 40fa792d359f84c3b9e9d6623743e1a59826274e221df1bde8f47086968a1bab
7
rm -rf /usr/bin/sqlite3_old

2 git#

2.1 下载#

Terminal window

1
wget -O gitea https://dl.gitea.io/gitea/1.16.3/gitea-1.16.3-linux-amd64
2
chmod +x gitea
3
sudo mv gitea /usr/local/bin/

2.2 添加用户#

Terminal window

1
useradd \\
2
   --system \\
3
   --shell /bin/bash \\
4
   --comment 'Git Version Control' \\
5
   --create-home \\
6
   --home /home/git \\
7
   git

2.3 配置路径#

Terminal window

1
sudo mv /tmp/gitea /usr/local/bin
2
sudo mv gitea /usr/local/bin/
3
sudo mkdir -p /var/lib/gitea/{custom,data,indexers,public} /var/log/gitea/
4
sudo chown git: /var/lib/gitea/{data,indexers} /var/log/gitea/
5
sudo chmod 750 /var/lib/gitea/{data,indexers}
6
sudo mkdir /etc/gitea
7
sudo chown root:git /etc/gitea
8
sudo chmod 770 /etc/gitea

2.4 配置 system#

cat /etc/systemd/system/gitea.service

1
[Unit]
2
Description=Gitea (Git with a cup of tea)
3
After=syslog.target
4
After=network.target
5

6
[Service]
7
RestartSec=2s
8
Type=simple
9
User=git
10
Group=git
11
WorkingDirectory=/var/lib/gitea/
12
ExecStart=/usr/local/bin/gitea web --config /etc/gitea/app.ini
13
Restart=always
14
Environment=USER=git HOME=/home/git GITEA_WORK_DIR=/var/lib/gitea
15

16
[Install]
17
WantedBy=multi-user.target

展开收起

2.5 启动服务#

systemctl start gitea

systemctl enable gitea

3 Nginx 代理+ssl#

cat /etc/nginx/conf.d/gitea.conf

1
server {
2
    listen 80;
3
    server_name git.ccops.cc;
4
    return 301 https://xx.ink$request_uri;
5
}
6
server {
7
    listen 443 ssl http2;
8
    server_name xx.ink;
9
    proxy_read_timeout 720s;
10
    proxy_connect_timeout 720s;
11
    proxy_send_timeout 720s;
12
    client_max_body_size 50m;
13

14
    proxy_set_header X-Forwarded-Host $host;
15
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
16
    proxy_set_header X-Forwarded-Proto $scheme;
17
    proxy_set_header X-Real-IP $remote_addr;
18

19
    ssl_certificate /etc/nginx/cert/xx.crt;  # 证书路径
20
    ssl_certificate_key /etc/nginx/cert/xx.key; # key路径
21
    ssl_session_timeout 5m;
22
    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
23
    #表示使用的加密套件的类型。
24
    ssl_protocols TLSv1.2; #表示使用的TLS协议的类型。
25
    ssl_prefer_server_ciphers on;
26
    # 日志
27
    access_log /var/log/nginx/git.ccops.cc.access.log;
28
    error_log /var/log/nginx/git.ccops.cc.error.log;
29

30
    # 转发
31
    location / {
32
       proxy_redirect off;
33
       proxy_pass http://127.0.0.1:3000;
34
    }
35
}

展开收起

nginx -s reload

配置好 dns 访问,然后初始化 gitea,直接按照页面操作就可以比较简单

4 配置 git ssh#

4.1 配置 gitea 的 ssh 服务#

vim /etc/gitea/app.ini

1
[server]
2
SSH_DOMAIN       = xx.ink
3
DOMAIN           = xx.ink
4
HTTP_PORT        = 3000
5
ROOT_URL         = https://xx.ink/
6
DISABLE_SSH      = false
7
SSH_PORT         = 23 # 配置gitea自己的ssh端口,别与22冲突
8
LFS_START_SERVER = true
9
LFS_CONTENT_PATH = /var/lib/gitea/data/lfs
10
LFS_JWT_SECRET   = Ic8_Io65nzi0xYnjbJAL3K882GDlfJZn4yiP6HEC1lc
11
OFFLINE_MODE     = true
12
START_SSH_SERVER = true # 开启gitea自己的ssh

4.2 配置秘钥#

ssh-keygen -t rsa -b 2048

4.2.1 拷贝结果#

Terminal window

1
cat .ssh/id_rsa.pub
2
ssh-rsaxxxxxxxxxxxxogWoqz/260LjowF xxxx@x

image-20220330093833579

5 客户端使用 ssh#

一定要有私钥~/.ssh/id_rsa

Terminal window

1
git config --global user.email "xx@xx.com"
2
git config --global user.name "xx"

5.1 测试#

git clone ssh://git@xx.xx:23/test/new.git

以下结果表示正常

1
Cloning into 'new'...
2
remote: Enumerating objects: 8, done.
3
remote: Counting objects: 100% (8/8), done.
4
remote: Compressing objects: 100% (4/4), done.
5
remote: Total 8 (delta 0), reused 0 (delta 0), pack-reused 0
6
Receiving objects: 100% (8/8), done.

Linux 系统调优

Fri, 11 Mar 2022 16:36:15 GMT

一、优化文件打开数#

为了防止失控的进程破坏系统的性能，Unix和Linux会跟踪进程使用的大部分资源，会对用户及系统管理员进行资源限制，例如控制某个用户打开文件最大数、对某个用户打开进程数进行限制等，一般限制手段包括：软限制和硬限制，一般这两者的值都是设置相等的。

Terminal window

1
# 每个用户打开文件的数量,"*"表示所有用户。如果改成root就表示对root用户的限制。
2
cat /etc/security/limits.conf
3
......... 末尾添加
4
*  soft  noproc   65535
5
*  hard  noproc   65535
6
*  soft  nofile   65535
7
*  hard  nofile   65535
8
# 整个系统打开文件对数量
9
cat /proc/sys/fs/file-max
10
2621440

二、内核参数优化#

Linux /proc/sys目录下存放着多数内核的参数，并且可以在系统运行时进行更改，一般重新启动机器就会失效, /proc/sys下内核文件与配置文件/etc/sysctl.conf中变量存在着对应关系，即修改sysct.conf配置文件，其实是修改/proc/sys相关参数!

1 生产环境内核完整参数#

Terminal window展开收起

1
net.ipv4.conf.all.accept_redirects=0
2
net.ipv4.icmp_echo_ignore_broadcasts=1
3
kernel.core_pattern=/var/log/core/core_%e_%p_%t
4
kernel.core_uses_pid=1
5
kernel.pid_max=458752
6
kernel.msgmnb=65536
7
kernel.msgmax=65536
8
kernel.msgmni=4096
9
net.core.somaxconn=65535
10
net.core.netdev_max_backlog=30000
11
net.core.rmem_default=8388608
12
net.core.wmem_default=8388608
13
net.core.rmem_max=16777216
14
net.core.wmem_max=16777216
15
net.core.dev_weight=512
16
net.core.optmem_max=262144
17
net.core.netdev_budget=1024
18
net.ipv4.neigh.default.gc_thresh1=10240
19
net.ipv4.neigh.default.gc_thresh2=40960
20
net.ipv4.neigh.default.gc_thresh3=81920
21
net.ipv4.tcp_slow_start_after_idle=0
22
net.ipv4.tcp_no_metrics_save=1
23
net.ipv4.tcp_rfc1337=1
24
net.ipv4.ip_forward=1
25
net.ipv4.ip_local_port_range=1024 65535
26
net.ipv4.tcp_timestamps=0
27
net.ipv4.tcp_sack=1
28
net.ipv4.tcp_dsack=1
29
net.ipv4.tcp_window_scaling=1
30
net.ipv4.tcp_max_syn_backlog=262144
31
net.ipv4.tcp_max_orphans=262144
32
net.ipv4.tcp_tw_reuse=1
33
net.ipv4.tcp_moderate_rcvbuf=1
34
net.ipv4.tcp_keepalive_time=1800
35
net.ipv4.tcp_keepalive_intvl=30
36
net.ipv4.tcp_keepalive_probes=3
37
net.ipv4.tcp_max_tw_buckets=1440000
38
vm.swappiness=10
39
vm.overcommit_memory=1
40
vm.overcommit_ratio=50
41
vm.max_map_count=262144
42
fs.file-max=2621440
43
fs.aio-max-nr=1048576
44
fs.inotify.max_user_watches=102400
45
fs.inotify.max_user_instances=1024
46
net.bridge.bridge-nf-call-ip6tables=1
47
net.bridge.bridge-nf-call-iptables=1
48
net.ipv4.conf.all.route_localnet=1
49
net.ipv4.tcp_fin_timeout=30
50
net.ipv4.tcp_syncookies=1
51
net.ipv4.tcp_tw_recycle=1
52
net.ipv4.tcp_max_syn_backlog=8192
53
net.ipv4.tcp_max_tw_buckets=8000
54
net.ipv4.tcp_synack_retries=2
55
net.ipv4.tcp_syn_retries=2

展开收起

2 Linux内核常见参数详解#

Terminal window展开收起

1
net.ipv4.tcp_timestamps=1 //该参数控制RFC 1323 时间戳与窗口缩放选项；
2
net.ipv4.tcp_sack=1 //选择性应答(SACK)是 TCP 的一项可选特性,可以提高某些网络中所有可用带宽的使用效率；
3
net.ipv4.tcp_fack=1 //打开FACK(Forward ACK) 拥塞避免和快速重传功能；
4
net.ipv4.tcp_retrans_collapse=1  //打开重传重组包功能，为0的时候关闭重传重组包功能；
5
net.ipv4.tcp_syn_retries=5 //对于一个新建连接，内核要发送多少个SYN 连接请求才决定放弃；
6
net.ipv4.tcp_synack_retries=5
7
tcp_synack_retries //显示或设定Linux在回应SYN要求时尝试多少次重新发送初始SYN,ACK封包后才决定放弃；
8
net.ipv4.tcp_max_orphans=131072 //系统所能处理不属于任何进程的TCP sockets最大数量；
9
net.ipv4.tcp_max_tw_buckets=5000//系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息；默认为180000，设为较小数值此项参数可以控制TIME_WAIT套接字的最大数量，避免服务器被大量的TIME_WAIT套接字拖死；
10

11
net.ipv4.tcp_keepalive_time=30
12
net.ipv4.tcp_keepalive_probes=3
13
net.ipv4.tcp_keepalive_intvl=3
14
//如果某个TCP连接在空闲30秒后,内核才发起probe(探查)；
15
//如果probe 3次(每次3秒既tcp_keepalive_intvl值)不成功,内核才彻底放弃,认为该连接已失效；
16

17
net.ipv4.tcp_retries1=3 //放弃回应一个TCP 连接请求前﹐需要进行多少次重试；
18
net.ipv4.tcp_retries2=15 //在丢弃激活(已建立通讯状况)的TCP连接之前﹐需要进行多少次重试；
19
net.ipv4.tcp_fin_timeout=30 //表示如果套接字由本端要求关闭，这个参数决定了它保持在 FIN-WAIT-2状态的时间；
20
net.ipv4.tcp_tw_recycle=1 //表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭；
21
net.ipv4.tcp_max_syn_backlog=8192 //表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数；
22
net.ipv4.tcp_syncookies=1 //TCP建立连接的 3 次握手过程中，当服务端收到最初的 SYN 请求时，会检查应用程序的syn_backlog队列是否已满，启用syncookie，可以解决超高并发时的Can’t  Connect` 问题。但是会导致 TIME_WAIT 状态fallback为保持2MSL时间，高峰期时会导致客户端无可复用连接而无法连接服务器；
23
net.ipv4.tcp_orphan_retries=0 //关闭TCP连接之前重试多少次；
24
net.ipv4.tcp_mem=178368  237824     356736
25
net.ipv4.tcp_mem[0]:  //低于此值,TCP没有内存压力；
26
net.ipv4.tcp_mem[1]:  //在此值下,进入内存压力阶段；
27
net.ipv4.tcp_mem[2]:  //高于此值,TCP拒绝分配socket；
28
net.ipv4.tcp_tw_reuse=1 //表示开启重用，允许将TIME-WAIT sockets重新用于新的TCP连接；
29
net.ipv4.ip_local_port_range=1024 65000 //表示用于向外连接的端口范围；
30
net.ipv4.ip_conntrack_max=655360 //在内核内存中netfilter可以同时处理的“任务”（连接跟踪条目）；
31
net.ipv4.icmp_ignore_bogus_error_responses=1 //开启恶意icmp错误消息保护；
32
net.ipv4.tcp_syncookies=1 //开启SYN洪水攻击保护。

展开收起

3 防止DDOS优化#

此问题是由于SYN 队列已满，而触发SYN cookies，一般是由于大量的访问，或者恶意访问导致，也称之为SYN Flooding洪水攻击。它是DDOS攻击中的一种。防护DDOS攻击有两种手段，一是基于硬件专业防火墙、二是基于Linux内核简单防护，如果攻击流量特别大，单纯配置内核参数是无法抵挡的，还得依靠专业级硬件防火墙，如下为Linux内核防护DDOS优化参数，加入如下代码即可：

Terminal window

1
net.ipv4.tcp_fin_timeout=30
2
net.ipv4.tcp_keepalive_time=1800
3
net.ipv4.tcp_syncookies=1
4
net.ipv4.tcp_tw_reuse=1
5
net.ipv4.tcp_tw_recycle=1
6
net.ipv4.ip_local_port_range=1024 65535
7
net.ipv4.tcp_max_syn_backlog=8192
8
net.ipv4.tcp_max_tw_buckets=8000
9
net.ipv4.tcp_synack_retries=2
10
net.ipv4.tcp_syn_retries=2

使用MinIO当blog图床

Thu, 10 Mar 2022 16:05:49 GMT

自从写博客后发现 markdown 图片处理困难，存到本地每次存个文档都得建个目录，云厂商的对象存储收费，后来研究了下 MinIO，感觉当图床不错

1 部署 minio#

wget http://dl.minio.org.cn/server/minio/release/linux-amd64/minio chmod +x minio mv minio /usr/bin

1.1 编写启动脚本#

cat /opt/minio/start.sh

1
#!/bin/sh
2
export MINIO_ACCESS_KEY=用户名
3
export MINIO_SECRET_KEY=密码
4
nohup /usr/bin/minio server /mnt/data --address "域名:9000" --console-address ":9001" > /opt/minio/minio.log  2>&1 &

1.2 添加证书,名字不能改#

tree /root/.minio

Terminal window

1
/root/.minio
2
`-- certs
3
    |-- CAs
4
    |-- private.key
5
    `-- public.crt

1.3 防火墙开放 9000 与 9001 端口#

1.4 启动#

sh /opt/minio/start.sh

1.5 创建 bucket#

image-20220310105656031

image-20220310105709012

1.6 配置权限#

image-20220310111703891

image-20220310111717981

image-20220310111634820

2 安装图床客户端#

我这里用 windows 的

下载地址Releases · Molunerfinn/PicGo · GitHub

2.1 安装 minio 插件#

需要安装 node.js

image-20220310110013903

2.2 配置#

image-20220310110341476

3 编辑器配置#

image-20220310110526428

3.1 测试上传#

image-20220310110654303

3.2 查看 minio#

image-20220310110717596

MySQL 5.6 主从部署

Wed, 09 Mar 2022 17:25:58 GMT

主从同步分析参考: MySQL 主从同步分析 | 云原生基站
因为我们环境 MySQL 是 5.6 的,主从同步还是会有延迟的,5.7 会解决这问题

1 环境规划#

ip		端口	名称
10.1.1.1	5.6.51	3306	Master	/var/lib/mysql/binlog/
10.1.1.2	5.6.51	3306	Slave1	/var/lib/mysql/binlog/
10.1.1.3	5.6.51	3306	Slave2	/var/lib/mysql/binlog/

2 搭建 mysql#

1
5.6yum源:rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
2
5.7yum源:rpm -Uvh http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

这里注意下,mysql 版本

5.6: I/O thread 同步并发线程是以库级别并行的,也就是说两个库可以并行两个线程,三个库可以并行三个线程,但是注意一个库不要开启并行,影响性能.而且就算开启也会存在 slave 同步延迟
5.7: I/O thread 同步并发线程可以做到按行级别并行,线程数量一般与 CPU 数量一样,可以做到 slave 节点无延迟,slave_parallel_workers=4,slave_parallel_type=LOGICAL_CLOCK,这两个参数一定要加上

2.1 安装 mysql#

1
sudo yum clean all
2
sudo yum -y install mysql-community-server

2.2 添加 binlog 目录#

1
mkdir -p /var/lib/mysql/binlog/
2
sudo chown mysql:mysql /var/lib/mysql/binlog/

2.3 修改配置文件#

配置特殊说明：如果 MySQL5.7 启用并行复制(MTS)却没开启事务 ID(GTID)需要开启 slave_preserve_commit_order 来保证从库与主库提交的顺序完全一致。但是使用 xtrabackup 备份可能会造成备份锁

Master1：（因为要切换主从，配置基本跟 slave 配置一样）

1
# 服务配置
2
serveMTSr-id=1 # 要唯一slave_preserve_commit_order
3
log_slave_updates=1 # 开启此参数才可以切换master
4
report-host=10.1.132.124   # 返回给master的地址
5
report_port=3306       # 返回给master的端口
6
slave_net_timeout=8  # 与master握手超时时间
7
master_info_repository=table  # 主节点信息写表里
8
relay_log_info_repository=table  # slave信息写表里
9

10
# binlog配置
11
binlog_row_image=FULL
12
binlog_format=ROW # binlog日志格式
13
log-bin=/var/lib/mysql/binlog/mysql-bin.log # binlog日志文件
14
expire_logs_days=30 # binlog过期清理时间
15
max_binlog_size=300m # binlog每个日志文件大小
16
binlog_cache_size=12m # binlog缓存大小
17
max_binlog_cache_size=512m # 最大binlog缓存大小
18

19
# 事务ID(GTID)配置
20
gtid-mode = ON
21
enforce-gtid-consistency = ON
22

23
# 主从并行复制(MTS)配置
24
relay_log_recovery=1 # 数据库启动后立即启动自动relay log恢复
25
slave_parallel_workers=4 # 设置I/O thread同步并发线程数量,一般与CPU数量一样
26
innodb_flush_log_at_trx_commit=2 # 每次事务提交的时候会把log buffer刷到文件系统中去，但并不会立即刷写到磁盘。
27
sync_binlog=20 # 当每进行20次事务提交之后，MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘。
28
slave_parallel_type=LOGICAL_CLOCK   # 设置并行同步粒度,库级别或者表级别,MySQL5.7支持的参数

展开收起

2.3.1 mysql slave 配置文件#

Slave1,Slave2 上执行

Slvae2：（因为要切换主从，配置基本跟 master 配置一样）

1
# 服务配置
2
serveMTSr-id=2 # 要唯一slave_preserve_commit_order
3
log_slave_updates=1 # 开启此参数才可以切换master
4
report-host=10.1.132.124   # 返回给master的地址
5
report_port=3306       # 返回给master的端口
6
slave_net_timeout=8  # 与master握手超时时间
7
master_info_repository=table  # 主节点信息写表里
8
relay_log_info_repository=table  # slave信息写表里
9

10
# binlog配置
11
binlog_row_image=FULL
12
binlog_format=ROW # binlog日志格式
13
log-bin=/var/lib/mysql/binlog/mysql-bin.log # binlog日志文件
14
expire_logs_days=30 # binlog过期清理时间
15
max_binlog_size=300m # binlog每个日志文件大小
16
binlog_cache_size=12m # binlog缓存大小
17
max_binlog_cache_size=512m # 最大binlog缓存大小
18
# 事务ID(GTID)配置
19
gtid-mode = ON
20
enforce-gtid-consistency = ON
21

22
# 主从并行复制(MTS)配置
23
relay_log_recovery=1 # 数据库启动后立即启动自动relay log恢复
24
slave_parallel_workers=4 # 设置I/O thread同步并发线程数量,一般与CPU数量一样
25
innodb_flush_log_at_trx_commit=2 # 每次事务提交的时候会把log buffer刷到文件系统中去，但并不会立即刷写到磁盘。
26
sync_binlog=20 # 当每进行20次事务提交之后，MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘。
27
slave_parallel_type=LOGICAL_CLOCK   # 设置并行同步粒度,库级别或者表级别,MySQL5.7支持的参数

展开收起

Slvae3：（不需要主从切换）

1
# 服务配置
2
serveMTSr-id=3 # 要唯一slave_preserve_commit_order
3
log_slave_updates=1 # 开启此参数才可以切换master
4
report-host=10.1.132.124   # 返回给master的地址
5
report_port=3306       # 返回给master的端口
6
slave_net_timeout=8  # 与master握手超时时间
7
master_info_repository=table  # 主节点信息写表里
8
relay_log_info_repository=table  # slave信息写表里
9

10
# binlog配置
11
binlog_row_image=FULL
12
binlog_format=ROW # binlog日志格式
13
log-bin=/var/lib/mysql/binlog/mysql-bin.log # binlog日志文件
14
expire_logs_days=30 # binlog过期清理时间
15
max_binlog_size=300m # binlog每个日志文件大小
16
binlog_cache_size=12m # binlog缓存大小
17
max_binlog_cache_size=512m # 最大binlog缓存大小

展开收起

启动

1
sudo systemctl start mysqld

初始化账户

1
mysql_secure_installation

2.4 添加账户#

1
所有mysql实例添加的账户
2
CREATE USER 'orchestrator'@'%' IDENTIFIED BY 'qweasd';
3
GRANT SUPER, PROCESS, REPLICATION SLAVE, REPLICATION CLIENT, RELOAD ON *.* TO 'orchestrator'@'%';
4
GRANT SELECT ON meta.* TO 'orchestrator'@'%';   #如果需要伪GTID,需要导入sql
5
GRANT SELECT ON mysql.slave_master_info TO 'orchestrator'@'%';   # 允许读取mysql主从信息,提前设置把信息存到表里
6
GRANT DROP ON _pseudo_gtid_.* to 'orchestrator'@'%';   #增加更新伪gtid权限
7
刷新权限
8
FLUSH PRIVILEGES;

2.5 创建拓扑信息库#

1
DROP TABLE IF EXISTS `cluster`;
2
CREATE TABLE `cluster`  (
3
  `anchor` tinyint(4) NOT NULL,
4
  `cluster_name` varchar(128) CHARACTER SET ascii COLLATE ascii_general_ci NOT NULL DEFAULT '',
5
  `cluster_domain` varchar(128) CHARACTER SET ascii COLLATE ascii_general_ci NOT NULL DEFAULT '',
6
  `data_center` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
7
  PRIMARY KEY (`anchor`) USING BTREE
8
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;
9
INSERT INTO `cluster` VALUES (1, 'test', 'cc', 'TJ');  # 根据需求自定义
10
SET FOREIGN_KEY_CHECKS = 1;
11

12
DROP TABLE IF EXISTS `heartbeat_view`;
13
CREATE TABLE `heartbeat_view`  (
14
  `absolute_lag` int(11) NULL DEFAULT NULL
15
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_bin ROW_FORMAT = Compact;
16
INSERT INTO `heartbeat_view` VALUES (1);
17
SET FOREIGN_KEY_CHECKS = 1;

展开收起

如果开启伪 GTID 导入下面的 sql

https://github.com/caixin-ops/ops/blob/master/Orchestrator/pseudo-gtid.sql

source pseudo-gtid.sql

配置主从

查看 master 节点 binlog 文件名与位置

1
SHOW MASTER STATUS;

1
+------------------+-----------+--------------+------------------+-------------------+
2
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set              |
3
+------------------+-----------+--------------+------------------+-------------------+
4
| mysql-bin.000005 | `2309  `  |              |                  |                   |
5
+------------------+-----------+--------------+------------------+-------------------+

两个 slave 节点执行:

1
CHANGE MASTER TO MASTER_HOST='10.1.1.1',MASTER_USER='orchestrator',MASTER_PASSWORD='qweasd',MASTER_PORT=3306,MASTER_LOG_FILE='mmysql-bin.000005',MASTER_LOG_POS=2309;

如果使用 gtid：CHANGE MASTER TO MASTER_HOST='10.1.1.1',MASTER_USER='orchestrator',MASTER_PASSWORD='qweasd',MASTER_PORT=3306,MASTER_AUTO_POSITION=1;

查看状态:

1
SHOW SLAVE STATUS\G

3 添加新的 slave 节点#

3.1 获取最新备份#

因为每个公司项目环境不一样，此步骤掠过，备份与工具安装参考如何优雅的备份 MySQL 数据 | 云原生基站

3.1.1 解压#

保证目录干净：

rm -rf /var/lib/mysql/*

cat bak_20220106.xb | xbstream -x -v -C /var/lib/mysql

innobackupex --decompress --remove-original /var/lib/mysql/

ll /var/lib/mysql

1
-rw-r--r-- 1 xopsadmin wheel 481 Dec 30 14:05 backup-my.cnf
2
-rw-r--r-- 1 xopsadmin wheel 76M Dec 30 14:05 ibdata1
3
drwxr-x--- 2 xopsadmin wheel 170 Dec 30 14:05 meta
4
drwxr-x--- 2 xopsadmin wheel 4.0K Dec 30 14:05 mysql
5
drwxr-x--- 2 xopsadmin wheel 4.0K Dec 30 14:05 performance_schema
6
drwxr-x--- 2 xopsadmin wheel  52 Dec 30 14:05 test
7
-rw-r--r-- 1 xopsadmin wheel  25 Dec 30 14:05 xtrabackup_binlog_info
8
-rw-r----- 1 xopsadmin wheel 141 Dec 30 13:58 xtrabackup_checkpoints
9
-rw-r--r-- 1 xopsadmin wheel 544 Dec 30 14:05 xtrabackup_info
10
-rw-r--r-- 1 xopsadmin wheel 2.5K Dec 30 14:05 xtrabackup_logfile

3.1.2 配置新实例#

cat /etc/my.cnf

1
server-id=1 # 要唯一
2
binlog_row_image=FULL
3
binlog_format=ROW # binlog日志格式
4
log-bin=/var/lib/mysql/binlog/mysql-bin.log # binlog日志文件
5
max_binlog_size = 300m # binlog每个日志文件大小
6
binlog_cache_size = 12m # binlog缓存大小
7
max_binlog_cache_size = 512m # 最大binlog缓存大小
8
slave_sql_verify_checksum=0
9
log_slave_updates= 2 # 开启此参数才可以切换master
10
report-host=10.1.133.211  # 返回给master的地址
11
report_port=3306    # 返回给master的端口
12
slave_net_timeout=8 # 与master握手超时时间
13
master_info_repository=table  # 主节点信息写表里
14
relay_log_info_repository=table  # slave信息写表里
15
relay_log_recovery=1 # 数据库启动后立即启动自动relay log恢复
16
slave_parallel_workers=4 # 设置I/O thread同步并发线程数量,一般与CPU数量一样
17
innodb_flush_log_at_trx_commit=2 # 每次事务提交的时候会把log buffer刷到文件系统中去，但并不会立即刷写到磁盘。
18
sync_binlog=20 # 当每进行20次事务提交之后，MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘。
19
\#slave_parallel_type=LOGICAL_CLOCK  # 设置并行同步粒度,库级别或者表级别,MySQL5.7支持的参数

展开收起

恢复数据

innobackupex --defaults-file=/etc/my.cnf --apply-log /var/lib/mysql/

看到211230 14:06:41 completed OK!说明还原成功

修改权限

mkdir -p /var/lib/mysql/binlog/

chown mysql:mysql -R /var/lib/mysql/

启动

指定配置文件与数据库目录mysqld_safe --defaults-extra-file=/etc/my.cnf --datadir=/root/test/ --user=mysql

systemctl start mysqld

3.2 查看 binlog 位置#

如果备份的是 master：

cat xtrabackup_binlog_info mysql-bin.000009 79303734

如果备份的是 salve

cat xtrabackup_slave_info CHANGE MASTER TO MASTER_LOG_FILE=‘mysql-bin.000011’, MASTER_LOG_POS=55452573;

如果开启伪 gtid 执行：

mysql -uroot -pqweasd -e "DROP TABLE meta.pseudo_gtid_status;"

mysql -uroot -pqweasd -e "SOURCE pseudo-gtid.sql"

新 slave 节点执行:

1
CHANGE MASTER TO MASTER_HOST='10.1.1.1',MASTER_USER='orchestrator',MASTER_PASSWORD='qweasd',MASTER_PORT=3306,MASTER_LOG_FILE='mysql-bin.000011',MASTER_LOG_POS=55452573;

如果使用 gtid：

1
CHANGE MASTER TO MASTER_HOST='10.1.1.1',MASTER_USER='orchestrator',MASTER_PASSWORD='qweasd',MASTER_PORT=3306,`MASTER_AUTO_POSITION=1;

启动主从同步

mysql -uroot -pqweasd -e "START SLAVE;"

查看状态:

SHOW SLAVE STATUS\G

如何优雅的使用PostgreSQL主从

Wed, 09 Mar 2022 17:25:58 GMT

此文档以进程方式部署
docker 或 k8s 参考PostDock

单节点安装#

1 Docker 安装#

Terminal window

1
docker run -d --name=postgres13 -p 5432:5432 -v /data/postgres-data/postgres13:/var/lib/postgresql/data -e POSTGRES_PASSWORD=qweasd postgres:13.9 -c shared_buffers=2560MB -c max_connections=5000

2 Yum 源#

Terminal window

1
# 最新命令参考: https://www.postgresql.org/download/linux/redhat/
2
sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

3 安装 PostgreSQL#

Terminal window

1
sudo yum
2
install -y postgresql13-server

4 Pg 初始化#

Terminal window

1
sudo /usr/pgsql-13/bin/postgresql-13-setup initdb

5 修改访问权限#

1
vim  /var/lib/pgsql/13/data/postgresql.conf
2
listen_addresses = '*'
3
port = 5432
4

5
vim  /var/lib/pgsql/13/data/pg_hba.conf
6
# "local" is for Unix domain socket connections only
7
local   all             all                                     peer
8
# IPv4 local connections:
9
host    all             all             127.0.0.1/32            scram-sha-256
10
host    all             all             0.0.0.0/0               md5 # 注意这个,登录需要密码
11
# IPv6 local connections:
12
host    all             all             ::1/128                 scram-sha-256
13
# Allow replication connections from localhost, by a user with the
14
# replication privilege.
15
local   replication     all                                     peer
16
host    replication     all             127.0.0.1/32            scram-sha-256
17
host    replication     all             ::1/128                 scram-sha-256
18
host    all             all             0.0.0.0/0               ident

展开收起

6 启动服务#

Terminal window

1
sudo systemctl enable postgresql-13
2
sudo systemctl start postgresql-13

7 配置权限#

Terminal window

1
sudo -u postgres psql postgres
2
could not change directory to "/home/xopsadmin/pipeline": Permission denied
3
psql (13.7)
4
Type "help" for help.
5
# 创建用户
6
postgres=# create user devops with password 'devops';
7
# 创建数据库
8
postgres=# create database vault_db owner devops;
9
# 授权
10
postgres=# grant all privileges on database vault_db  to devops;
11
# 修改管理员密码
12
# ALTER USER postgres WITH PASSWORD 'postgres';
13
# 查看数据库
14
\list

备用数据库搭建#

1 有几种方法可以对备用数据库进行分类：#

1.1 根据复制的性质：#

物理备用数据库：复制磁盘块。
逻辑备用数据库：流式传输数据更改。

1.2 通过事务的同步性：#

异步：可能会丢失数据。
同步：不会丢失数据；主服务器中的提交等待备用服务器的响应。

1.3 通过用法：#

热备用：它们不支持连接。
热备用：支持只读连接。

备份与恢复#

后续使用的 PostgreSQL 由 db 团队提供,后面有空在研究

MySQL主从同步分析

Tue, 25 Jan 2022 16:33:07 GMT

1 同步原理#

1643092662548

slave 从 master 节点复制数据主要有 4 个步骤

1,master 对所有 DDL 和 DML 产生的日志写入 binlog
2, Slave 的 IO Thread 线程从主库中 bin log 中读取取日志。类似 tailf 命令
3, Slave 的 IO Thread 线程把读取的日志放到 relay-bin 文件里,如果不放到文件里,SQL Thread 线程重放过慢的会导致丢数据
4, Slave 的 SQL Thread 线程将主库的 DDL 和 DML 操作事件在 slave 中重放

1,2,3 步骤都是顺序读写,在不考虑网络延迟的情况下,slave 不会产生延迟.但是第 4 步 DML 和 DDL 的 IO 操作是随即的,不是顺序的.不考虑硬件,主从复制延迟主要在这里

1.1 随机读写与顺序读写区别#

如下是内存块,每个块最大存 4k

1k	2k
4k	3k
3k

我如果删除 1k 这个块的数据再加个 2k 的块的数据

如果是顺序读写

1k 的数据删除掉之后就丢掉,新加数据直接在后面的块添加数据

	2k
4k	3k
3k	2k

如果是随机读写

1k 的数据删除掉之后改成 2k 的数据

2k	2k
4k	3k
3k

2 主从复制产生原因#

硬件原因

Master 负载
Slave 负载
网络延迟
机器配置（cpu、内存、硬盘）

软件原因

SQL Thread 是随机读写并且单线程,master 并发写入的话会导致 SQL Thread 来不及重放导致 slave 产生延迟,解决方案就是改成多线程

改进为多线程

注意点:

不能造成更新覆盖.这就需要更新同一行的两个事务,必须分发到同一个 worker 中

同一个事务不能拆开,必须放到同一个 worker 中

1643096254165

SQL Thread Corrdinator 负责给 SQL Thread Worker 分配重写任务

MySQL5.6 及以上版本支持多线程,但是 5.7 版本才实现真正的多线程,区别如下

5.6: I/O thread 同步并发线程是以库级别并行的,也就是说两个库可以并行两个线程,三个库可以并行三个线程,但是注意一个库不要开启并行,影响性能.而且就算开启也会存在 slave 同步延迟
5.7: I/O thread 同步并发线程可以做到按行级别并行,线程数量一般与 CPU 数量一样,可以做到 slave 节点无延迟,slave_parallel_workers=4,slave_parallel_type=LOGICAL_CLOCK,这两个参数一定要加上

3 mysql5.7 如何分配 SQL Thread 任务#

一句话: 一个组提交的事务都是可以并行回放 ，因为这些事务都已进入到事务的 prepare 阶段，则说明事务之间没有任何冲突（否则就不可能提交）。

3.1 数据更新流程#

1643098008461

执行器先从引擎找到数据,如果在内存中直接返回,如果不再内存中,查询后返回
执行器拿到数据后先修改数据,然后调用引擎接口重新写入数据. 如果这步 mysql 服务宕机,因为 redo 里没有 prepare 状态,会放弃这部分数据
引擎数据更新到内存,同事写数据到 redo 中,此时处于 prepare 阶段,并通知执行器执行完成,随时可以操作. 如果这步 MySQL 宕机,重启后先查看 redolog 的 prepare 状态的数据在 binlog 里有没有,如果有就提交,没有丢弃
执行器生产这个操作的 binlog.如果这步 MySQL 宕机,重启后先查看 binlog 日志对比 redolog,只有在他俩一致的情况提交,否则丢弃
执行器调用引擎的事务提交接口,引擎把刚刚写完的 redo 改成 commit 状态,更新完成

通过两阶段提交保证数据准确性,要么没有,要么有就是最全的

3.2 GTID#

这里我有些薄弱,先简单写写后期补上

1643098359682

当事务提交时，它们将在单个操作中写入到二进制日志中。如果多个事务能同时提交成功，那么它们意味着没有冲突，因此可以在 Slave 上并行执行，所以通过在主库上的二进制日志中添加组提交信息。所有已经处于 prepare 阶段的事务，都是可以并行提交的。这些当然也可以在从库中并行提交，因为处理这个阶段的事务都是没有冲突的。在一个组里提交的事务，一定不会修改同一行。这是一种新的并行复制思路，完全摆脱了原来一直致力于为了防止冲突而做的分发算法，等待策略等复杂的而又效率底下的工作。

并且不开启 GTID 的话 MySQL 会自动生成匿名的 GTID,完全不需要担心 GTID 限制

而 MySQL5.7 版本就是按照组提交分发 SQL Thread 任务的

4 MTS 调优#

1
 slave-parallel-type=LOGICAL_CLOCK # 基于组提交的并行复制
2
 slave-parallel-workers=16 # 并行sql进程数,要大于1
3
 master_info_repository=TABLE # 主节点信息写表里,增加安全性,依赖数据库的事务可以,保证存储的点和数据库真正执行的点一致并且并行复制开启后更新master.info这个文件非常频繁
4
 relay_log_info_repository=TABLE # slave同步的位置信息写表里,与上面同理
5
 relay_log_recovery=ON # 数据库启动后立即启动自动relay log恢复
6
 slave_preserve_commit_order=yes #确保，在slave上事务的提交顺序与relay log中一致。当开启后，slave_parallel_type只能是LOGICAL_CLOCK，如果你有使用级联复制，那LOGICAL_CLOCK可能会使离master越远的slave并行性越差。
7
 global slave_pending_jobs_size_max=100M # 执行事件所需的内存大小,一定要大于主库设置的max_allowed_packet。
8
 #binlog_group_commit_sync_delay=0 # 等待多少时间后才进行组提交,慎用,容易锁表
9
 #binlog_group_commit_sync_no_delay_count=0 # 延时时的最大事务数

5 监控#

复制的监控依旧可以通过 SHOW SLAVE STATUS\G，但是 MySQL 5.7 在 performance_schema 架构下多了这些表，用户可以更细力度的进行监控：

1
show tables like 'replication%';
2
+---------------------------------------------+
3
| Tables_in_performance_schema (replication%) |
4
+---------------------------------------------+
5
| replication_applier_configuration           |
6
| replication_applier_status                  |
7
| replication_applier_status_by_coordinator   |
8
| replication_applier_status_by_worker        |
9
| replication_connection_configuration        |
10
| replication_connection_status               |
11
| replication_group_member_stats              |
12
| replication_group_members                   |
13
+---------------------------------------------+

总结+二阶段提交,配合主从切换是服务不可用时间,基本上不会出现 slave 与 master 数据不一致问题
但是有个遗留问题:如果 master 频繁修改一行,其他数据修改不频繁,性能可能比但进程复制性能要差

Orchestrator与MySQL的高可用

Tue, 04 Jan 2022 15:51:06 GMT

1 方案设计#

参考文档(GitHub 的 MySQL 高可用性实践分享),

技术细节:

当主库宕掉的时候,orchestrator 不仅会每隔 InstancePollSeconds(默认五秒)监测主库，也会检测从库(通过 select round(absolute_lag) from meta.heartbeat_view”检查,配置文件里自定义语句)。比如，要诊断出主库挂了的情况，必须满足以下两个条件：orchestrator 联系不到主库。登录到主库对应的从库，从库也连不上主库。
使用伪 GTID 的时候需要建一个表专门存放 orchestrator 生成的 GTID,每次写入 binlog 的话会把这个表的 GTID 写进去,如下图

1643075087959

1643075108838

orchestrator 没有将错误按时间来进行分类，而是按复制拓扑服务器本身进行分类。当所有的从库都连不上主库的时候，说明复制拓扑被破坏，进行故障转移。
通过 show slave hosts;命令发现实例,然后根据 host 访问实例
高可用有两种方式,一直是多个实例一个数据库,只有数据库没宕掉就能正常使用.一直是奇数实例,每个实例都有自己的实例,然后通过 raft 协议保证数据一致性

1.1 环境规划#

ip		端口	名称
10.1.1.1	5.6.51	3306	Master	/var/lib/mysql/binlog/
10.1.1.2	5.6.51	3306	Slave1	/var/lib/mysql/binlog/
10.1.1.3	5.6.51	3306	Slave2	/var/lib/mysql/binlog/
10.1.1.4	3.2.6-1	3000	orchestrator

这里注意下,mysql 版本,详细分析查看 MySQL 主从同步分析 | 云原生基站

5.6: I/O thread 同步并发线程是以库级别并行的,也就是说两个库可以并行两个线程,三个库可以并行三个线程,但是注意一个库不要开启并行,影响性能.而且就算开启也会存在 slave 同步延迟

5.7: I/O thread 同步并发线程可以做到按行级别并行,线程数量一般与 CPU 数量一样,可以做到 slave 节点无延迟,slave_parallel_workers=4,slave_parallel_type=LOGICAL_CLOCK,这两个参数一定要加上

image-20220310101036147

1.2 先上总结:#

此方案实现功能

自身服务支持高可用

自动故障转移

支持自动修改拓扑,比如 slave2 同步过慢自动调整到 slave1 后面减少 master 读取负载

故障转移的时候执行脚本,这点潜力无限

基于 go 开源,可以自己二次开发

ui 管理友好

缺点:

学习成本高,配置复杂

名称	MySQL 自己的 gtid	orchestrator 的伪 gtid
故障转移	支持	支持
自动定位 binlog 断开位置	支持	不支持,但是可以从数据库查到 binlog 位置
使用限制	主从库的表存储引擎必须是一致的不允许一个 SQL 同时更新一个事务引擎和非事务引擎的表不支持 create table….select 语句复制（主库直接报错）不支持临时表	无限制,只需要在每个实例建个 gtid 表

2 部署 orchestrator#

下载地址: Release GA release v3.2.6 · openark/orchestrator · GitHub

sudo yum localinstall -y orchestrator-3.2.6-1.x86_64.rpm

2.1 再 orchestrator 专用 mysql 上创建 orchestrator 需要的库,表会自动生成#

1
CREATE DATABASE IF NOT EXISTS orchestrator;
2
CREATE USER 'orchestrator_srv'@'%' IDENTIFIED BY 'qweasd';
3
GRANT ALL ON orchestrator.* TO 'orchestrator_srv'@'%';

2.2 配置 orchestrator#

有几个关注的配置:

1
ListenAddress:"ip:3000", -- web http tpc 监听端口
2
BackendDB:"mysql", --后端数据库类型，可选mysql或则sqlite3
3
MySQLOrchestratorPort:3306, --后端数据库端口
4
MySQLTopologyUser: "orchestrator", --实例监控账户,所有mysql都要有这账号
5
MySQLTopologyPassword: "qweasd", --实例监控密码
6
MySQLOrchestratorHost: "10.1.1.1", --orchestrator使用的数据库地址
7
MySQLOrchestratorPort: 3307, --orchestrator使用的数据库端口
8
MySQLOrchestratorDatabase: "orchestrator", --orchestrator使用的数据库名称
9
MySQLOrchestratorUser: "orchestrator_srv", --orchestrator使用的账户
10
MySQLOrchestratorPassword: "qweasd", --orchestrator使用的密码
11
ReplicationLagQuery: "select round(absolute_lag) from meta.heartbeat_view", --健康检查sql
12
AutoPseudoGTID: true, --自动注入伪GTID

完整配置 orchestrator.conf.json

带解释配置 orchestrator.conf.json

如果使用集群模式：

1
"RaftAdvertise": "mysql-operator-0-svc",
2
"RaftBind": "mysql-operator-0",
3
"RaftDataDir": "/var/lib/orchestrator",
4
"RaftEnabled": true,
5
"RaftNodes": [
6
"mysql-operator-0-svc",
7
"mysql-operator-1-svc",
8
"mysql-operator-2-svc"
9
],

2.2.1 启动#

1
systemctl start orchestrator
2
systemctl enable orchestrator

2.3 启动报错查看日志#

journalctl -xu orchestrator 没问题的话访问 http://ip:3000/

查看状态：

image-20220310101859616

添加服务

1643077735274

1643077940976

查看

1643077909835

3 测试故障转移#

停掉 master

orchestrator 上显示 master 断开

1643077816765

4 orchestrator 显示切换信息#

1643078029401

4.1 可以看到切换详情#

1
可以看到主从切换的时候经历了这些操作
2
1. 摘除原有拓扑关系
3
2. 判断拓扑丛书关系
4
3. 选举新的master
5
4. 所有slave节点指向新的master

1643078108495

老 master 节点正常启动后

1
CHANGE MASTER TO MASTER_HOST='10.1.1.1',MASTER_USER='orchestrator',MASTER_PASSWORD='qweasd',MASTER_PORT=3306,MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=0;
2

3
START SLAVE;

查看最新拓扑图

1643078141329

如何优雅的备份MySQL数据

Thu, 30 Dec 2021 14:31:54 GMT

1 备份锁分析#

XtraBackup 备份的时候出现锁问题，然后查文档有以下几个方案，每种方案都有优势与不足，根据需求选择，我们使用的是 kill 其他阻塞线程方案

1.1 死锁现象及原因:#

1.2 Flush Table with Read Lock#

XtraBackup 可以实现 Innodb 表的无锁备份，但是一个数据库中，即使所有的业务表都是 innodb 表，但是还存在一些 MySQL 系统库下的 user 表等，均是 myisam 表（MySQL 8.0 均替换为 InnoDB），同时备份过程需要获取 Binlog 文件名和位置，也要保证表定义文件的一致性，所以从整个实例的角度，即使用 XtraBackup 还是有一段时间需要执行 Flush table with read lock 全局锁的，会对用户访问产生影响，同时由于 Flush table with read lock 的一些特殊性，如果稍不注意，可能会对用户访问数据库产生致命影响。

1.3 使用 MTS：#

slave_preserve_commit_order=1 时，relay-log 中事务的提交顺序会严格按照在 relay-log 中出现的顺序提交。所以，事务的执行和 flush tables with read lock 语句获得两个锁都不是原子的，并行复制时模式下按以下的顺序就会出现死锁。

事务 A、B 可以并行复制，relay-log 中 A 在前，slave_preserve_commit_order=1

从库回放时 B 事务执行较快，先执行到 commit，获得 commit 锁，并进入 waiting for preceding transaction to commit 的状态

执行 flush tables with read lock,进入 waiting for commit 的状态

事务 A 执行。事务 A 如果在 FTWRL 语句获得 global read lock 锁之后执行，那么事务 A 就进入 waiting for global read lock 的状态，即第一种死锁；如果事务 A 在 FTWRL 获得 global read lock 之前执行，同时 FTWRL 获得 global commit 锁之后应用 Xid_event 提交事务，则进入 waiting for the commit lock 的状态，即第二种死锁。

1.3.1 第一种死锁：#

image-20220215091821748

上图中：

162 线程是执行 innobackup 执行的 flush tables with read lock;
144 是 SQL 线程，并行复制中的 Coordinator 线程；
145/146 是并行复制的 worker 线程，145/146worker 线程队列中的事务可以并行执行。

144Coordinator 线程分发 relaylog 中事务时发现这个事务不能执行，要等待前面的事务完成提交，所以处于 waiting for dependent transaction to commit 的状态。145/146 线程和备份线程 162 形成死锁，145 线程等待 162 线程 global read lock 释放，162 线程占有 MDL::global read lock 全局读锁，申请全局 commit lock 的时候阻塞等待 146 线程，146 线程占有 MDL:: commit lock，因为从库设置 slave_preserve_commit_order=1，保证从库 binlog 提交顺序，而 146 线程执行事务对应的 binlog 靠后面，所以等待 145 的事务提交。最终形成了 145->162→146→145 的死循环，形成死锁。

1.3.2 第二种死锁：#

image-20220215091839499

上图中：

183 是备份程序执行的 flush tables with read lock;
165 是 SQL 线程，并行复制的 Coordinator 线程；
166/167 是并行复制的 worker 线程。

165Coordinator 线程分发的事务还不能执行，进入 waiting for dependent transaction to commit 的状态，183、166、167 三个线程形成死锁，183 占有全局读锁，获取全局 commit 锁的时候进入阻塞，等待 167 释放事务涉及到表的 commit 锁；166，167 的事务可以并行复制，167 占有表级 commit 锁，但是事务对应的 binlog 在后面，阻塞等待 166 先提交进入 waiting for preceding transaction to commit 的状态；166 线程事务执行时提交要获得表级 commit 锁，但已经被 183 占有，所以阻塞等待。这样形成了 183->167->166->183 的死锁

1.4 解决方法:#

1.4.1 设置超时时间#

XtraBackup 设置一个超时时间，避免无限期的等待。Xtrabackup 提供了一下参数实现该功能：

–lock-wait-timeout=SECONDS ：一旦 Flush table with read lock 被阻塞超过预定时间，则 XtraBackup 出错返回退出，该值默认为 0，也就是说一旦阻塞，立即返回失败。
–lock-wait-query-type=all|update ：语句执行之前必须等待什么类型的查询执行完成，默认值是 all
—ftwrl-wait-timeout=SECONDS：如果超过指定时间之后仍然有查询在执行，则报错终止备份过程
—ftwrl-wait-threshold=SECONDS：检测超过该选项指定的阀值的时间运行的查询
—ftwrl-wait-query-type=all|update：语句执行之前必须等待什么类型的查询执行完成，默认值是 all

风险：当一条长查询刚开始执行，还没有到达 ftwrl-wait-threshold 指定的时间时，备份的 FTWRL 发送到了数据库，这时 xtrabackup 不会认为这条长查询是一条长查询。

1.4.2 Kill 其他阻塞线程#

Kill 掉所有阻塞 Flush table with read lock 的线程：

–kill-long-queries-timeout=SECONDS ：参数允许用户指定了超过该阈值时间的查询会被 Kill，同时也允许用户指定 Kill SQL 语句的类型。
–kill-long-query-type=all|select ：默认值为 ALL，如果选择 Select，只有 Select 语句会被 Kill，如果 Flush table with read lock 是被 Update 语句阻塞，则 XtraBackup 不会处理。

风险：这种方式对堵塞 SQL 影响很大，会强制 kill 掉，对业务会有一定的影响

1.4.3 暂停复制进程来防止阻塞#

—safe-slave-backup-timeout=SECONDS：等待状态变量 Slave_open_temp_tables 转变为 0 值的等待时间，默认值为 300 秒，如果超过指定的时间状态变量 Slave_open_temp_tables 还未转变为 0 值，则启动复制并报错终止备份

风险：这种方式通过关闭 sql thread 的方式避免死锁的发生，但是会加大主从的延迟

另外：可以设置 slave_preserve_commit_order=0 关闭从库 binlog 的顺序提交，关闭这个参数只是影响并行复制的事务在从库的提交顺序，对最终的数据一致性并无影响，所以如果无特别要求从库的 binlog 顺序必须与主库保持一致，可以设置 slave_preserve_commit_order=0 避免这个死锁的出现。

2 备份#

2.1 安装`xtrabackup`#

yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm yum install percona-xtrabackup-24 qpress -y

2.2 准备备份账号#

RELOAD开始复制文件之前,使用备份锁时需要此权限。

REPLICATION CLIENT为了获得二进制日志位置。

CREATE TABLESPACE以导入表（请参见还原单个表）。

PROCESS查看服务器上运行的所有线程 SHOW ENGINE INNODB STATUS

SUPER为了在复制环境中启动/停止副本线程，使用 XtraDB 更改页跟踪进行增量备份和改进的 FLUSH 表以及读锁定处理。

CREATE创建PERCONA_SCHEMA.xtrabackup_history 数据库和表。

ALTER升级PERCONA_SCHEMA.xtrabackup_history 数据库和表。

INSERT历史记录添加到PERCONA_SCHEMA.xtrabackup_history 表中。

SELECT查找 innobackupex –incremental-history-name 或 innobackupex –incremental-history-uuid

Terminal window

1
mysql> CREATE USER 'bkp'@'localhost' IDENTIFIED BY 'passwd';
2
mysql> GRANT RELOAD, LOCK TABLES, PROCESS, REPLICATION CLIENT ON *.* TO 'bkp'@'localhost';
3
mysql> FLUSH PRIVILEGES;

2.3 备份#

备份 master 的话可能对 master 性能产生影响，但恢复的时候不会有任何问题
备份 slave 节点的话不会对 master 性能产生影响，但是恢复的话如果可以与 master 通信会自动加入到主从，数据可能会有问题，不过可以在备份的时候先暂停下主从同步

2.3.1 备份 Master 节点#

innobackupex --host=10.1.1.1 --port=3306 --user=bkp --password=passwd --kill-long-queries-timeout=20 --stream=xbstream tmp --compress >bak_compress.xb

2.3.2 要备份 Slave 节点#

需要添加—slave-info 并暂时停止主从复制

mysql -h 10.1.1.2 -uroot -pqweasd -e "STOP SLAVE;"

innobackupex --host=10.1.1.2 --port=3306 --user=bkp --password=passwd --kill-long-queries-timeout=20 --stream=xbstream --slave-info tmp --compress >bak_compress.xb

mysql -h 10.1.1.2 -uroot -pqweasd -e "START SLAVE;"

ll -h bak_compress.xb

2.4 查看备份信息#

查看备份节点的 binlog 位置

cat xtrabackup_binlog_info mysql-bin.000009 79303734

备份详情

cat xtrabackup_info

1
uuid = 4dd186c4-9eae-11ec-8f57-fa163eeed232
2
name =
3
tool_name = innobackupex
4
tool_command = --host=10.1.1.2 --port=3306 --user=bkp --password=... --kill-long-queries-timeout=20 --stream=xbstream tmp --compress
5
tool_version = 2.4.21
6
ibbackup_version = 2.4.21
7
server_version = 5.6.51-log
8
start_time = 2022-03-08 15:06:38
9
end_time = 2022-03-08 15:06:40
10
lock_time = 0
11
binlog_pos = filename 'mysql-bin.000009', position '79303734'
12
innodb_from_lsn = 0
13
innodb_to_lsn = 3328605080
14
partial = N
15
incremental = N
16
format = xbstream
17
compact = N
18
compressed = compressed
19
encrypted = N

展开收起

备份 slave 节点的话查看当时同步 master 节点 binlog 位置

cat xtrabackup_slave_info CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000011', MASTER_LOG_POS=55452573;

3 上传备份#

参数	备注
–s3-access-key	minio 用户名
–s3-secret-key	minio 密码
–s3-bucket	minio 存储桶名称
–s3-区域	minio 区域。默认值为 us-east-1
—s3-endpoint	minio 访问地址
—parallel	最大并发上载/下载请求数

xbcloud put --storage=s3 --s3-endpoint='10.1.1.1:9000' --s3-access-key='miniouser' --s3-secret-key='miniopasswd' --s3-bucket='mysqlbackups' --parallel=10 $(date -I)-full_backup

3.1 远程下载#

xbcloud get s3://mysqlbackups/$(date -I)-full_backup --s3-access-key='miniouser' --s3-secret-key='miniopasswd' --s3-bucket='mysqlbackups' --parallel=10 $(date -I)-full_backup 2>download.log | xbstream -x -C restore --parallel=8

MariaDB生产级别高可用

Thu, 30 Dec 2021 09:51:26 GMT

此方案只适合 mariadb,MySQL 请不要使用此方案
此方案实现功能

自动故障转移

自动故障恢复,如 master 宕掉后重启自动加入集群成为 slave

读写分离

binlog 日志备份与解析

1 环境规划#

ip		端口	名称	binlog 路径
10.0.16.12	10.2.41	11	Master	/var/log/mysql
10.0.16.12	10.2.41	12	Slave1	/var/log/mysql
10.0.16.12	10.2.41	13	Slave2	/var/log/mysql
10.0.16.12	10.2.41	14	Slave3	/var/log/mysql
10.0.16.12	6.1.4-1	5506	maxscale	/data/maxscale1_binlog
10.0.16.12	6.1.4-1	5507	maxscale	/data/maxscale2_binlog
10.0.16.12	1.20.2	3306	nginx

2 简单部署 mariadb#

2.1 修改配置文件#

配置基本一样,server_id 不同就行

1
[mysqld]
2
expire_logs_days       = 7    # binlog保存时间
3
server_id              = 1
4
binlog_format          = ROW  # 记录方式
5
gtid_ignore_duplicates = on
6
gtid_strict_mode       = on
7
wsrep_gtid_mode        = on
8
log_slave_updates      = 1  # 即可以当从也可以当主
9
log_bin                = /var/log/mysql/mariadb-bin
10
log_bin_index          = /var/log/mysql/mariadb-bin.index
11
sync_binlog            = 1
12
relay_log              = /var/log/mysql/relay-bin
13
relay_log_index        = /var/log/mysql/relay-bin.index
14
relay_log_info_file    = /var/log/mysql/relay-bin.info

docker run -d --name m3 -p 13:3306 -v /home/ops/my3.cnf:/etc/mysql/my.cnf -v /etc/localtime:/etc/localtime -e MYSQL_ROOT_PASSWORD=qweasd mariadb:10.2.41

2.2 配置账号#

添加同步 binlog 账户 CREATE USER 'maxscale_binlog'@'%' IDENTIFIED by '09EtpqiIJbsscpuX'; GRANT REPLICATION SLAVE ON *.* TO 'maxscale_binlog'@'%'; GRANT SELECT ON *.* TO maxscale_binlog@'%';

添加监控账号

CREATE USER 'maxscale_monitor'@'%' IDENTIFIED BY 'P7fHcxCkPYJYdGZY'; GRANT SUPER, RELOAD on *.* to 'maxscale_monitor'@'%'; GRANT REPLICATION CLIENT on *.* to 'maxscale_monitor'@'%';

刷新权限

FLUSH PRIVILEGES;

2.3 配置主从#

1
CHANGE MASTER TO master_host="10.0.16.12", master_port=11,master_user="maxscale_binlog", master_password="qweasd", master_use_gtid=slave_pos;
2
START SLAVE;

查看

1
SHOW SLAVE STATUS\G
2
*************************** 1. row ***************************
3
               Slave_IO_State: Waiting for master to send event
4
                  Master_Host: 10.0.16.12
5
                  Master_User: maxscale_binlog
6
                  Master_Port: 11
7
                Connect_Retry: 60
8
              Master_Log_File: mariadb-bin.000004
9
          Read_Master_Log_Pos: 1358
10
               Relay_Log_File: relay-bin.000002
11
                Relay_Log_Pos: 704
12
        Relay_Master_Log_File: mariadb-bin.000004
13
             Slave_IO_Running: Yes
14
            Slave_SQL_Running: Yes

3 部署 maxscale#

sudo yum localinstall -y maxscale-6.1.4-1.rhel.7.x86_64.rpm

3.1 配置 maxscale#

maxscale 是通过 monitor 组来监控 mariadb 状态的,如果有问题会自动切换 master,同时 binlogrouter 会自动切换 master 节点

3.2 配置 maxscale 文件#

cat /etc/maxscale.cnf

1
[maxscale]
2
threads=1
3
ms_timestamp=1
4
log_info=1
5
log_augmentation=1
6
admin_host=0.0.0.0
7
admin_secure_gui=false
8

9
[test-master]
10
type=server
11
address=10.0.16.12
12
port=11
13

14
[test-slave]
15
type=server
16
address=10.0.16.12
17
port=12
18

19
[test-binlog]
20
type=server
21
address=10.0.16.12
22
port=3306
23

24
[test-binlog-slave-1]
25
type=server
26
address=10.0.16.12
27
port=13
28

29
[test-binlog-slave-2]
30
type=server
31
address=10.0.16.12
32
port=14
33

34
[MariaDB-Monitor]
35
type=monitor
36
module=mariadbmon
37
servers=test-master,test-slave
38
user=maxscale
39
password=09EtpqiIJbsscpuX
40
monitor_interval=3s
41
auto_failover=true
42
auto_rejoin=true
43

44
[MariaDB-Monitor-Binlog]
45
type=monitor
46
module=mariadbmon
47
servers=test-binlog,test-binlog-slave-1,test-binlog-slave-2
48
user=maxscale
49
password=09EtpqiIJbsscpuX
50
monitor_interval=3s
51
auto_failover=true
52

53
[Replication-Binlog-Server-1]
54
type=service
55
router=binlogrouter
56
user=maxscale
57
password=09EtpqiIJbsscpuX
58
server_id=11
59
net_timeout=5s
60
datadir=/data/maxscale1_binlog
61
cluster=MariaDB-Monitor
62
select_master=true
63
expire_log_duration=0h
64
expire_log_minimum_files=3
65

66
[Replication-Binlog-Listener-1]
67
type=listener
68
service=Replication-Binlog-Server-1
69
protocol=MariaDBClient
70
address=0.0.0.0
71
port=3306
72

73
[Replication-Binlog-Server-2]
74
type=service
75
router=binlogrouter
76
user=maxscale
77
password=09EtpqiIJbsscpuX
78
server_id=12
79
datadir=/data/maxscale2_binlog
80
cluster=MariaDB-Monitor
81
select_master=true
82
expire_log_duration=5h
83
expire_log_minimum_files=3
84

85
[Replication-Binlog-Listener-2]
86
type=listener
87
service=Replication-Binlog-Server-2
88
protocol=MariaDBClient
89
address=0.0.0.0
90
port=5507

展开收起

3.3 创建 binlog 存储路径#

mkdir /data/maxscale2_binlog mkdir /data/maxscale1_binlog

chown -R maxscale.maxscale /data/maxscale1_binlog chown -R maxscale.maxscale /data/maxscale2_binlog

3.3.1 启动#

systemctl start maxscale

systemctl enable maxscale

3.4 启动报错查看日志#

less /var/log/maxscale/maxscale.log

3.5 查看状态#

maxctrl list servers,这里只有 11 与 12 创建 monitor 账号了,是有数据的,而 13 与 14 是没数据的

1
┌─────────────────────┬────────────┬──────┬─────────────┬──────────────────────┬──────────┐
2
│ Server              │ Address    │ Port │ Connections │ State                │ GTID     │
3
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
4
│ test-master         │ 10.0.16.12 │ 11   │ 0           │ Master, Running      │ 0-1-7346 │
5
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
6
│ test-slave          │ 10.0.16.12 │ 12   │ 0           │ Slave, Running       │ 0-1-7346 │
7
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
8
│ test-binlog         │ 10.0.16.12 │ 3306 │ 0           │ Auth Error, Runnin   │          │
9
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
10
│ test-binlog-slave-1 │ 10.0.16.12 │ 13   │ 0           │ Auth Error, Down     │          │
11
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
12
│ test-binlog-slave-2 │ 10.0.16.12 │ 14   │ 0           │ Auth Error, Down     │          │
13
└─────────────────────┴────────────┴──────┴─────────────┴──────────────────────┴──────────

maxctrl list services

1
│ Service                     │ Router       │ Connections │ Total Connections │ Servers │
2
├─────────────────────────────┼──────────────┼─────────────┼───────────────────┼─────────┤
3
│ Replication-Binlog-Server-2 │ binlogrouter │ 0           │ 0                 │         │
4
├─────────────────────────────┼──────────────┼─────────────┼───────────────────┼─────────┤
5
│ Replication-Binlog-Server-1 │ binlogrouter │ 0           │ 0                 │

4 同步 master binlog#

sudo mysql -h 10.1.132.124 -P3306 -umaxscale_binlog -p09EtpqiIJbsscpuX

这里可能登录不上去,原因是配置有问题,获取不到 binlog

查看状态

SHOW SLAVE STATUS\G

如果有问题

STOP SLAVE;

CHANGE MASTER TO master_host="10.0.16.12", master_port=11,master_user="maxscale_binlog", master_password="qweassd", master_use_gtid=slave_pos;

START SLAVE;

以下为正常信息

SHOW SLAVE STATUS\G

1
*************************** 1. row ***************************
2
                Slave_IO_State: Waiting for master to send event
3
                   Master_Host: 10.0.16.12
4
                   Master_User: maxscale_binlog
5
                   Master_Port: 11
6
                 Connect_Retry: 1
7
               Master_Log_File: mariadb-bin.000004
8
           Read_Master_Log_Pos: 768
9
                Relay_Log_File:
10
                 Relay_Log_Pos:
11
         Relay_Master_Log_File:
12
              Slave_IO_Running: Yes
13
             Slave_SQL_Running: Yes

4.1 访问 ui#

ip:8989

user=admin

password=mariadb

5 配置负载均衡#

使用 nginx tcp 负载均衡要有 nginx-mod-stream 模块

tail -n 16 /etc/nginx/nginx.conf

1
stream {
2
    upstream binlog {
3
        hash $remote_addr consistent;   #负载方法
4
        server 10.0.16.12:3306 max_fails=5 fail_timeout=30s;
5
        server 10.0.16.12:5507 max_fails=5 fail_timeout=30s;
6

7
    }
8
    server {
9
        listen 3306;   #服务器监听端口
10
        proxy_connect_timeout 60;
11
        proxy_timeout 300s;    #设置客户端和代理服务之间的超时时间，如果5分钟内没操作将自动断开。
12
        proxy_pass binlog;
13
   }
14

15
}

展开收起

6 从节点同步 binlog server#

STOP SLAVE;

CHANGE MASTER TO master_host="10.0.16.12", master_port=3306,master_user="maxscale_binlog", master_password="qweasd", master_use_gtid=slave_pos;

START SLAVE;

查看

1
*************************** 1. row ***************************
2
               Slave_IO_State: Waiting for master to send event
3
                  Master_Host: 10.0.16.12
4
                  Master_User: maxscale_binlog
5
                  Master_Port: 3306
6
                Connect_Retry: 60
7
              Master_Log_File: mariadb-bin.000004
8
          Read_Master_Log_Pos: 299
9
               Relay_Log_File: relay-bin.000002
10
                Relay_Log_Pos: 600
11
        Relay_Master_Log_File: mariadb-bin.000004
12
             Slave_IO_Running: Yes
13
            Slave_SQL_Running: Yes

maxctrl list services,可以看到平均分配到每个 binlogserver 节点

1
│ Service                     │ Router       │ Connections │ Total Connections │ Servers │
2
├─────────────────────────────┼──────────────┼─────────────┼───────────────────┼─────────┤
3
│ Replication-Binlog-Server-2 │ binlogrouter │ 2           │ 3                 │         │
4
├─────────────────────────────┼──────────────┼─────────────┼───────────────────┼─────────┤
5
│ Replication-Binlog-Server-1 │ binlogrouter │ 1           │ 2                 │         │
6
└─────────────────────────────┴──────────────┴─────────────┴───────────────────┴─────────

6.1 问题#

1,数据冲突

1
            Last_Errno: 1062
2
                   Last_Error: Could not execute Write_rows_v1 event on table mysql.proxies_priv; Duplicate entry 'localhost-root--' for key 'PRIMARY', Error_code: 1062; handler error HA_ERR_FOUND_DUPP_KEY; the event's master log mariadb-bin.000001, end_log_pos 25393
3

4
server1 │ 10.0.16.12 │ 11   │ 0         │ Master, Running                   │ 0-1-7259
5

6
STOP SLAVE;
7
SET @@global.gtid_slave_pos = "0-1-7259";
8
START SLAVE;

1,GTID 冲突

1
                   Last_Errno: 1950
2
                   Last_Error: An attempt was made to binlog GTID 0-1-35 which would create an out-of-order sequence number with existing GTID 0-3-35, and gtid strict mode is enabled
3

4
RESET MASTER;
5
STOP SLAVE
6
CHANGE MASTER TO master_host="10.0.16.12", master_port=3306,master_user="maxscale_binlog", master_password="qweasd", master_use_gtid=slave_pos;
7
START SLAVE

7 测试高可用#

停掉 master,发现 slav1 会自动切换成 master

1
┌─────────────────────┬────────────┬──────┬─────────────┬──────────────────────┬──────────┐
2
│ Server              │ Address    │ Port │ Connections │ State                │ GTID     │
3
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
4
│ test-master         │ 10.0.16.12 │ 11   │ 0           │ Down      │ 0-1-7346 │
5
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
6
│ test-slave          │ 10.0.16.12 │ 12   │ 0           │ Master, Running       │ 0-1-7346 │
7
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
8
│ test-binlog         │ 10.0.16.12 │ 3306 │ 0           │ Binlog Relay, Runnin │ 0-1-7346 │
9
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
10
│ test-binlog-slave-1 │ 10.0.16.12 │ 13   │ 0           │ Slave, Running       │ 0-1-7346 │
11
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
12
│ test-binlog-slave-2 │ 10.0.16.12 │ 14   │ 0           │ Slave, Running       │ 0-1-7346 │
13
└─────────────────────┴────────────┴──────┴─────────────┴──────────────────────┴──────────

查看 slave2 信息

1
SHOW SLAVE STATUS\G
2
*************************** 1. row ***************************
3
               Slave_IO_State: Waiting for master to send event
4
                  Master_Host: 10.0.16.12
5
                  Master_User: maxscale_binlog
6
                  Master_Port: 3306
7
                Connect_Retry: 60
8
              Master_Log_File: mariadb-bin.000004
9
          Read_Master_Log_Pos: 768
10
               Relay_Log_File: relay-bin.000003
11
                Relay_Log_Pos: 379
12
        Relay_Master_Log_File: mariadb-bin.000004
13
             Slave_IO_Running: Yes
14
            Slave_SQL_Running: Yes

查看 maxscale 信息

1
*************************** 1. row ***************************
2
                Slave_IO_State: Waiting for master to send event
3
                   Master_Host: 10.0.16.12
4
                   Master_User: maxscale_binlog
5
                   Master_Port: 12
6
                 Connect_Retry: 1
7
               Master_Log_File: mariadb-bin.000004
8
           Read_Master_Log_Pos: 768
9
                Relay_Log_File:
10
                 Relay_Log_Pos:
11
         Relay_Master_Log_File:
12
              Slave_IO_Running: Yes
13
             Slave_SQL_Running: Yes

从 slave1 写入数据后查看

slave2

1
*************************** 1. row ***************************
2
               Slave_IO_State: Waiting for master to send event
3
                  Master_Host: 10.0.16.12
4
                  Master_User: maxscale_binlog
5
                  Master_Port: 3306
6
                Connect_Retry: 60
7
              Master_Log_File: mariadb-bin.000004
8
          Read_Master_Log_Pos: 987
9
               Relay_Log_File: relay-bin.000003
10
                Relay_Log_Pos: 379
11
        Relay_Master_Log_File: mariadb-bin.000004
12
             Slave_IO_Running: Yes
13
            Slave_SQL_Running: Yes

maxscale

1
*************************** 1. row ***************************
2
                Slave_IO_State: Waiting for master to send event
3
                   Master_Host: 10.0.16.12
4
                   Master_User: maxscale_binlog
5
                   Master_Port: 12
6
                 Connect_Retry: 1
7
               Master_Log_File: mariadb-bin.000004
8
           Read_Master_Log_Pos: 987
9
                Relay_Log_File:
10
                 Relay_Log_Pos:
11
         Relay_Master_Log_File:
12
              Slave_IO_Running: Yes
13
             Slave_SQL_Running: Yes

可以发现完全实现自动切换,并且 slave 都通过 maxscal 同步 binlog

7.1 master 自动恢复#

启动 master

1
┌─────────────────────┬────────────┬──────┬─────────────┬──────────────────────┬──────────┐
2
│ Server              │ Address    │ Port │ Connections │ State                │ GTID     │
3
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
4
│ test-master         │ 10.0.16.12 │ 11   │ 0           │ Slave, Running       │ 0-1-7346 │
5
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
6
│ test-slave          │ 10.0.16.12 │ 12   │ 0           │ Master, Running      │ 0-1-7346 │
7
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
8
│ test-binlog         │ 10.0.16.12 │ 3306 │ 0           │ Binlog Relay, Runnin │ 0-1-7346 │
9
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
10
│ test-binlog-slave-1 │ 10.0.16.12 │ 13   │ 0           │ Slave, Running       │ 0-1-7346 │
11
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
12
│ test-binlog-slave-2 │ 10.0.16.12 │ 14   │ 0           │ Slave, Running       │ 0-1-7346 │
13
└─────────────────────┴────────────┴──────┴─────────────┴──────────────────────┴──────────

切换节点

maxctrl call command mariadbmon switchover MariaDB-Monitor test-master test-slave

1
"\u001b[32mOK\u001b[39m"

1
┌─────────────────────┬────────────┬──────┬─────────────┬──────────────────────┬──────────┐
2
│ Server              │ Address    │ Port │ Connections │ State                │ GTID     │
3
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
4
│ test-master         │ 10.0.16.12 │ 11   │ 0           │ Master, Running      │ 0-1-7346 │
5
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
6
│ test-slave          │ 10.0.16.12 │ 12   │ 0           │ Slave, Running       │ 0-1-7346 │
7
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
8
│ test-binlog         │ 10.0.16.12 │ 3306 │ 0           │ Binlog Relay, Runnin │ 0-1-7346 │
9
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
10
│ test-binlog-slave-1 │ 10.0.16.12 │ 13   │ 0           │ Slave, Running       │ 0-1-7346 │
11
├─────────────────────┼────────────┼──────┼─────────────┼──────────────────────┼──────────┤
12
│ test-binlog-slave-2 │ 10.0.16.12 │ 14   │ 0           │ Slave, Running       │ 0-1-7346 │
13
└─────────────────────┴────────────┴──────┴─────────────┴──────────────────────┴──────────

7.2 尝试断开 slave 节点后添加数据后也会自动同步,因为简单就不演示了#

ingress常用配置

Fri, 10 Dec 2021 10:11:35 GMT

发现大部分架构都是 nginx 代理后端，挂载前端提供服务。但是放到 k8s 还得单独启动个 nginx 部署前端，这就造成两个问题。

1：配置复杂，每加有新的服务调用，不仅要改 ingress，web 服务的 nginx 配置文件也需要修改。

2：访问复杂，变成了 dns>ingress>web>后端

经过修改，我们的架构图

<pre class="mermaid"> graph LR A --- B B-->C[fa:fa-ban forbidden] B-->D(fa:fa-spinner); </pre>

image-20211210102701515

1 正常需要添加的参数#

1
    nginx.ingress.kubernetes.io/client-body-buffer-size: 2m
2
    nginx.ingress.kubernetes.io/enable-access-log: 'true'
3
    nginx.ingress.kubernetes.io/enable-cors: 'true'
4
    nginx.ingress.kubernetes.io/proxy-body-size: 10m
5
    nginx.ingress.kubernetes.io/proxy-buffer-size: 2m
6
    nginx.ingress.kubernetes.io/proxy-buffers-number: '32'
7
    nginx.ingress.kubernetes.io/proxy-connect-timeout: '3600'
8
    nginx.ingress.kubernetes.io/proxy-read-timeout: '3600'
9
    nginx.ingress.kubernetes.io/proxy-send-timeout: '3600'

2 http 跳转到 HTTPS#

1
nginx.ingress.kubernetes.io/ssl-redirect: 'true'

3 解决跨域#

使用上面的方案唯一的缺点是需要解决跨域，ingress 需要允许，后端代码需要允许跨域

1
    kubectl.kubernetes.io/last-applied-configuration: |
2
      if ($request_method = 'OPTIONS') {
3
        add_header 'Access-Control-Max-Age' 1728008;
4
        add_header 'Access-Control-Allow-Origin' '*' always;
5
        add_header 'Access-Control-Allow-Headers' '*';
6
        add_header 'Access-Control-Allow-Methods' 'GET,POST,PUT,DELETE,PATCH,OPTIONS';
7
        return 200;
8
       }
9
    nginx.ingress.kubernetes.io/cors-allow-credentials: 'true'
10
    nginx.ingress.kubernetes.io/cors-allow-headers: >-
11
      DNT,web-token,app-token,Authorization,Accept,Origin,Keep-Alive,User-Agent,X-Mx-ReqToken,X-Data-Type,X-Auth-Token,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range,token,Cookie
12
    nginx.ingress.kubernetes.io/cors-allow-methods: 'PUT, GET, POST, OPTIONS'
13
    nginx.ingress.kubernetes.io/cors-allow-origin: '*'
14
    nginx.ingress.kubernetes.io/enable-cors: 'true'

检测是否生效，主要看响应头

image-20211210104246290

Nginx Ingress常用配置

Fri, 10 Dec 2021 10:11:35 GMT

发现大部分架构都是 nginx 代理后端，挂载前端提供服务。但是放到 k8s 还得单独启动个 nginx 部署前端，这就造成两个问题。

1：配置复杂，每加有新的服务调用，不仅要改 ingress，web 服务的 nginx 配置文件也需要修改。

2：访问复杂，变成了 dns>ingress>web>后端

经过修改，我们的架构图

image-20211210102701515

1 正常需要添加的参数#

1
    nginx.ingress.kubernetes.io/client-body-buffer-size: 2m
2
    nginx.ingress.kubernetes.io/enable-access-log: 'true'
3
    nginx.ingress.kubernetes.io/enable-cors: 'true'
4
    nginx.ingress.kubernetes.io/proxy-body-size: 10m
5
    nginx.ingress.kubernetes.io/proxy-buffer-size: 2m
6
    nginx.ingress.kubernetes.io/proxy-buffers-number: '32'
7
    nginx.ingress.kubernetes.io/proxy-connect-timeout: '3600'
8
    nginx.ingress.kubernetes.io/proxy-read-timeout: '3600'
9
    nginx.ingress.kubernetes.io/proxy-send-timeout: '3600'

2 http 跳转到 HTTPS#

1
nginx.ingress.kubernetes.io/ssl-redirect: 'true'

3 解决跨域#

使用上面的方案唯一的缺点是需要解决跨域，ingress 需要允许，后端代码需要允许跨域

1
    kubectl.kubernetes.io/last-applied-configuration: |
2
      if ($request_method = 'OPTIONS') {
3
        add_header 'Access-Control-Max-Age' 1728008;
4
        add_header 'Access-Control-Allow-Origin' '*' always;
5
        add_header 'Access-Control-Allow-Headers' '*';
6
        add_header 'Access-Control-Allow-Methods' 'GET,POST,PUT,DELETE,PATCH,OPTIONS';
7
        return 200;
8
       }
9
    nginx.ingress.kubernetes.io/cors-allow-credentials: 'true'
10
    nginx.ingress.kubernetes.io/cors-allow-headers: >-
11
      DNT,web-token,app-token,Authorization,Accept,Origin,Keep-Alive,User-Agent,X-Mx-ReqToken,X-Data-Type,X-Auth-Token,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range,token,Cookie
12
    nginx.ingress.kubernetes.io/cors-allow-methods: 'PUT, GET, POST, OPTIONS'
13
    nginx.ingress.kubernetes.io/cors-allow-origin: '*'
14
    nginx.ingress.kubernetes.io/enable-cors: 'true'

检测是否生效，主要看响应头

image-20211210104246290

记录一次解决cc攻击

Mon, 15 Nov 2021 11:35:19 GMT

录一次 cc 攻击]

虽然没完全解决,但是屏蔽大量攻击,减轻服务器负担.此文档只是简单介绍下 web 防火墙原理

1 泳道图#

image-20220425100551921

2 配置 Nginx#

cat conf.d/wxh.super.co.conf

1
limit_req_zone $remote_addr zone=allips:10m rate=30r/s; # 每个ip一秒30次
2
# limit_req zone=allips; #全局限制
3
server {
4
server_name wxh.super.com;
5
......
6
if  ($request_uri  ~* "kto0a81u") {
7
return 503;
8
}  #只要访问以kto0a81u为结尾的连接自动跳到503
9
location /
10
{
11
    allow 122.14.1.21;     #白名单
12
    limit_req zone=allips #限制访问/user/login链接每个ip一秒10次
13
    try_files $uri $uri/ @router;
14
    index index.html;
15
}
16

17
location @router
18
{
19
   rewrite ^.*$ /index.html last;
20
}
21
}

展开收起

nginx.config: 这个很关键,主要 fail2ban 用来提取关键字,上面的配置文件访问过道会报出 503 的错误

1
http {
2
    .....
3
 log_format main
4
  '{"timestamp":"$time_iso8601_ms",'
5
  '"server_ip":"$server_addr",'
6
  '"remote_ip":"$remote_addr",'
7
  '"xff":"$http_x_forwarded_for",'
8
  '"remote_user":"$remote_user",'
9
  '"domain":"$host",'
10
  '"url":"$request_uri",'
11
  '"referer":"$http_referer",'
12
  '"upstreamtime":"$upstream_response_time",'
13
  '"responsetime":"$request_time",'
14
  '"request_method":"$request_method",'
15
  '"status":"$status",'
16
  '"response_length":"$bytes_sent",'
17
  '"request_length":"$request_length",'
18
  '"protocol":"$server_protocol",'
19
  '"upstreamhost":"$upstream_addr",'
20
  '"http_user_agent":"$http_user_agent"'
21
  '}';
22
    .....
23
}

展开收起

3 fail2ban#

3.1 安装#

yum -y install epel-release yum -y install fail2ban

3.2 准备 fail2ban,注意,里面任何文件都不要删,否则会报错#

目录结构:

/etc/fail2ban ## fail2ban 服务配置目录 /etc/fail2ban/action.d ## firewalld 、mail 等动作文件目录 /etc/fail2ban/filter.d ## 条件匹配文件目录，过滤日志关键内容 /etc/fail2ban/jail.d ## 规则文件目录，按具体防护项目分成文件 /etc/fail2ban/jail.local ## 默认规则文件 /etc/fail2ban/jail.conf ## fail2ban 防护配置文件 /etc/fail2ban/fail2ban.conf ## fail2ban 配置文件，定义日志级别、日志、sock 文件位置等

Terminal window

1
# This file is part of the fail2ban-firewalld package to configure the use of
2
# the firewalld actions as the default actions.  You can remove this package
3
# (along with the empty fail2ban meta-package) if you do not use firewalld
4
[DEFAULT]
5
banaction = firewallcmd-ipset   #使用firewallcmd
6
action = %(action_mwl)s         #触发后动作

添加 jail.local

Terminal window

1
cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local
2
vim /etc/fail2ban/jail.local
3
# banaction行内容替换如下
4
banaction = firewalld

配置 firewalld

Terminal window

1
vim /etc/fail2ban/action.d/firewalld.conf
2
[INCLUDES]
3
before  =
4

5
[Definition]
6
actionstart =
7
actionstop =
8
actioncheck =
9

10
actionflush = sed -i '/<source address=/d' /etc/firewalld/zones/drop.xml
11
actionban = firewall-cmd --change-source=<ip> --zone=drop && firewall-cmd --change-source=<ip> --zone=drop --permanent
12
actionunban = firewall-cmd --remove-source=<ip> --zone=drop && firewall-cmd --remove-source=<ip> --zone=drop --permanent || echo 0
13

14
[Init]

3.3 防止 Ssh 暴力破解#

cat /etc/fail2ban/jail.d/sshd.local

Terminal window

1
[sshd]                                  #名字,查看封禁ip的时候用到
2
enabled     = true                      #开启状态
3
filter      = sshd                      #规则名称，必须填写位于filter.d目录里面的规则，sshd是fail2ban内置规则
4
action      = %(action_mwl)s
5
logpath     = /var/log/secure           #日志路径

3.4 防止 Cc 登录#

cat /etc/fail2ban/filter.d/nginx.conf

Terminal window

1
[Definition]
2
failregex = ^{.*"remote_ip":"<HOST>",.*"status":"503".*}
3
ignoreregex = # 这里不要配,会损失一半性能

cat /etc/fail2ban/jail.d/nginx.local

Terminal window

1
[nginx]
2
enabled = true
3
port = http,https              #端口
4
filter = nginx
5
action = %(action_mwl)s
6
bantime  = 86400
7
findtime = 1
8
maxretry = 8
9
logpath = /var/log/nginx/access.log

重启服务 systemctl restart fail2ban fail2ban-client status nginx

Terminal window

1
Status for the jail: nginx
2
|- Filter
3
|  |- Currently failed: 0
4
|  |- Total failed: 0
5
|  `- File list: /opt/nginx-1.13.7-prod/logs/openapi.juxinda360.cn_access.log
6
`- Actions
7
   |- Currently banned: 79
8
   |- Total banned: 79
9
   `- Banned IP list: 1.193.69.212 1.56.17.17 1.56.21.168 1.56.22.168 1.56.23.197 1.56.23.20 1.56.23.27 1.58.169.134 1.62.145.3 106.91.160.102 112.49.224.157 113.127.205.129 113.232.162.157 113.232.165.90 113.232.176.51 113.239.196.205 113.4.124.189 113.4.176.241 113.4.251.111 114.101.211.22 117.136.30.21 117.136.75.203 117.136.81.63 117.28.80.103 119.115.240.68 119.118.115.196 119.118.126.237 119.52.40.18 119.52.40.218 119.52.58.142 119.52.59.80 119.55.114.184 119.55.119.191 119.55.75.28 123.147.248.213 139.214.144.40 175.168.15.107 175.172.176.235 175.174.95.244 182.149.201.235 202.110.40.130 218.24.58.240 218.7.116.157 218.7.116.2 220.195.66.70 220.197.208.38 220.201.199.241 221.200.177.210 221.200.184.244 221.203.85.168 221.206.200.181 221.206.200.209 221.206.200.222 221.206.200.233 221.206.200.236 221.206.200.64 221.206.201.114 221.206.201.124 221.206.201.173 221.206.201.95 221.210.130.139 221.210.130.150 223.104.178.83 223.104.251.59 223.104.3.184 223.104.65.233 223.104.96.86 42.176.11.18 42.176.9.149 42.178.136.167 42.185.16.167 42.185.18.225 42.185.20.30 42.185.20.44 42.185.21.115 42.185.23.104 42.55.16.57 42.59.233.96 42.86.58.84

nginx问题记录

Mon, 15 Nov 2021 11:35:19 GMT

1 访问过慢#

现象: 突然f5 检查后端 Nginx 节点,大部分 Nginx 节点总是连接超时,而看监控 nginx 资源使用率都正常

1.1 尝试查看日志#

Terminal window

1
...
2
...   shm_add_node::ngx_slab_alloc_locked() failed: used_size[36127530], used_node[10178]
3
...

1.1.1 查看内存分配#

[!Danger] 自定义标题其实不是这原因,以为请求分配不了内存,但这里写一下查询方法

Terminal window

1
cat /proc/buddyinfo
2
Node 0, zone      DMA      1      0      0      0      2      1      1      0      1      1      3
3
Node 0, zone    DMA32  25063  30201  27755   7226    864    202    138    123    105      0      0
4
Node 0, zone   Normal 470959 338802 126112  42615  23679  12683   6284   1869      0      0      0

1.2 尝试查看与36127530相关的监控#

这部只能用笨方法一个一个查询
image.png

1.3 查询什么导致 vts 内存增加#

经过对比发现用问题的 Nginx 都是启动很久,导致 vts 内存不够,重启 Nginx 可临时解决

1.4 永久解决#

现在定位到问题,尝试网上 vts 不释放内存问题,最后发现有一个这样的参数vhost_traffic_status_filter_max_node

1
http {
2
    ...
3
    vhost_traffic_status_filter_max_node 10000 uris client::ports; # 重点这参数
4
    ...
5
    server {
6
        server_name example.org;
7
        ...
8
    }
9
}

Apollo使用与配置

Thu, 28 Oct 2021 10:18:26 GMT

1 配置 MySQL 数据库#

1.1 导数据库#

Apollo 的表结构对timestamp使用了多个 default 声明，所以需要 5.6.5 以上版本。

连接上 MySQL 后，可以通过如下命令检查：

Terminal window

1
SHOW VARIABLES WHERE Variable_name = 'version';

1.2 下载表结构#

Terminal window

1
wget https://github.com/apolloconfig/apollo-build-scripts/blob/master/sql/apolloconfigdb.sql

1.3 导入表结构#

Terminal window

1
mysql -u root -p
2
CREATE DATABASE DevApolloConfigDB;
3
CREATE DATABASE ApolloPortalDB;
4
USE DevApolloConfigDB
5
source apolloconfigdb.sql
6
USE ApolloPortalDB
7
source apolloportaldb.sql

2 部署后端#

2.1 添加 Apollo Helm Chart 仓库 #

helm repo add apollo https://www.apolloconfig.com/charts helm search repo apollo

2.2 配置 apollo-configservice 和 apollo-adminservice#

vim values.yaml：

2.2.1 配置数据库连接#

1
configdb:
2
 name: apollo-configdb
3
 host: "10.188.179.205"  #mysql地址
4
 port: 3306   #mysql端口
5
 dbName: DevApolloConfigDB  #数据库名字
6
 userName: "root"   #mysql用户名
7
 password: "XS@02sn#3Dd*6TwR"  #mysql密码
8
 connectionStringProperties: characterEncoding=utf8

2.2.2 配置名字#

Terminal window

1
fullNameOverride: "dev-apollo-configsere"

2.2.3 配置外部连接地址#

这里是你访问 apolloconfig 他会返回给你这个地址,apollo-portal 访问的也是这个地址

Terminal window

1
  configServiceUrlOverride: "http://dev-apollo-config.rx.cn:8080"
2
  adminServiceUrlOverride: "http://dev-apollo-admin.rx.cn:8090"

2.3 部署 config 与 admin#

helm install dev-apollo-service -f values.yaml -n your-namespace apollo/apollo-service

更多配置项说明可以参考2.4.1.3.3 配置项说明

3 部署前端 apollo-portal#

3.1 配置 apollo-portal#

vim values.yaml ：

3.1.1 配置环境#

Terminal window

1
config:
2
  envs: dev,test
3
 metaServers:
4
  dev: http://dev-apollo-configsere:8080
5
  test: http://test-apollo-configsere:8080

3.1.2 配置数据库连接#

Terminal window

1
portaldb:
2
 name: apollo-portaldb
3
 host: 10.188.179.205
4
 port: 3306
5
 dbName: ApolloPortalDB
6
 userName: root
7
 password: XS@02sn#3Dd*6TwR

3.2 安装#

helm install apollo-portal -f values.yaml -n your-namespace apollo/apollo-portal

4 集成 ldap#

4.1 添加 apollo-portal 的 configmap#

1
  application-ldap.yml: |-
2
    spring:
3
      ldap:
4
        base: "从哪搜索"
5
        username: "管理员用户名"
6
        password: "密码"
7
        searchFilter: "(uid={0})"
8
        urls:
9
        - "ldap://地址:端口"
10
    ldap:
11
      mapping:
12
        objectClass: "inetOrgPerson"
13
        loginId: "uid"
14
        userDisplayName: "cn"
15
        email: "mail"

展开收起

4.2 挂载#

Terminal window

1
            - mountPath: /apollo-portal/config/application-ldap.yml
2
              name: application-ldap
3
              subPath: application-ldap.yml

Apollo 部署与LDAP

Thu, 28 Oct 2021 10:18:26 GMT

1 配置 MySQL 数据库#

1.1 导数据库#

Apollo 的表结构对timestamp使用了多个 default 声明，所以需要 5.6.5 以上版本。

连接上 MySQL 后，可以通过如下命令检查：

1
SHOW VARIABLES WHERE Variable_name = 'version';

1.2 下载表结构#

1
wget https://github.com/apolloconfig/apollo-build-scripts/blob/master/sql/apolloconfigdb.sql

1.3 导入表结构#

1
mysql -u root -p
2
CREATE DATABASE DevApolloConfigDB;
3
CREATE DATABASE ApolloPortalDB;
4
USE DevApolloConfigDB
5
source apolloconfigdb.sql
6
USE ApolloPortalDB
7
source apolloportaldb.sql

2 部署后端#

2.1 添加 Apollo Helm Chart 仓库 #

helm repo add apollo https://www.apolloconfig.com/charts helm search repo apollo

2.2 配置 apollo-configservice 和 apollo-adminservice#

vim values.yaml：

2.2.1 配置数据库连接#

1
configdb:
2
 name: apollo-configdb
3
 host: "10.188.179.205"  #mysql地址
4
 port: 3306   #mysql端口
5
 dbName: DevApolloConfigDB  #数据库名字
6
 userName: "root"   #mysql用户名
7
 password: "XS@02sn#3Dd*6TwR"  #mysql密码
8
 connectionStringProperties: characterEncoding=utf8

2.2.2 配置名字#

1
fullNameOverride: "dev-apollo-configsere"

2.2.3 配置外部连接地址#

这里是你访问 apolloconfig 他会返回给你这个地址,apollo-portal 访问的也是这个地址

1
  configServiceUrlOverride: "http://dev-apollo-config.rx.cn:8080"
2
  adminServiceUrlOverride: "http://dev-apollo-admin.rx.cn:8090"

2.3 部署 config 与 admin#

helm install dev-apollo-service -f values.yaml -n your-namespace apollo/apollo-service

更多配置项说明可以参考2.4.1.3.3 配置项说明

3 部署前端 apollo-portal#

3.1 配置 apollo-portal#

vim values.yaml ：

3.1.1 配置环境#

1
config:
2
  envs: dev,test
3
 metaServers:
4
  dev: http://dev-apollo-configsere:8080
5
  test: http://test-apollo-configsere:8080

3.1.2 配置数据库连接#

1
portaldb:
2
 name: apollo-portaldb
3
 host: 10.188.179.205
4
 port: 3306
5
 dbName: ApolloPortalDB
6
 userName: root
7
 password: XS@02sn#3Dd*6TwR

3.2 安装#

helm install apollo-portal -f values.yaml -n your-namespace apollo/apollo-portal

4 集成 ldap#

4.1 添加 apollo-portal 的 configmap#

1
  application-ldap.yml: |-
2
    spring:
3
      ldap:
4
        base: "从哪搜索"
5
        username: "管理员用户名"
6
        password: "密码"
7
        searchFilter: "(uid={0})"
8
        urls:
9
        - "ldap://地址:端口"
10
    ldap:
11
      mapping:
12
        objectClass: "inetOrgPerson"
13
        loginId: "uid"
14
        userDisplayName: "cn"
15
        email: "mail"

展开收起

4.2 挂载#

1
            - mountPath: /apollo-portal/config/application-ldap.yml
2
              name: application-ldap
3
              subPath: application-ldap.yml

Kubernetes自定义权限

Tue, 12 Oct 2021 09:12:35 GMT

1 创建账号#

1.1 创建私钥,一定要用 root 用户#

(umask 077; openssl genrsa -out test.key 2048)

image-20211012090216993

1.2 基于私钥生成证书,由 k8s 集群的 ca.crt 签署#

CN 为账号名称，OU 为组

openssl req -new -key test.key -out test.csr -subj "/CN=test"

image-20211012090236113

ca.crt 与 ca.key 是 k8s 的秘钥

openssl x509 -req -in test.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out test.crt -days 365

1.3 查看证书#

openssl x509 -in test.csr -text -noout

1.4 k8s 创建用户,并使用证书认证#

kubectl config set-credentials test --client-certificate=test.crt --client-key=test.key --embed-certs=true

1.5 查看集群#

kubectl config get-contexts

image-20211012091028778

1.6 设置上下文,用户访问哪个集群#

kubectl config set-context test@kubernetes --cluster=kubernetes --user=test

1.7 查看配置#

kubectl config view

image-20211012090504473

2 配置权限#

2.1 使用系统角色#

—clusterrole=view 是系统只读权限

kubectl create clusterrolebinding test-rolebinding --clusterrole=view --user=test

2.2 自定义角色#

2.2.1 创建 role#

kubectl create clusterrole test-clusterrole --verb=get,list,watch --resource=pods,deploy,svc --dry-run=client -o yaml > test/clusterrole.yaml

编辑 test/clusterrole.yaml

1
apiVersion: rbac.authorization.k8s.io/v1
2
kind: ClusterRole
3
metadata:
4
  name: rongxin-cluster-role
5
rules:
6
- apiGroups:
7
  - ""
8
  resources:
9
  - pods
10
  - services
11
  - pods/log
12
  verbs:
13
  - get
14
  - list
15
  - watch
16
- apiGroups:
17
  - ""
18
  resources:
19
  - pods/exec
20
  verbs:
21
  - create
22
- apiGroups:
23
  - apps
24
  resources:
25
  - deployments
26
  verbs:
27
  - get
28
  - list
29
  - watch

展开收起

kubectl apply -f test/clusterrole.yaml

2.2.2 查看 role#

kubectl describe clusterrole test-cluster-role

image-20211012090710033

2.2.3 创建 rolebinding#

我习惯备份下,也可以参考上面命令直接运行

kubectl create rolebinding test-dev-rolebinding --clusterrole=test-cluster-role --user=test --dry-run=client -o yaml > test/test-dev-rolebinding.yaml

kubectl apply -f test/test-dev-rolebinding.yaml

2.2.4 查看 rolebinding#

kubectl get rolebinding -n dev

image-20211012090931200

kubectl describe rolebinding test-dev-rolebinding -n dev

image-20211012090904150

2.3 查看集群#

kubectl config get-contexts

image-20211012091053636

3 导出配置#

Terminal window展开收起

1
kubectl config set-context test \
2
--cluster=kubernetes \
3
--user=test \
4
--current-context=test \
5
--kubeconfig=test.config
6

7
kubectl config set-cluster kubernetes \
8
--certificate-authority=/data/server/certs/ca/k8s/master/ca.pem \ #与上面的ca.crt是同一个文件
9
--embed-certs=true \
10
--server=https://10.1.1.1:7443 \
11
--kubeconfig=test.config
12

13
kubectl config set-credentials test \
14
--client-certificate=./test.crt  --client-key=test.key  --embed-certs=true \
15
--kubeconfig=test.config
16

17
vim test.config
18
contexts:
19
- context:
20
    cluster: kubernetes
21
    user: test
22
  name: test@kubernetes
23
current-context: read-ccops # 修改这里,要不然会报 The connection to the server localhost:8080......

展开收起

3.1 测试 kubeconfig#

Terminal window

1
kubectl get pods --kubeconfig=test.config -n kube-system
2
NAME                                         READY   STATUS    RESTARTS   AGE
3
csi-rbdplugin-5vfrd                          3/3     Running   0          79m
4
kubectl delete pods --kubeconfig=test.config -n kube-system csi-rbdplugin-5vfrd
5
Error from server (Forbidden): pods "csi-rbdplugin-5vfrd" is forbidden: User "test" cannot delete resource "pods" in API group "" in the namespace "kube-system"