kubectl config use-context KSCS00201

kube-bench master

- --authorization-mode=Node,RBAC  #修改参数为Node,RBAC
- --insecure-bind-address=0.0.0.0 #删除这一行 #

kube-bench node

systemctl status kubelet

systemctl daemon-reload
systemctl restart kubelet.service

kube-bench

- --client-cert-auth=true #修改为true

kubectl config use-context KSCH00301

vi qa-sa.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: backend-sa  #修改为 对应的name
  namespace: qa     #namespace名称
automountServiceAccountToken: false  #false为不自动挂载secret

kubectl -f qa-sa.yaml create
kubectl -n qa get sa

vim /cks/sa/pod1.yaml

……
metadata:
  name: backend
  namespace: qa #注意命名空间是否对
spec:
  serviceAccountName: backend-sa # 没有则添加一行，有则修改这一行为刚才创建的ServiceAccount（考试时，默认已有这一行，需要修改。）
containers:
……

kubectl -n qa get sa

kubectl -n qa get pod -o yaml | grep -i serviceAccountName

kubectl -n qa delete sa test01

kubectl config use-context KSCS00101

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: denypolicy     #注意修改name
  namespace: testing   #添加namespace
spec:
  podSelector: {}
  policyTypes:
  - Ingress            #注意看题，是Ingress + Egress（入口+出口），还是只是Ingress或只是Egress。
  - Egress             #在1.25的考试中，只要求拒绝所有Egress流量，那就只写这这个- Egress即可，这种情况就不要写- Ingress了。

kubectl -f /cks/net/p1.yaml create
kubectl -n testing describe networkpolicies denypolicy

kubectl config use-context KSCH00201

kubectl -n db describe rolebindings

kubectl -n db edit role role-1

rules:
- apiGroups:
  - ""
  resources:
  - services
  verbs:
  - get

kubectl -n db describe role role-1

kubectl -n db create role role-2 --verb=delete --resource=namespaces
kubectl -n db create rolebinding role-2-binding --role=role-2 --serviceaccount=db:service-account-web

kubectl -n db describe rolebindings

kubectl config use-context KSCH00601

ssh master01
sudo -i

cp /etc/kubernetes/logpolicy/sample-policy.yaml bak/
vim /etc/kubernetes/logpolicy/sample-policy.yaml

  - level: RequestResponse
    resources:
    - group: ""
      resources: ["persistentvolumes"] #根据题目要求修改，比如题目要求的是namespaces。

  - level: Request
    resources:
    - group: ""
      resources: ["configmaps"] #根据题目要求修改，比如题目要求的是persistentvolumes或者pods。
    namespaces: ["front-apps"]

  - level: Metadata
    resources:
    - group: ""
      resources: ["secrets", "configmaps"]

  - level: Metadata
    omitStages:
      - "RequestReceived"

cp /etc/kubernetes/manifests/kube-apiserver.yaml bakyaml/
vi /etc/kubernetes/manifests/kube-apiserver.yaml

- --audit-policy-file=/etc/kubernetes/logpolicy/sample-policy.yaml #主意检查，如果考试中已经存在了，则不要重复添加。
#定义审计日志位置，通过hostpath挂载
- --audit-log-path=/var/log/kubernetes/audit-logs.txt #主意检查，如果考试中已经存在了，则不要重复添加。
#定义保留旧审计日志文件的最大天数为10天
- --audit-log-maxage=10 #主意检查，如果考试中已经存在了，则不要重复添加。
#定义要保留的审计日志文件的最大数量为2个
- --audit-log-maxbackup=2 #主意检查，如果考试中已经存在了，则不要重复添加。

volumeMounts: #找到这个字段，添加下面内容
- mountPath: /etc/kubernetes/logpolicy/sample-policy.yaml #这里也可以写到目录/etc/kubernetes/logpolicy/
  name: audit #注意，在1.25考试中，蓝色的内容已经默认有了，你只需要添加绿色字体的内容。可以通过红色字，在文件中定位。但模拟环境没有加，需要你全部手动添加。这样是为了练习，万一考试中没有，你也会加。但是如果考试中已添加，你再添加一遍，则会报错，导致api-server启不起来。
  readOnly: true #这个为true
- mountPath: /var/log/kubernetes/
  name: audit-log #注意，在1.25考试中，蓝色的内容已经有了，你只需要添加绿色字体的内容。可以通过红色字，在文件中定位。但模拟环境没有加，需要你全部手动添加。这样是为了练习，万一考试中没有，你也会加。
  readOnly: false #这个为false

volumes: #找到这个字段，添加下面内容 #注意，在1.25考试中，蓝色的内容已经有了，volumes这段无需修改，但是为了以防万一，模拟环境中没有加，需要你手动添加。这样是为了练习，万一考试中没有，你也会加。
- name: audit
  hostPath:
  path: /etc/kubernetes/logpolicy/sample-policy.yaml #这里如果写到目录/etc/kubernetes/logpolicy/，则下面的type:应为type: DirectoryOrCreate
  type: File
- name: audit-log
  hostPath:
  path: /var/log/kubernetes/
  type: DirectoryOrCreate

systemctl restart kubelet
kubectl get pod -A
tail /var/log/kubernetes/audit-logs.txt

kubectl config use-context KSCH00701

kubectl -n istio-system get secrets db1-test -o jsonpath={.data.username} | base64 -d > /cks/sec/user.txt
kubectl -n istio-system get secrets db1-test -o jsonpath={.data.password} | base64 -d > /cks/sec/pass.txt

cat /cks/sec/user.txt
cat /cks/sec/pass.txt

kubectl -n istio-system create secret generic db2-test --from-literal username=production-instance --from-literal assword=KvLftKgs4aVH
kubectl -n istio-system get secret

vim k8s-secret.yaml

apiVersion: v1
kind: Pod
metadata:
  name: secret-pod          #pod名字
  namespace: istio-system   #命名空间
spec:
  containers:
  - name: dev-container     #容器名字
    image: nginx            #镜像名字
    volumeMounts:
    - name: secret-volume   #卷名
      mountPath: "/etc/secret"  #挂载路径
  volumes:
  - name: secret-volume     #卷名
    secret:
      secretName: db2-test  #名为 db2-test 的 secret

kubectl -f k8s-secret.yaml create
kubectl -n istio-system get pod

kubectl config use-context KSSC00301

vim /cks/docker/Dockerfile

#修改基础镜像为题目要求的 ubuntu:16.04
FROM ubuntu:16.04

#仅将CMD上面的USER root修改为USER nobody，不要改其他的USER root。
USER nobody

vim /cks/docker/deployment.yaml

template里标签跟上面的内容不一致，所以需要将原先的run: couchdb修改为app: couchdb
app: couchdb
注意，这里具体要改成app: couchdb还是其他的标签，要以考试给你的yaml文件的上下文其他标签为准，要与另外两个标签一致，具体见下方截图。）
感谢网友Tse和adams的反馈和纠正。

删除 'SYS_ADMIN' 字段，确保 'privileged': 为False 。
(CKS考试是有多套类似考试环境的，所以有时是删SYS_ADMIN，有时是改'privileged': False）
注意 注意，如果考试时，本来就没有'SYS_ADMIN' 字段，且'privileged':也默认就为False，则直接将直接改成如下。
securityContext:
  privileged: False

kubectl config use-context KSMV00301

vim /cks/gVisor/rc.yaml

apiVersion: node.k8s.io/v1   ##将apiVersion: node.k8s.io/v1beta1修改为apiVersion: node.k8s.io/v1。这个在1.25正式考试的时候，是对的，不需要修改的。
kind: RuntimeClass
metadata:
  name: untrusted # 用来引用 RuntimeClass 的名字，RuntimeClass 是一个集群层面的资源
handler: runsc    # 对应的 CRI 配置的名称

kubectl -f /cks/gVisor/rc.yaml create
kubectl get RuntimeClass

kubectl -n server get deployment

kubectl -n server edit deployments busybox-run
kubectl -n server edit deployments nginx-host
kubectl -n server edit deployments run-test

spec: #找到这个spec，注意在deployment里是有两个单独行的spec的，要找第二个，也就是下面有containers这个字段的spec。
  runtimeClassName: untrusted #添加这一行，注意空格对齐，保存会报错，忽略即可。
  containers:
  - image: nginx:1.9
    imagePullPolicy: IfNotPresent
    name: run-test

kubectl config use-context KSSH00301

# 查看 qaqa 命名空间标签（name: qaqa）
kubectl get ns --show-labels

# 查看 pod 标签（environment: testing）
kubectl get pod -n dev-team --show-labels

kubectl label ns qaqa name=qaqa
kubectl label pod products-service environment=testing -n dev-team

vi /cks/net/po.yaml

metadata:
  name: pod-restriction #修改
  namespace: dev-team #修改
spec:
  podSelector:
  matchLabels:
    environment: testing #根据题目要求的标签修改，这个写的是Pod products-service的标签，也就是使用kubectl get pod -n dev-team --show-labels查出来的pod的标签，这个标签不要和题目里要求的“位于任何namespace，带有标签environment: testing的Pod”这句话里的标签混淆了，两个没有关系，所以可不一样。比如你考试时查出来的POD products-service的标签是name: products，那这里的environment: testing就要换成name: products。
  policyTypes:
  - Ingress #注意，这里只写 - Ingress，不要将 - Egress也复制进来！
  ingress:
  - from: #第一个from
    - namespaceSelector:
      matchLabels:
        name: qaqa #命名空间有name: qaqa标签的
  - from: #第二个from
    - namespaceSelector: {} #修改为这样，所有命名空间
      podSelector: #注意，这个podSelector前面的“-” 要删除，换成空格，空格对齐要对。
        matchLabels:
          environment: testing #有environment: testing标签的Pod，这个地方是根据题目要求“Pods with label environment: testing , in any namespace”，这句话里的pod标签写的。不要和上面spec里的混淆。

kubectl apply -f /cks/net/po.yaml
kubectl get networkpolicy -n dev-team

kubectl config use-context KSSH00401

ssh node02
sudo -i

vi /etc/apparmor.d/etc/apparmor.d/nginx_apparmor

#include <tunables/global>
#nginx-profile-3 #检查这一行是否存在 存在则注释掉
profile nginx-profile-3 flags=(attach_disconnected) {
  #include <abstractions/base>
  file,
  # Deny all file writes.
  deny /** w,
}

apparmor_parser -q /etc/apparmor.d/nginx_apparmor
apparmor_status | grep nginx-profile-3

vi /cks/KSSH00401/nginx-deploy.yaml

annotations:
  container.apparmor.security.beta.kubernetes.io/podx: localhost/nginx-profile-3

kubectl -f  /cks/KSSH00401/nginx-deploy.yaml create

kubectl get pod
kubectl exec podx -- cat /proc/1/attr/current
kubectl exec podx -- touch /tmp/test

kubectl config use-context KSSC00401

ssh node02
sudo -i

crictl info | grep sock

sysdig -l | grep time
sysdig -l | grep uid
sysdig -l | grep proc

sysdig -M 30 -p "%evt.time,%user.uid,%proc.name" --cri /run/containerd/containerd.sock container.name=tomcat123 >> /opt/KSR00101/incidents/summary
sysdig -M 30 -p "%evt.time,%user.name,%proc.name" --cri /run/containerd/containerd.sock container.name=tomcat123 >> /opt/KSR00101/incidents/summary

#启用模块
sysdig-probe-loader

cat /opt/KSR00101/incidents/summary |head

kubectl config use-context KSMV00102

kubectl -n sec-ns edit deployment secdep

      securityContext:
        allowPrivilegeEscalation: false
        readOnlyRootFilesystem: true

kubectl config use-context KSCF00301

ssh master01
sudo -i
sh /root/b.sh #模拟这道题的环境

- --authorization-mode=AlwaysAllow
- --enable-admission-plugins=AlwaysAdmit

- --authorization-mode=Node,RBAC 
#注意，只保留Node,RBAC这两个，中间是英文状态下的逗号。在1.25考试中，这一条可能默认已经有了，但还是要检查确认一下。

- --enable-admission-plugins=NodeRestriction 
#在1.25考试中，这一个原先为AlwaysAdmit，需要修改为NodeRestriction。

systemctl daemon-reload
systemctl restart kubelet
kubectl get pod -A #过几分钟集群才会恢复正常

kubectl get clusterrolebinding system:anonymous     #检查
kubectl delete clusterrolebinding system:anonymous  #删除
kubectl get clusterrolebinding system:anonymous     #检查

kubectl config user-context KSRS00501

ssh master01
sudo -i

mkdir bakyaml
cp /etc/kubernetes/manifests/kube-apiserver.yaml bakyaml/
vim /etc/kubernetes/manifests/kube-apiserver.yaml

    - --tls-cipher-suites=TLS_AES_128_GCM_SHA256
    - --tls-min-version=VersionTLS13

kubectl -n kube-system get pod

cp /etc/kubernetes/manifests/etcd.yaml bakyaml/
vim /etc/kubernetes/manifests/etcd.yaml

    - --cipher-suites=TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256

kubectl get pod -A
kubectl -n kube-system get pod

kubectl config use-context KSSH00901

ssh master01
sudo -i

vi /etc/kubernetes/epconfig/admission_configuration.json

    "denyTTL": 50,
    "retryBackoff": 500,
    "defaultAllow": false #将true改为false

cp /etc/kubernetes/epconfig/kubeconfig.yml bakyaml/
vi /etc/kubernetes/epconfig/kubeconfig.yml

    certificate-authority: /etc/kubernetes/epconfig/server.crt
    server: https://image-bouncer-webhook.default.svc:1323/image_policy #添加webhook server地址
  name: bouncer_webhook

cp /etc/kubernetes/manifests/kube-apiserver.yaml bakyaml/
vi /etc/kubernetes/manifests/kube-apiserver.yaml

- --enable-admission-plugins=NodeRestriction,ImagePolicyWebhook

- --admission-control-config-file=/etc/kubernetes/epconfig/admission_configuration.json
#在1.25的考试中，默认这行已经添加了，但为了以防万一，模拟环境，没有添加，需要你手动添加。考试时，你先检查，有的话，就不要再重复添加了。重复添加反而会报错！

volumeMounts: #在volumeMounts下面增加 #注意，在1.25考试中，蓝色的内容可能已经有了，你只需要添加绿色字体的内容。可以通过红色字，在文件中定位。但模拟环境没有加，需要你全部手动添加。这样是为了练习，万一考试中没有，你也会加。但是如果考试中已添加，你再添加一遍，则会报错，导致api-server启不起来。
- mountPath: /etc/kubernetes/epconfig #建议紧挨着volumeMounts的下方增加
name: epconfig
readOnly: true

volumes: #在volumes下面增加 #注意，在1.25考试中，蓝色的内容可能已经有了，你只需要检查确认一下是否准确。可以通过红色字，在文件中定位。但模拟环境没有加，需要你全部手动添加。这样是为了练习，万一考试中没有，你也会加。但是如果考试中已添加，你再添加一遍，则会报错，导致api-server启不起来。
- name: epconfig #建议紧挨着volumes的下方增加
hostPath:
path: /etc/kubernetes/epconfig
type: DirectoryOrCreate
#如果你写的是目录，则是DirectoryOrCreate，如果你写的是文件，则是File

systemctl restart kubelet
kubectl -n kube-system get pod

kubectl apply -f /cks/img/web1.yaml