Bismillah ..
Jadi hal ini terjadi setelah kami melakukan pelepasan node di cluster proxmox (dengan ceph) yang sudah running dengan tujuan rombak ulang cluster menjadi tanpa menggunakan ceph storage dengan melakukan install ulang semua node kecuali node cloud1 yang akan tetap aktif menjadi stand alone node.
setelah dilakukan delnode dengan perintah berikut (di lakukan di cloud1 , node yang akan tetap aktif )
root@cloud1:~# pvecm nodes
Membership information
----------------------
Nodeid Votes Name
1 1 cloud1 (local)
2 1 cloud10
3 1 cloud2
4 1 cloud4
root@cloud1:~# pvecm delnode cloud4
root@cloud1:~# pvecm delnode cloud2
root@cloud1:~# pvecm delnode cloud10
tampilan di web admin cloud1 proxmox masih muncul list node cluster (hal ini bisa di atasi dengan menghapus folder cloud10 cloud2 cloud4 di /etc/pve/nodes/ , kemudian kami shutdown semua node yang sudah di delete sehinga tersisa satu node aktif yang akan kami jadikan non cluster node proxmox yaitu cloud1.
kasus pertama muncul tidak bisa remove folder cloud10 cloud2 cloud4 di /etc/pve/nodes/
root@cloud1:~# cd /etc/pve/nodes/
root@cloud1:/etc/pve/nodes# ls
cloud1 cloud10 cloud2 cloud4
root@cloud1:/etc/pve/nodes# rm -rf cloud4/
rm: cannot remove 'cloud4/lxc': Permission denied
rm: cannot remove 'cloud4/pve-ssl.pem': Permission denied
rm: cannot remove 'cloud4/priv': Permission denied
rm: cannot remove 'cloud4/openvz': Permission denied
rm: cannot remove 'cloud4/qemu-server/114.conf': Permission denied
rm: cannot remove 'cloud4/qemu-server/113.conf': Permission denied
rm: cannot remove 'cloud4/pve-ssl.key': Permission denied
root@cloud1:/etc/pve/nodes#
dengan kasus kedua muncul setelah sesion login web admin di cloud1 habis dan redirect kembali ke login page , kami tidak bisa login ke web admin console nya ( untuk akses ssh ke cloud1 masih normal )
ok next , kita jelaskan penyebab kasus di atas
saya mulai dari kasus ke dua
tidak bisa login ke web admin (GUI) krena kita butuh quorom (minimum 3 node aktif ) untuk dapat login ke GUI untuk prxmox node dalam mode cluster
referensi https://forum.proxmox.com/threads/no-login-possible-after-clustering-nodes.111233/
untuk kasus ke satu
terkait dengan ke dua kasus ke satu folder tidak dapat di remove karena node tersebut masih dalam mode cluster
Penanganan
pertama stop cluster mode nya
root@cloud1:/etc/pve/nodes#
root@cloud1:/etc/pve/nodes# systemctl status pveproxy pve-cluster
● pveproxy.service - PVE API Proxy Server
Loaded: loaded (/lib/systemd/system/pveproxy.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2023-05-01 20:02:21 WIB; 1min 59s ago
Process: 3459932 ExecStartPre=/usr/bin/pvecm updatecerts --silent (code=exited, status=0/SUCCESS)
Process: 3459936 ExecStart=/usr/bin/pveproxy start (code=exited, status=0/SUCCESS)
Main PID: 3459960 (pveproxy)
Tasks: 4 (limit: 230363)
Memory: 138.7M
CPU: 1.297s
CGroup: /system.slice/pveproxy.service
├─3459960 pveproxy
├─3459961 pveproxy worker
├─3459962 pveproxy worker
└─3459963 pveproxy worker
May 01 20:02:20 cloud1 systemd[1]: Starting PVE API Proxy Server...
May 01 20:02:21 cloud1 pveproxy[3459936]: "my" variable $node masks earlier declaration in same scope at /usr/share/per>May 01 20:02:21 cloud1 pveproxy[3459960]: starting server
May 01 20:02:21 cloud1 pveproxy[3459960]: starting 3 worker(s)
May 01 20:02:21 cloud1 pveproxy[3459960]: worker 3459961 started
May 01 20:02:21 cloud1 pveproxy[3459960]: worker 3459962 started
May 01 20:02:21 cloud1 pveproxy[3459960]: worker 3459963 started
May 01 20:02:21 cloud1 systemd[1]: Started PVE API Proxy Server.
● pve-cluster.service - The Proxmox VE cluster filesystem
Loaded: loaded (/lib/systemd/system/pve-cluster.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2023-05-01 20:02:19 WIB; 2min 1s ago
Process: 3459902 ExecStart=/usr/bin/pmxcfs (code=exited, status=0/SUCCESS)
Main PID: 3459903 (pmxcfs)
Tasks: 6 (limit: 230363)
root@cloud1:/etc/pve/nodes#
root@cloud1:/etc/pve/nodes# systemctl stop pve-cluster.service
force ke local mode
root@cloud1:/etc/pve/nodes# pmxcfs -l
[main] notice: forcing local mode (although corosync.conf exists)
root@cloud1:/etc/pve/nodes# rm /etc/pve/corosync.conf
root@cloud1:/etc/pve/nodes# killall pmxcfs
root@cloud1:/etc/pve/nodes# systemctl stop pve-cluster
terahir coba remove kembali folder cloud10 cloud2 cloud4 di /etc/pve/nodes/
root@cloud1:/etc/pve/nodes# ls
cloud1 cloud10 cloud2 cloud4
root@cloud1:/etc/pve/nodes# rm -rf cloud4
root@cloud1:/etc/pve/nodes# rm -rf cloud2
root@cloud1:/etc/pve/nodes# rm -rf cloud10
restart pve-proxy dan coba akses web console cloud1
root@cloud1:/etc/pve/nodes# systemctl restart pveproxy.service
alhamdulillah bisa solved 🙂
referensi : https://forum.proxmox.com/threads/deleted-cluster-and-now-i-cant-access-web-ui.50581/
No Comments, Be The First!