【Linux】分析hung_panic生成的vmcore
简介
1、遇到一个问题：
上述日志是oom_kill，下述日志是hung_panic
2、分别解释两层含义，全部日志如下：
[75834.243209] kodo invoked oom-killer: gfp_mask=0x600040(GFP_NOFS), order=0, oom_score_adj=968
[75834.245657] CPU: 0 PID: 23476 Comm: kodo Kdump: loaded Tainted: G OE 4.19.90-2305.1.0.019
9.78.uel20.x86_64 #1
[75834.248210] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 1.11.0-2.el7 04/01/2014
[75834.250623] Call Trace:
[75834.252090] dump_stack+0x66/0x8b
[75834.253680] dump_header+0x4a/0x1ec
[75834.255234] oom_kill_process+0x24f/0x270
[75834.257018] out_of_memory+0x141/0x570
[75834.259117] mem_cgroup_out_of_memory+0xb5/0xd0
[75834.260763] try_charge+0x723/0x770
[75834.262496] ? mem_cgroup_commit_charge+0x7f/0x4e0
[75834.264713] mem_cgroup_try_charge+0x86/0x180
[75834.266306] __add_to_page_cache_locked+0x60/0x290
[75834.268318] add_to_page_cache_lru+0x4a/0xf0
[75834.270041] iomap_readpages_actor+0x129/0x2a0
[75834.271760] ? iomap_dio_bio_end_io+0x190/0x190
[75834.273816] iomap_apply+0xba/0x160
[75834.275765] ? iomap_dio_bio_end_io+0x190/0x190
[75834.277348] iomap_readpages+0xaa/0x1e0
[75834.279000] ? iomap_dio_bio_end_io+0x190/0x190
[75834.280679] read_pages+0x6d/0x1d0
[75834.282123] ? __do_page_cache_readahead+0x16c/0x1d0
[75834.283745] __do_page_cache_readahead+0x16c/0x1d0
[75834.285347] filemap_fault+0x298/0x8a0
[75834.286755] ? kmem_cache_free+0x180/0x1b0
[75834.288988] __xfs_filemap_fault+0x72/0x200 [xfs]
[75834.290618] __do_fault+0x33/0x110
[75834.291988] do_fault+0x12e/0x490
[75834.293451] __handle_mm_fault+0x613/0x690
[75834.295491] handle_mm_fault+0xc4/0x200
[75834.296884] __do_page_fault+0x240/0x4c0
[75834.298539] do_page_fault+0x31/0x130
[75834.300068] ? async_page_fault+0x8/0x30
[75834.301720] async_page_fault+0x1e/0x30
[75834.303468] memory: usage 12582792kB, limit 12582912kB, failcnt 317157
[75834.305486] memory+swap: usage 12582792kB, limit 9007199254740988kB, failcnt 0
[75834.308073] kmem: usage 0kB, limit 9007199254740988kB, failcnt 0
[75834.310515] Memory cgroup stats for /kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a: cache:
0KB rss:0KB rss_huge:0KB shmem:0KB mapped_file:0KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB acti
ve_anon:0KB inactive_file:0KB active_file:0KB unevictable:0KB
[75834.317024] Memory cgroup stats for /kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a/5feef66
2206c588f4751444e30c4257c1dfe6f62bec8d5c20bec457186b70fe7: cache:0KB rss:0KB rss_huge:0KB shmem:0KB mapped
_file:0KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB active_anon:0KB inactive_file:0KB active_file
:0KB unevictable:0KB
[75834.324632] Memory cgroup stats for /kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a/4e74f07
4587671f5e770d3f8071c630a70ede73ee423d59a6dd49149c3a6c734: cache:17524KB rss:12562956KB rss_huge:6912000KBshmem:0KB mapped_file:1188KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB active_anon:12562956KB in
active_file:16140KB active_file:12KB unevictable:0KB
[75834.333179] Tasks state (memory values in pages):
[75834.335680] [ pid ] uid tgid total_vm rss pgtables_bytes swapents oom_score_adj name
[75834.338171] [ 22697] 0 22697 256 1 32768 0 -998 pause
[75834.340836] [ 23362] 0 23362 3470438 3140655 25550848 0 968 kodo
[75834.343473] oom-kill:constraint=CONSTRAINT_MEMCG,nodemask=(null),cpuset=4e74f074587671f5e770d3f8071c630
a70ede73ee423d59a6dd49149c3a6c734,mems_allowed=0,oom_memcg=/kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-
7cd399c77b7a,task_memcg=/kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a/4e74f074587671f5e770d3
f8071c630a70ede73ee423d59a6dd49149c3a6c734,task=kodo,pid=23362,uid=0
[75834.354192] Memory cgroup out of memory: Kill process 23362 (kodo) score 1968 or sacrifice child
[75834.357745] Killed process 23362 (kodo) total-vm:13881752kB, anon-rss:12562620kB, file-rss:0kB, shmem-r
ss:0kB
[75834.736239] oom_reaper: reaped process 23362 (kodo), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB
[76349.203912] TCP: request_sock_TCP: Possible SYN flooding on port 9527. Sending cookies. Check SNMP cou
nters.
[85988.503793] INFO: task kodo:2939685 blocked for more than 1200 seconds.
[85988.506238] Tainted: G OE 4.19.90-2305.1.0.0199.78.uel20.x86_64 #1
[85988.508710] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[85988.512771] kodo D 0 2939685 2939616 0x00000080
[85988.515238] Call Trace:
[85988.517192] ? __schedule+0x286/0x740
[85988.517199] schedule+0x29/0xc0
[85988.521494] schedule_preempt_disabled+0xa/0x10
[85988.523722] __mutex_lock.isra.7+0x20b/0x470
[85988.525780] ? fuse_lock_inode+0x27/0x30 [fuse]
[85988.527911] fuse_lock_inode+0x27/0x30 [fuse]
[85988.529928] fuse_lookup+0x46/0x140 [fuse]
[85988.531907] ? d_alloc_parallel+0x95/0x4d0
[85988.533942] __lookup_slow+0x97/0x150
[85988.536004] lookup_slow+0x35/0x50
[85988.537910] walk_component+0x1c4/0x340
[85988.539882] ? fuse_permission+0x30/0x150 [fuse]
[85988.541908] link_path_walk.part.33+0x2a6/0x510
[85988.544042] ? path_init+0x192/0x320
[85988.545916] path_lookupat+0x95/0x210
[85988.547837] filename_lookup+0xb6/0x190
[85988.549753] ? audit_alloc_name+0x7e/0xd0
[85988.551710] ? path_get+0x11/0x30
[85988.553669] ? __audit_getname+0x9f/0xb0
[85988.555655] ? getname_flags+0xb9/0x1e0
[85988.557672] ? vfs_statx+0x73/0xe0
[85988.559591] vfs_statx+0x73/0xe0
[85988.561361] __do_sys_newfstatat+0x31/0x70
[85988.563200] ? syscall_trace_enter+0x1df/0x2e0
[85988.565182] ? __audit_syscall_exit+0x238/0x2c0
[85988.567047] do_syscall_64+0x5f/0x240
[85988.568865] entry_SYSCALL_64_after_hwframe+0x5c/0xc1
[85988.571261] INFO: task kodo:2939695 blocked for more than 1200 seconds.
[85988.573951] Tainted: G OE 4.19.90-2305.1.0.0199.78.uel20.x86_64 #1
[85988.576253] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[85988.578441] kodo D 0 2939695 2939616 0x00000080
[85988.580330] Call Trace:
[85988.581734] ? __schedule+0x286/0x740
[85988.583394] schedule+0x29/0xc0
[85988.584843] schedule_preempt_disabled+0xa/0x10
[85988.586632] __mutex_lock.isra.7+0x20b/0x470
[85988.588191] ? fuse_lock_inode+0x27/0x30 [fuse]
[85988.589818] fuse_lock_inode+0x27/0x30 [fuse]
[85988.591278] fuse_lookup+0x46/0x140 [fuse]
[85988.592731] ? d_alloc_parallel+0x95/0x4d0
[85988.594174] __lookup_slow+0x97/0x150
[85988.595469] lookup_slow+0x35/0x50
[85988.596873] walk_component+0x1c4/0x340
[85988.598236] ? fuse_permission+0x30/0x150 [fuse]
[85988.599717] link_path_walk.part.33+0x2a6/0x510
[85988.601101] ? path_init+0x192/0x320
[85988.602401] path_lookupat+0x95/0x210
[85988.603898] filename_lookup+0xb6/0x190
[85988.605247] ? audit_alloc_name+0x7e/0xd0
[85988.606482] ? path_get+0x11/0x30
[85988.607660] ? __audit_getname+0x9f/0xb0
[85988.609270] ? getname_flags+0xb9/0x1e0
[85988.610547] ? vfs_statx+0x73/0xe0
[85988.611757] vfs_statx+0x73/0xe0
[85988.612875] __do_sys_newfstatat+0x31/0x70
[85988.615046] ? syscall_trace_enter+0x1df/0x2e0
[85988.616437] ? __audit_syscall_exit+0x238/0x2c0
[85988.617825] do_syscall_64+0x5f/0x240
[85988.619091] entry_SYSCALL_64_after_hwframe+0x5c/0xc1
[85988.620778] Kernel panic - not syncing: hung_task: blocked tasks
[85988.622425] CPU: 15 PID: 175 Comm: khungtaskd Kdump: loaded Tainted: G OE 4.19.90-2305.1.
0.0199.78.uel20.x86_64 #1
[85988.625743] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 1.11.0-2.el7 04/01/2014
[85988.627659] Call Trace:
[85988.628806] dump_stack+0x66/0x8b
[85988.630119] panic+0x106/0x2b6
[85988.631539] watchdog+0x270/0x400
[85988.632777] ? hungtask_pm_notify+0x40/0x40
[85988.634134] kthread+0x113/0x130
[85988.635459] ? kthread_create_worker_on_cpu+0x70/0x70
[85988.636981] ret_from_fork+0x35/0x40
oom-kill内容分析
截取日志如下：
[75834.243209] kodo invoked oom-killer: gfp_mask=0x600040(GFP_NOFS), order=0, oom_score_adj=968
[75834.245657] CPU: 0 PID: 23476 Comm: kodo Kdump: loaded Tainted: G OE 4.19.90-2305.1.0.019
9.78.uel20.x86_64 #1
[75834.248210] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 1.11.0-2.el7 04/01/2014
[75834.250623] Call Trace:
[75834.252090] dump_stack+0x66/0x8b
[75834.253680] dump_header+0x4a/0x1ec
[75834.255234] oom_kill_process+0x24f/0x270
[75834.257018] out_of_memory+0x141/0x570
[75834.259117] mem_cgroup_out_of_memory+0xb5/0xd0
[75834.260763] try_charge+0x723/0x770
[75834.262496] ? mem_cgroup_commit_charge+0x7f/0x4e0
[75834.264713] mem_cgroup_try_charge+0x86/0x180
[75834.266306] __add_to_page_cache_locked+0x60/0x290
[75834.268318] add_to_page_cache_lru+0x4a/0xf0
[75834.270041] iomap_readpages_actor+0x129/0x2a0
[75834.271760] ? iomap_dio_bio_end_io+0x190/0x190
[75834.273816] iomap_apply+0xba/0x160
[75834.275765] ? iomap_dio_bio_end_io+0x190/0x190
[75834.277348] iomap_readpages+0xaa/0x1e0
[75834.279000] ? iomap_dio_bio_end_io+0x190/0x190
[75834.280679] read_pages+0x6d/0x1d0
[75834.282123] ? __do_page_cache_readahead+0x16c/0x1d0
[75834.283745] __do_page_cache_readahead+0x16c/0x1d0
[75834.285347] filemap_fault+0x298/0x8a0
[75834.286755] ? kmem_cache_free+0x180/0x1b0
[75834.288988] __xfs_filemap_fault+0x72/0x200 [xfs]
[75834.290618] __do_fault+0x33/0x110
[75834.291988] do_fault+0x12e/0x490
[75834.293451] __handle_mm_fault+0x613/0x690
[75834.295491] handle_mm_fault+0xc4/0x200
[75834.296884] __do_page_fault+0x240/0x4c0
[75834.298539] do_page_fault+0x31/0x130
[75834.300068] ? async_page_fault+0x8/0x30
[75834.301720] async_page_fault+0x1e/0x30
[75834.303468] memory: usage 12582792kB, limit 12582912kB, failcnt 317157
[75834.305486] memory+swap: usage 12582792kB, limit 9007199254740988kB, failcnt 0
[75834.308073] kmem: usage 0kB, limit 9007199254740988kB, failcnt 0
[75834.310515] Memory cgroup stats for /kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a: cache:
0KB rss:0KB rss_huge:0KB shmem:0KB mapped_file:0KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB acti
ve_anon:0KB inactive_file:0KB active_file:0KB unevictable:0KB
[75834.317024] Memory cgroup stats for /kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a/5feef66
2206c588f4751444e30c4257c1dfe6f62bec8d5c20bec457186b70fe7: cache:0KB rss:0KB rss_huge:0KB shmem:0KB mapped
_file:0KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB active_anon:0KB inactive_file:0KB active_file
:0KB unevictable:0KB
[75834.324632] Memory cgroup stats for /kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a/4e74f07
4587671f5e770d3f8071c630a70ede73ee423d59a6dd49149c3a6c734: cache:17524KB rss:12562956KB rss_huge:6912000KBshmem:0KB mapped_file:1188KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB active_anon:12562956KB in
active_file:16140KB active_file:12KB unevictable:0KB
第一段，因系统内存不足，kodo进程触发了oom-killer
[75834.243209] kodo invoked oom-killer: gfp_mask=0x600040(GFP_NOFS), order=0, oom_score_adj=968
[75834.245657] CPU: 0 PID: 23476 Comm: kodo Kdump: loaded Tainted: G OE 4.19.90-2305.1.0.019
9.78.uel20.x86_64 #1
第二段，栈堆是系统遇到了内存不足的问题，内核执行了oom进行回收内存的一个详细说明
[75834.250623] Call Trace:
[75834.252090] dump_stack+0x66/0x8b
[75834.253680] dump_header+0x4a/0x1ec
[75834.255234] oom_kill_process+0x24f/0x270
[75834.257018] out_of_memory+0x141/0x570
[75834.259117] mem_cgroup_out_of_memory+0xb5/0xd0
[75834.260763] try_charge+0x723/0x770
[75834.262496] ? mem_cgroup_commit_charge+0x7f/0x4e0
[75834.264713] mem_cgroup_try_charge+0x86/0x180
[75834.266306] __add_to_page_cache_locked+0x60/0x290
[75834.268318] add_to_page_cache_lru+0x4a/0xf0
[75834.270041] iomap_readpages_actor+0x129/0x2a0
[75834.271760] ? iomap_dio_bio_end_io+0x190/0x190
[75834.273816] iomap_apply+0xba/0x160
[75834.275765] ? iomap_dio_bio_end_io+0x190/0x190
[75834.277348] iomap_readpages+0xaa/0x1e0
[75834.279000] ? iomap_dio_bio_end_io+0x190/0x190
[75834.280679] read_pages+0x6d/0x1d0
[75834.282123] ? __do_page_cache_readahead+0x16c/0x1d0
[75834.283745] __do_page_cache_readahead+0x16c/0x1d0
[75834.285347] filemap_fault+0x298/0x8a0
[75834.286755] ? kmem_cache_free+0x180/0x1b0
[75834.288988] __xfs_filemap_fault+0x72/0x200 [xfs]
[75834.290618] __do_fault+0x33/0x110
[75834.291988] do_fault+0x12e/0x490
[75834.293451] __handle_mm_fault+0x613/0x690
[75834.295491] handle_mm_fault+0xc4/0x200
[75834.296884] __do_page_fault+0x240/0x4c0
[75834.298539] do_page_fault+0x31/0x130
[75834.300068] ? async_page_fault+0x8/0x30
[75834.301720] async_page_fault+0x1e/0x30
第三段意思，内存限制为12G，当前内存使用了12G，由于内存不足有30万次分配失败
内存：
usage 12582792kB: 当前内存使用量为 12,582,792 KB。
limit 12582912kB: 内存限制为12,582,912 KB。
failcnt 317157: 表示由于内存不足，发生了 317,157 次分配失败。交换内存：
usage 12582792kB: 当前内存加交换空间的使用量。
limit 9007199254740988kB:交换空间的限制非常大，接近无限制。
failcnt 0: 目前没有因交换空间不足而导致的失败。内核内存：
usage 0kB: 内核内存使用为 0 KB。
limit 9007199254740988kB: 内核内存限制非常大。
failcnt 0: 内核内存分配没有失败。
[75834.303468] memory: usage 12582792kB, limit 12582912kB, failcnt 317157
[75834.305486] memory+swap: usage 12582792kB, limit 9007199254740988kB, failcnt 0
[75834.308073] kmem: usage 0kB, limit 9007199254740988kB, failcnt 0
[75834.310515] Memory cgroup stats for /kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a: cache:
0KB rss:0KB rss_huge:0KB shmem:0KB mapped_file:0KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB acti
ve_anon:0KB inactive_file:0KB active_file:0KB unevictable:0KB
[75834.317024] Memory cgroup stats for /kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a/5feef66
2206c588f4751444e30c4257c1dfe6f62bec8d5c20bec457186b70fe7: cache:0KB rss:0KB rss_huge:0KB shmem:0KB mapped
_file:0KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB active_anon:0KB inactive_file:0KB active_file
:0KB unevictable:0KB
[75834.324632] Memory cgroup stats for /kubepods/burstable/podd5e7b3e0-de6a-4965-91c6-7cd399c77b7a/4e74f07
4587671f5e770d3f8071c630a70ede73ee423d59a6dd49149c3a6c734: cache:17524KB rss:12562956KB rss_huge:6912000KBshmem:0KB mapped_file:1188KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB active_anon:12562956KB in
active_file:16140KB active_file:12KB unevictable:0KB
总结
1、因k8s的每个pod内存最大使用限制为12G，而pod中的内存使用量已经超过了12G。
2、从上述日志可以表明，由于k8s容器pod内存限制导致分配不足，触发内核oom，而kodo为最优考虑而被杀掉，来保证业务正常运行。
hung_panic内容分析
截取日志如下：
[85988.571261] INFO: task kodo:2939695 blocked for more than 1200 seconds.
[85988.573951] Tainted: G OE 4.19.90-2305.1.0.0199.78.uel20.x86_64 #1
[85988.576253] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[85988.578441] kodo D 0 2939695 2939616 0x00000080
[85988.580330] Call Trace:
[85988.581734] ? __schedule+0x286/0x740
[85988.583394] schedule+0x29/0xc0
[85988.584843] schedule_preempt_disabled+0xa/0x10
[85988.586632] __mutex_lock.isra.7+0x20b/0x470
[85988.588191] ? fuse_lock_inode+0x27/0x30 [fuse]
[85988.589818] fuse_lock_inode+0x27/0x30 [fuse]
[85988.591278] fuse_lookup+0x46/0x140 [fuse]
[85988.592731] ? d_alloc_parallel+0x95/0x4d0
[85988.594174] __lookup_slow+0x97/0x150
[85988.595469] lookup_slow+0x35/0x50
[85988.596873] walk_component+0x1c4/0x340
[85988.598236] ? fuse_permission+0x30/0x150 [fuse]
[85988.599717] link_path_walk.part.33+0x2a6/0x510
[85988.601101] ? path_init+0x192/0x320
[85988.602401] path_lookupat+0x95/0x210
[85988.603898] filename_lookup+0xb6/0x190
[85988.605247] ? audit_alloc_name+0x7e/0xd0
[85988.606482] ? path_get+0x11/0x30
[85988.607660] ? __audit_getname+0x9f/0xb0
[85988.609270] ? getname_flags+0xb9/0x1e0
[85988.610547] ? vfs_statx+0x73/0xe0
[85988.611757] vfs_statx+0x73/0xe0
[85988.612875] __do_sys_newfstatat+0x31/0x70
[85988.615046] ? syscall_trace_enter+0x1df/0x2e0
[85988.616437] ? __audit_syscall_exit+0x238/0x2c0
[85988.617825] do_syscall_64+0x5f/0x240
[85988.619091] entry_SYSCALL_64_after_hwframe+0x5c/0xc1
[85988.620778] Kernel panic - not syncing: hung_task: blocked tasks
[85988.622425] CPU: 15 PID: 175 Comm: khungtaskd Kdump: loaded Tainted: G OE 4.19.90-2305.1.
0.0199.78.uel20.x86_64 #1
[85988.625743] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 1.11.0-2.el7 04/01/2014
[85988.627659] Call Trace:
[85988.628806] dump_stack+0x66/0x8b
[85988.630119] panic+0x106/0x2b6
[85988.631539] watchdog+0x270/0x400
[85988.632777] ? hungtask_pm_notify+0x40/0x40
[85988.634134] kthread+0x113/0x130
[85988.635459] ? kthread_create_worker_on_cpu+0x70/0x70
[85988.636981] ret_from_fork+0x35/0x40
第一段：
是kodo:2939695进程由于长时间处于阻塞状态而被标记为“挂起任务”并提醒执行："echo 0 > /proc/sys/kernel/hung_task_timeout_secs"可以忽略挂起任务超时提醒（默认超时1200后提醒）
[85988.571261] INFO: task kodo:2939695 blocked for more than 1200 seconds.
[85988.573951] Tainted: G OE 4.19.90-2305.1.0.0199.78.uel20.x86_64 #1
[85988.576253] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[85988.578441] kodo D 0 2939695 2939616 0x00000080
第二段:
触发了内核panic
[85988.620778] Kernel panic - not syncing: hung_task: blocked tasks
[85988.622425] CPU: 15 PID: 175 Comm: khungtaskd Kdump: loaded Tainted: G OE 4.19.90-2305.1.
0.0199.78.uel20.x86_64 #1
第三段：
详细解释触发panic的栈堆
[85988.627659] Call Trace:
[85988.628806] dump_stack+0x66/0x8b
[85988.630119] panic+0x106/0x2b6
[85988.631539] watchdog+0x270/0x400
[85988.632777] ? hungtask_pm_notify+0x40/0x40
[85988.634134] kthread+0x113/0x130
[85988.635459] ? kthread_create_worker_on_cpu+0x70/0x70
[85988.636981] ret_from_fork+0x35/0x40
panic生成vmcore分析
vmcore解开的错误日志：
KERNEL: vmlinux [TAINTED] DUMPFILE: /root/vmcore [PARTIAL DUMP]CPUS: 32DATE: Sat Aug 10 02:05:30 CST 2024UPTIME: 23:53:08
LOAD AVERAGE: 36.80, 28.43, 21.99TASKS: 2151NODENAME: tcs-30-34-22-251RELEASE: 4.19.90-2305.1.0.0199.78.uel20.x86_64VERSION: #1 SMP Wed Feb 28 12:31:25 CST 2024MACHINE: x86_64 (2699 Mhz)MEMORY: 64 GBPANIC: "Kernel panic - not syncing: hung_task: blocked tasks"PID: 175COMMAND: "khungtaskd"TASK: ffff9a2c46e2b000 [THREAD_INFO: ffff9a2c46e2b000]CPU: 15STATE: TASK_RUNNING (PANIC)
说明：
KERNEL: 内核版本，显示为 [TAINTED] 表示有可能有未签名的模块或其他因素导致内核状态不纯净。
DUMPFILE: 崩溃转储文件的位置，显示为 [PARTIAL DUMP] 表示转储可能不完整。
CPUS: 系统有 32 个 CPU。
UPTIME: 系统运行时间为 23 小时 53 分钟。
LOAD AVERAGE: 系统负载情况，显示平均负载较高，1分，10分，15分。
TASKS: 当前运行的任务数量为 2151。
NODENAME: 主机名。
RELEASE: 内核版本号。
VERSION: 内核构建时间和信息。
MACHINE: 机器架构和主频。
MEMORY: 系统内存为 64 GB。
PANIC: 内核 panic 信息，提示因 hung_task（挂起任务）导致系统无法同步。
PID: 崩溃时的进程 ID 为 175。
COMMAND: 崩溃时正在运行的命令是 khungtaskd，这是处理挂起任务的内核线程。
TASK: 崩溃时的线程信息。
CPU: 崩溃时的 CPU 号为 15。
STATE: 任务状态显示为 TASK_RUNNING（运行中）并处于 panic 状态。
panic的内核栈堆：
PID: 175 TASK: ffff9a2c46e2b000 CPU: 15 COMMAND: "khungtaskd"0 [ffff9a303c0b7d18] machine_kexec at ffffffffb6857b0f1 [ffff9a303c0b7d70] __crash_kexec at ffffffffb695b9812 [ffff9a303c0b7e30] panic at ffffffffb68b0c703 [ffff9a303c0b7eb8] watchdog at ffffffffb698f5e04 [ffff9a303c0b7f10] kthread at ffffffffb68d54e35 [ffff9a303c0b7f50] ret_from_fork at ffffffffb7400245
说明：
进程：175 CPU:15 命令：khungtaskd 触发的panic
总结
1、处理kodo进程超时，任务挂起1200秒并打印到日志提醒
2、由于负载过高，kodo又挂起时间过长，内核khungtaskd进程检测到这一情况，并执行了panic
详细回答
从oom到hung日志都在指向kodo进程，所以基本可以判断是由于此进程导致系统负载过高从而触发了panic。
相关文章：
【Linux】分析hung_panic生成的vmcore
简介 1、遇到一个问题： 上述日志是oom_kill，下述日志是hung_panic 2、分别解释两层含义，全部日志如下： [75834.243209] kodo invoked oom-killer: gfp_mask0x600040(GFP_NOFS), order0, oom_score_adj968 [75834.245657] CPU: 0…...
unity 画线写字
效果 1.界面设置 2.涉及两个脚本UIDraw.cs和UIDrawLine.cs UIDraw.cs using System; using System.Collections.Generic; using UnityEngine; using UnityEngine.EventSystems; using UnityEngine.UI;public class UIDraw : MonoBehaviour, IPointerEnterHandler, IPointerEx…...
GitHub的详细介绍
GitHub是一个面向开源及私有软件项目的托管平台，它建立在Git这个分布式版本控制系统之上，为开发者提供了在云端存储、管理和共享代码的便捷方式。以下是对GitHub的详细介绍： ### 一、GitHub的基本功能 1. **代码托管**：GitHub允…...
【鸿蒙学习】HarmonyOS应用开发者基础 - 构建更加丰富的页面之Tabs（三）
学完时间：2024年8月14日 一、前言叨叨 学习HarmonyOS的第六课，人数又成功的降了500名左右，到了3575人了。 本文接上一文章【鸿蒙学习】HarmonyOS应用开发者基础 - 构建更加丰富的页面（一），继续记录构建更…...
Detectron2 安装指南
文章目录 前言Detectron2官方文档官方指南 安装 Detectron2虚拟环境安装 PyTorch安装 Detectron2 总结 前言 Detectron2 是 Meta AI 的一个机器视觉相关的库，建立在 Detectron 和 maskrcnn-benchmark 基础之上，可以进行目标检测、语义分割、全景分割&am…...
亚马逊 Linux mysql5.7 安装纪录
wget https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz cp /home/admin/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz /usr/local/mysql #解压压缩包 tar -zxvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz 重命名mysql-…...
ZLMediaKit编译webrtc
ZLMediaKit官方文档写的挺详细的，但是也不算特别详细。 按照上面的文档，执行到cmake的时候，会提示“srtp 未找到, WebRTC 相关功能打开失败”，但是cmke还是可以继续啊。此时看文档说webrtc比较复杂，默认是不编译的&am…...
KEEPALIVED高可用集群最详解
目录 一、高可用集群 1.1 集群的类型 1.2 实现高可用 1.3 VRRP：Virtual Router Redundancy Protocol 1.3.1 VRRP相关术语 1.5.2 VRRP 相关技术 二、部署KEEPALIVED 2.1 keepalived 简介 2.2 Keepalived 架构 2.3 Keepalived 环境准备 2.3.1 实验环境 2…...
【大模型】llama-factory基础学习
前言：LLaMA-Factory项目的目标是整合主流的各种高效训练微调技术，适配市场主流开源模型，形成一个功能丰富，适配性好的训练框架。 目录 1. 前期准备2. 原始模型直接推理3. 自定义数据集4. 模型训练5. 模型合并并导出 1. 前期准备 …...
【Java】如何使用jdbc连接并操作MySQL，一文读懂不迷路，小白也能轻松学会
JDBC的原理 JDBC（Java Database Connectivity）是Java提供的用于连接和操作数据库的API。它允许Java应用程序与各种数据库进行交互，以下是JDBC的基本原理： 驱动程序管理：JDBC使用不同的数据库驱动程序来连接不同类型的…...
新手学习VR全景需要知道的几个问题
1.什么是720云 720云是一家专注于VR全景内容制作与展示的技术平台，提供从拍摄、编辑到发布的一站式解决方案。它的核心功能包括全景图像的制作和编辑工具，以及VR全景内容的在线展示和分享服务。720云的技术广泛应用于房地产、旅游、教育、文化展示等多个…...
上海知名泌尿外科专家常态化坐诊黄山新晨医院，让前列腺癌看得更早、更准！
继7月28日上海第四人民医院泌尿外科专家在黄山新晨医院开展义诊之后，8月9日和10日，该团队领头人周铁教授又完成了合作以来的首次坐诊，标志着双方合作从此进入常态化阶段。 周铁主任在查看患者的检查报告 周铁主任曾任中华医学会泌尿外科分会…...
Elasticsearch: 非结构化的数据搜索
r很多大数据组件在快速原型时期都是Java实现，后来因为GC不可控、内存或者向量化等等各种各样的问题换到了C，比如zookeeper->nuraft(https://www.yuque.com/treblez/qksu6c/hu1fuu71hgwanq8o?singleDoc# 《olap/clickhouse keeper 一致性协调服务》)&…...
44 个 React 前端面试问题
1.你知道哪些React hooks？ useState：用于管理功能组件中的状态。useEffect：用于在功能组件中执行副作用，例如获取数据或订阅事件。useContext：用于访问功能组件内的 React 上下文的值。useRef：用于创建对跨…...
LLMs之Framework：Hugging Face Accelerate后端框架之FSDP和DeepSpeed的对比与分析
LLMs之Framework：Hugging Face Accelerate后端框架之FSDP和DeepSpeed的对比与分析 导读：该文章阐述了FSDP和DeepSpeed在实现上的差异，Accelerate如何统一它们的行为，并提供指导帮助用户在两种后端之间切换。同时也讨论了低精度优化…...
HarmonyOS应用开发学习-ArkTs声明式UI描述
ArkTs声明式UI描述 1 创建组件 声明式UI描述 ArKTS以声明方式组合和扩展组件来描述应用程序的UI，同时还提供了基本的属性、事件和子组件配置方法，帮助开发者实现应用交互逻辑 创建组件 根据组件构造方法的不同，创建组件包含有参数和无参…...
Redis20-通信协议
目录 RESP协议 概述 数据类型 模拟Redis客户端 RESP协议 概述 Redis是一个CS架构的软件，通信一般分两步（不包括pipeline和PubSub）： 客户端（client）向服务端（server）发送一条命…...
Unity Shader变体优化与故障排除技巧
在 Unity 中编写着色器时，我们可以方便地在一个源文件中包含多个特性、通道和分支逻辑。在构建时，着色器源文件会被编译成着色器程序，这些程序包含一个或多个变体。变体是该着色器在满足一组条件后生成的版本，这通常会导致线性执行…...
数据结构——时间复杂度和空间复杂度
目录 时间复杂度 什么是时间复杂度 常见时间复杂度类型 如何计算时间复杂度 空间复杂度 什么是空间复杂度 常见的空间复杂度类型 如何计算空间复杂度 时间复杂度和空间复杂度是评估算法性能的两个重要指标。 时间复杂度 什么是时间复杂度 时间复杂度描述了算法执行所需…...
(echarts) 饼图设置滚动图例
(echarts) 饼图设置滚动图例 效果： 代码： // 图例 legend: {type: scroll,orient: vertical,right: 10,top: 20,bottom: 20,data: data.legendData},参考：官网-可滚动的图例 https://echarts.apache.org/examples/zh/editor.html?cpie-leg…...
Java spring SSM框架--mybatis
一、介绍 Spring 框架是一个资源整合的框架，可以整合一切可以整合的资源（Spring 自身和第三方），是一个庞大的生态，包含很多子框架：Spring Framework、Spring Boot、Spring Data、Spring Cloud…… 其中Spr…...
Python知识点：如何使用Arduino与Python进行物联网项目
Arduino和Python是物联网(IoT)项目中常用的两种技术。Arduino是一个开源的硬件平台，而Python是一种高级编程语言，它们可以结合使用来创建各种智能设备和系统。以下是使用Arduino和Python进行物联网项目的一般步骤： 确定项目需求： …...
论文复现_从 CONAN 中收集 TPL 数据集
1. 概述 CONAN：Conan是一个用于C项目的开源包管理工具。 它的主要目标是简化C项目的依赖关系管理过程，使开发人员能够更轻松地集成、构建和分享C库。 其中有一些比较独特的功能，例如：版本管理、第三方库管理等。 TPL 数据集&…...
使用Docker将Java项目打包并部署到CentOS服务器的详细教程。
当然，让我们将上述步骤进一步细化，以便更好地理解整个过程。 前提条件 一个Java项目CentOS服务器，并且已安装DockerJava项目可以正常在本地运行具有服务器访问权限 ———————————————————————————————————…...
嘉立创eda布线宽度
https://prodocs.lceda.cn/cn/pcb/route-routing-width/#%E5%B8%83%E7%BA%BF%E5%AE%BD%E5%BA%A6...
硬件面试经典 100 题(31~50 题)
31、多级放大电路的级间耦合方式有哪几种？哪种耦合方式的电路零点偏移最严重？哪种耦合方式可以实现阻抗变换？ 有三种耦合方式：直接耦合、阻容耦合、变压器耦合。直接耦合的电路零点漂移最严重，变压器耦合的电路可以实现…...
5G：下一代无线通信技术的全面解析
随着科技的不断进步，移动通信技术也在飞速发展。从2G到4G，我们见证了无线网络的巨大变革，而现在，5G已经悄然来临。作为下一代无线通信技术，5G不仅将带来更快的速度和更低的延迟，还将开启全新的应用场景和商…...
关于refresh_token
前文介绍过jwt的一般使用场景，用户登录成功后获得jwt，其中包含用户相关信息，主要是在前端要用到的属性（比如姓名、应用角色[这个前端后都用得着]等）、在后端要用到的属性（比如登录IP、终端唯一标识…...
Linux网络：基于OS的网络架构
Linux网络：OS视角下的网络架构 网络分层模型OSI 七层模型TCP/IP 五层模型 协议操作系统与网络网络相关命令ifconfigpingnetstat 本博客将基于操作系统，讲解计算机网络的设计理念，帮助大家理解操作系统与网络之间的关系。 网络分层模型 网络…...
UEC++学习（十六）变量添加中文注释、ui设置中文文本
（一）变量添加中文注释 在C 项目中创建变量，并在蓝图中显示变量的英文名同时附带中文注释，可以使用UPROPERTY 的 ToolTip 元数据属性来实现 UPROPERTY(EditAnywhere, meta (ToolTip "弹夹最大容量"))int32 MagCapacit…...
wordpress安装主题报错/最佳的搜索引擎
一种基于ipmi的对服务器进行自动化重启测试的方法【技术领域】[0001]本发明涉及重启测试技术技术，尤其涉及一种基于IPMI的对服务器进行自动化重启测试的方法。【背景技术】[0002]随着服务器行业的高速发展，在各个领域中越来越多的客户采用计算能力更强的…...
网站建设的软件/seo博客模板
来看看strdup在Glibc 2.20（标准C库）中的实现： 默认参数s不为空指针，这个在我们的数据结构库中是有问题的 改进： 当前版本g编译器不允许析构函数抛异常这么做 打印出来结果：1 3 然后程序崩溃 我们都删除了…...
wordpress 1 s/seo是一种利用搜索引擎的
1、修改忽略文件权限 git config core.filemode false 2、查看配置 git config --list 发现core.filemodefalse表明成功...
利用jsp做网站/外贸高端网站设计公司
创建ISO文件命令： hdiutil makehybrid -o temp.iso foldertoadd 创建temp.iso文件，并把foldertoadd文件夹加入到temp.iso文件。 下面文章转自http://www.1mima.com/mac-os-x下dmg和iso文件之间的转换/ 听说Windows平台下ultraiso可以直接将dmg文件转换为…...
第一成品网站/市场推广渠道有哪些
如何解压.gz的压缩文件 #gzip -d xxx.gztar命令[rootlinux ~]# tar [-cxtzjvfpPN] 文件与目录 ....参数：-c ：建立一个压缩文件的参数指令(create 的意思)；-x ：解开一个压缩文件的参数指令！-t ：查看 tarfile…...
wordpress the7安装教程/中视频自媒体账号注册下载
【击鼓传花】，可能是大家从小到大玩得最多的一个集体游戏了，就是几个人围成一个圈坐在一起，鼓声响起来即开始传花，鼓声一停，花传到了谁的手上就由谁来表演节目。一、游戏意义1、由于“形势所迫”,大家都会放下手中的事…...