Skip to content

Instantly share code, notes, and snippets.

@link89

link89/logs.md Secret

Created March 1, 2024 03:03
Show Gist options
  • Save link89/703837d7a43c1c5c655a74b92f2a9cf2 to your computer and use it in GitHub Desktop.
Save link89/703837d7a43c1c5c655a74b92f2a9cf2 to your computer and use it in GitHub Desktop.
HPC memory debug
free -h
              total        used        free      shared  buff/cache   available
Mem:           251G         69G        179G         15M        2.2G        179G
Swap:           15G        1.1G         14G
ps aux --sort=-%mem | head -n 10
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root     42250  0.0  0.1 614712 288892 ?       S     2023   2:56 /usr/libexec/sssd/sssd_be --domain default --uid 0 --gid 0 --logger=files
root     48212  3.4  0.0 6875940 94604 ?       Sl    2023 3313:58 ./InManageDriver.x
root     42262  0.0  0.0  47624  9100 ?        Ss    2023   0:22 /usr/lib/systemd/systemd-journald
root     48199  0.0  0.0 3214232 8824 ?        Ssl   2023  17:21 ./InManageDriver.x
root     44825  0.0  0.0 116684  5152 ?        Ss   10:11   0:00 sshd: root@pts/0
root     48531  0.0  0.0 116684  5144 ?        Ss   10:27   0:00 sshd: root@pts/1
root     40844  0.0  0.0 410420  5124 ?        Ssl  09:57   0:00 /usr/libexec/packagekitd
root     25471  0.0  0.0 234172  4288 ?        S    Feb28   0:00 /usr/sbin/slurmd
postfix  36920  0.0  0.0 104072  4124 ?        S    09:37   0:00 pickup -l -t unix -u
cat /proc/meminfo
MemTotal:       263619172 kB
MemFree:        188263256 kB
MemAvailable:   187723836 kB
Buffers:              52 kB
Cached:            93284 kB
SwapCached:       889736 kB
Active:           362852 kB
Inactive:        1265692 kB
Active(anon):     341244 kB
Inactive(anon):  1209528 kB
Active(file):      21608 kB
Inactive(file):    56164 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:      16777212 kB
SwapFree:       15646184 kB
Dirty:                 8 kB
Writeback:             0 kB
AnonPages:        653304 kB
Mapped:            34320 kB
Shmem:             15560 kB
Slab:            2166436 kB
SReclaimable:     161112 kB
SUnreclaim:      2005324 kB
KernelStack:       18480 kB
PageTables:        13136 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    148586796 kB
Committed_AS:    6978644 kB
VmallocTotal:   34359738367 kB
VmallocUsed:     1012096 kB
VmallocChunk:   34224516092 kB
HardwareCorrupted:     0 kB
AnonHugePages:     26624 kB
CmaTotal:              0 kB
CmaFree:               0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:      320700 kB
DirectMap2M:     7714816 kB
DirectMap1G:    262144000 kB
cat /proc/slabinfo
slabinfo - version: 2.1
# name            <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
isofs_inode_cache    204    204    640   51    8 : tunables    0    0    0 : slabdata      4      4      0
vvp_thread_kmem     4959   4959    568   57    8 : tunables    0    0    0 : slabdata     87     87      0
osc_extent_kmem    26435  29256    176   46    2 : tunables    0    0    0 : slabdata    636    636      0
osc_thread_kmem     2498   2541   2904   11    8 : tunables    0    0    0 : slabdata    231    231      0
osc_lock_kmem       3640   3640    288   56    4 : tunables    0    0    0 : slabdata     65     65      0
lov_session_kmem    4988   4988    560   58    8 : tunables    0    0    0 : slabdata     86     86      0
ll_obd_dev_cache      14     14   4232    7    8 : tunables    0    0    0 : slabdata      2      2      0
nf_conntrack_ffffffffb98fc900   4131   4131    320   51    4 : tunables    0    0    0 : slabdata     81     81      0
rpc_inode_cache       51     51    640   51    8 : tunables    0    0    0 : slabdata      1      1      0
kvm_vcpu               0      0  12992    2    8 : tunables    0    0    0 : slabdata      0      0      0
fat_inode_cache      135    135    720   45    8 : tunables    0    0    0 : slabdata      3      3      0
fat_cache              0      0     40  102    1 : tunables    0    0    0 : slabdata      0      0      0
xfs_dqtrx              0      0    528   62    8 : tunables    0    0    0 : slabdata      0      0      0
xfs_dquot              0      0    488   33    4 : tunables    0    0    0 : slabdata      0      0      0
xfs_ili            23711  34848    168   48    2 : tunables    0    0    0 : slabdata    726    726      0
xfs_inode          14356  19550    960   34    8 : tunables    0    0    0 : slabdata    575    575      0
xfs_efd_item        2691   3003    416   39    4 : tunables    0    0    0 : slabdata     77     77      0
xfs_btree_cur      21333  21333    208   39    2 : tunables    0    0    0 : slabdata    547    547      0
xfs_log_ticket     18184  21252    184   44    2 : tunables    0    0    0 : slabdata    483    483      0
bio-2              15169  18870    320   51    4 : tunables    0    0    0 : slabdata    370    370      0
fs_ftes_0000:e3:00.0     35     35    920   35    8 : tunables    0    0    0 : slabdata      1      1      0
fs_fgs_0000:e3:00.0     30     30   1080   30    8 : tunables    0    0    0 : slabdata      1      1      0
mlx_compat_radix_tree_node  28896  29512    584   56    8 : tunables    0    0    0 : slabdata    527    527      0
kcopyd_job             0      0   3312    9    8 : tunables    0    0    0 : slabdata      0      0      0
dm_uevent              0      0   2608   12    8 : tunables    0    0    0 : slabdata      0      0      0
dm_rq_target_io     6240   6240    136   60    2 : tunables    0    0    0 : slabdata    104    104      0
ip6_dst_cache       2448   2448    448   36    4 : tunables    0    0    0 : slabdata     68     68      0
RAWv6               4038   6708   1216   26    8 : tunables    0    0    0 : slabdata    258    258      0
UDPLITEv6              0      0   1216   26    8 : tunables    0    0    0 : slabdata      0      0      0
UDPv6               3146   3146   1216   26    8 : tunables    0    0    0 : slabdata    121    121      0
tw_sock_TCPv6        128    128    256   32    2 : tunables    0    0    0 : slabdata      4      4      0
TCPv6                960    960   2176   15    8 : tunables    0    0    0 : slabdata     64     64      0
cfq_queue           3115   3115    232   35    2 : tunables    0    0    0 : slabdata     89     89      0
bsg_cmd                0      0    312   52    4 : tunables    0    0    0 : slabdata      0      0      0
mqueue_inode_cache     36     36    896   36    8 : tunables    0    0    0 : slabdata      1      1      0
hugetlbfs_inode_cache   3392   3392    608   53    8 : tunables    0    0    0 : slabdata     64     64      0
configfs_dir_cache     46     46     88   46    1 : tunables    0    0    0 : slabdata      1      1      0
dquot                  0      0    256   32    2 : tunables    0    0    0 : slabdata      0      0      0
userfaultfd_ctx_cache      0      0    192   42    2 : tunables    0    0    0 : slabdata      0      0      0
fanotify_event_info  44030  44603     56   73    1 : tunables    0    0    0 : slabdata    611    611      0
pid_namespace          0      0   2200   14    8 : tunables    0    0    0 : slabdata      0      0      0
posix_timers_cache   2178   2178    248   33    2 : tunables    0    0    0 : slabdata     66     66      0
UDP-Lite               0      0   1088   30    8 : tunables    0    0    0 : slabdata      0      0      0
flow_cache          4816   4816    144   56    2 : tunables    0    0    0 : slabdata     86     86      0
xfrm_dst_cache     21228  21784    576   56    8 : tunables    0    0    0 : slabdata    389    389      0
UDP                 3660   3660   1088   30    8 : tunables    0    0    0 : slabdata    122    122      0
tw_sock_TCP         2464   2464    256   32    2 : tunables    0    0    0 : slabdata     77     77      0
TCP                 2001   2032   1984   16    8 : tunables    0    0    0 : slabdata    127    127      0
dax_cache             84     84    768   42    8 : tunables    0    0    0 : slabdata      2      2      0
blkdev_queue          26     26   2424   13    8 : tunables    0    0    0 : slabdata      2      2      0
blkdev_ioc          2496   2496    104   39    1 : tunables    0    0    0 : slabdata     64     64      0
user_namespace      2176   2176    480   34    4 : tunables    0    0    0 : slabdata     64     64      0
dmaengine-unmap-128     30     30   1088   30    8 : tunables    0    0    0 : slabdata      1      1      0
sock_inode_cache   29317  29529    640   51    8 : tunables    0    0    0 : slabdata    579    579      0
fsnotify_mark_connector   7650   7650     24  170    1 : tunables    0    0    0 : slabdata     45     45      0
net_namespace          0      0   5248    6    8 : tunables    0    0    0 : slabdata      0      0      0
shmem_inode_cache   5136   5136    680   48    8 : tunables    0    0    0 : slabdata    107    107      0
Acpi-ParseExt      49560  49560     72   56    1 : tunables    0    0    0 : slabdata    885    885      0
Acpi-State          2346   2346     80   51    1 : tunables    0    0    0 : slabdata     46     46      0
task_delay_info    18905  18972    112   36    1 : tunables    0    0    0 : slabdata    527    527      0
taskstats           4900   4900    328   49    4 : tunables    0    0    0 : slabdata    100    100      0
proc_inode_cache   22051  22491    656   49    8 : tunables    0    0    0 : slabdata    459    459      0
sigqueue            8670   8670    160   51    2 : tunables    0    0    0 : slabdata    170    170      0
bdev_cache           312    312    832   39    8 : tunables    0    0    0 : slabdata      8      8      0
kernfs_node_cache 110092 110092    120   34    1 : tunables    0    0    0 : slabdata   3238   3238      0
mnt_cache          12732  13524    384   42    4 : tunables    0    0    0 : slabdata    322    322      0
inode_cache        66543  66880    592   55    8 : tunables    0    0    0 : slabdata   1216   1216      0
dentry             71630  88662    192   42    2 : tunables    0    0    0 : slabdata   2111   2111      0
iint_cache             0      0    128   32    1 : tunables    0    0    0 : slabdata      0      0      0
selinux_inode_security  84101  84966     40  102    1 : tunables    0    0    0 : slabdata    833    833      0
buffer_head        27339  27768    104   39    1 : tunables    0    0    0 : slabdata    712    712      0
vm_area_struct     21106  22015    216   37    2 : tunables    0    0    0 : slabdata    595    595      0
mm_struct           6582   6820   1600   20    8 : tunables    0    0    0 : slabdata    341    341      0
files_cache        25706  26214    640   51    8 : tunables    0    0    0 : slabdata    514    514      0
signal_cache        6319   6804   1152   28    8 : tunables    0    0    0 : slabdata    243    243      0
sighand_cache       3459   3615   2112   15    8 : tunables    0    0    0 : slabdata    241    241      0
task_xstate         2965   3003   2752   11    8 : tunables    0    0    0 : slabdata    273    273      0
task_struct         2535   2560   4048    8    8 : tunables    0    0    0 : slabdata    320    320      0
anon_vma           14774  16218     80   51    1 : tunables    0    0    0 : slabdata    318    318      0
shared_policy_node   7990   7990     48   85    1 : tunables    0    0    0 : slabdata     94     94      0
numa_policy        11609  12276    264   62    4 : tunables    0    0    0 : slabdata    198    198      0
radix_tree_node    17835  58408    584   56    8 : tunables    0    0    0 : slabdata   1043   1043      0
idr_layer_cache     2310   2310   2112   15    8 : tunables    0    0    0 : slabdata    154    154      0
dma-kmalloc-8192       0      0   8192    4    8 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-4096       0      0   4096    8    8 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-2048       0      0   2048   16    8 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-1024       0      0   1024   32    8 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-512        0      0    512   32    4 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-256        0      0    256   32    2 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-128        0      0    128   32    1 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-64         0      0     64   64    1 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-32         0      0     32  128    1 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-16         0      0     16  256    1 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-8        512    512      8  512    1 : tunables    0    0    0 : slabdata      1      1      0
dma-kmalloc-192        0      0    192   42    2 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-96         0      0     96   42    1 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-8192        2038   2136   8192    4    8 : tunables    0    0    0 : slabdata    534    534      0
kmalloc-4096        2682   2744   4096    8    8 : tunables    0    0    0 : slabdata    343    343      0
kmalloc-2048       12783  13008   2048   16    8 : tunables    0    0    0 : slabdata    813    813      0
kmalloc-1024       19734  35072   1024   32    8 : tunables    0    0    0 : slabdata   1096   1096      0
kmalloc-512        31012  58016    512   32    4 : tunables    0    0    0 : slabdata   1813   1813      0
kmalloc-256        28855  35392    256   32    2 : tunables    0    0    0 : slabdata   1106   1106      0
kmalloc-192        52420  60690    192   42    2 : tunables    0    0    0 : slabdata   1445   1445      0
kmalloc-128        25989  40928    128   32    1 : tunables    0    0    0 : slabdata   1279   1279      0
kmalloc-96        17284219 17298288     96   42    1 : tunables    0    0    0 : slabdata 411864 411864      0
kmalloc-64         91258 155008     64   64    1 : tunables    0    0    0 : slabdata   2422   2422      0
kmalloc-32        148215 155392     32  128    1 : tunables    0    0    0 : slabdata   1214   1214      0
kmalloc-16        110757 115456     16  256    1 : tunables    0    0    0 : slabdata    451    451      0
kmalloc-8         124928 124928      8  512    1 : tunables    0    0    0 : slabdata    244    244      0
kmem_cache_node      943    960     64   64    1 : tunables    0    0    0 : slabdata     15     15      0
kmem_cache           448    448    256   32    2 : tunables    0    0    0 : slabdata     14     14      0
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment