Skip to content

Instantly share code, notes, and snippets.

@odoucet

odoucet/other infos

Created April 5, 2015 18:40
Show Gist options
  • Save odoucet/6d18e4a91ad1fe90d181 to your computer and use it in GitHub Desktop.
Save odoucet/6d18e4a91ad1fe90d181 to your computer and use it in GitHub Desktop.
Download ZIP
ZFS stall infos
Raw
other infos
process arc_adapt :
blocked in status D
/proc/(pidof arc_adapt)/stat :
1564 (arc_adapt) D 2 0 0 0 -1 2269248 0 0 0 0 0 24533 0 0 0 -20 1 0 911 0 0 18446744073709551615 0 0 0 0 0 0 0 2147483647 0 18446744072101946508 0 0 17 4 0 0 0 0 0 0 0 0 0 0 0 0 0
(no change to this file after 10s sleep so this process seems to have no activity - cannot run "top" to make sure, it hangs)
Raw
proc_meminfo
MemTotal: 198509172 kB
MemFree: 1385576 kB
Buffers: 444 kB
Cached: 5732 kB
SwapCached: 0 kB
Active: 9648 kB
Inactive: 19044 kB
Active(anon): 9432 kB
Inactive(anon): 18544 kB
Active(file): 216 kB
Inactive(file): 500 kB
Unevictable: 7588 kB
Mlocked: 7588 kB
SwapTotal: 4193276 kB
SwapFree: 4193276 kB
Dirty: 0 kB
Writeback: 0 kB
AnonPages: 30384 kB
Mapped: 4252 kB
Shmem: 1956 kB
Slab: 56572828 kB
SReclaimable: 1334864 kB
SUnreclaim: 55237964 kB
KernelStack: 12432 kB
PageTables: 4996 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 103447860 kB
Committed_AS: 103572 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 1785132 kB
VmallocChunk: 34256425448 kB
HardwareCorrupted: 0 kB
AnonHugePages: 4096 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 189376 kB
DirectMap2M: 6055936 kB
DirectMap1G: 197132288 kB
Raw
proc_slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
lio_r2t_cache 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
lio_ooo_cache 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
lio_dr_cache 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
lio_qr_cache 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
lio_cmd_cache 0 0 1216 3 1 : tunables 24 12 8 : slabdata 0 0 0
t10_alua_tg_pt_gp_mem_cache 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
t10_alua_tg_pt_gp_cache 0 0 248 16 1 : tunables 120 60 8 : slabdata 0 0 0
t10_alua_lu_gp_mem_cache 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
t10_alua_lu_gp_cache 1 23 168 23 1 : tunables 120 60 8 : slabdata 1 1 0
t10_pr_reg_cache 0 0 704 11 2 : tunables 54 27 8 : slabdata 0 0 0
se_ua_cache 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
se_sess_cache 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0
configfs_dir_cache 17 44 88 44 1 : tunables 120 60 8 : slabdata 1 1 0
nfsd_drc 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0
nfsd4_delegations 0 0 368 10 1 : tunables 54 27 8 : slabdata 0 0 0
nfsd4_stateids 0 0 120 32 1 : tunables 120 60 8 : slabdata 0 0 0
nfsd4_files 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
nfsd4_lockowners 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0
nfsd4_openowners 0 0 392 10 1 : tunables 54 27 8 : slabdata 0 0 0
rpc_inode_cache 9 12 640 6 1 : tunables 54 27 8 : slabdata 2 2 0
rpc_buffers 8 8 2048 2 1 : tunables 24 12 8 : slabdata 4 4 0
rpc_tasks 8 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0
nf_conntrack_ffffffff81cf4680 0 0 304 13 1 : tunables 54 27 8 : slabdata 0 0 0
nf_conntrack_expect 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
fib6_nodes 17 118 64 59 1 : tunables 120 60 8 : slabdata 2 2 0
ip6_dst_cache 9 20 384 10 1 : tunables 54 27 8 : slabdata 2 2 0
ip6_mrt_cache 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
RAWv6 51 56 1088 7 2 : tunables 24 12 8 : slabdata 8 8 0
UDPLITEv6 0 0 1088 7 2 : tunables 24 12 8 : slabdata 0 0 0
UDPv6 5 21 1088 7 2 : tunables 24 12 8 : slabdata 3 3 0
tw_sock_TCPv6 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
request_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0
TCPv6 5 8 1920 2 1 : tunables 24 12 8 : slabdata 4 4 0
bio-1 6144 6225 256 15 1 : tunables 120 60 8 : slabdata 415 415 0
dm_mpath_io 6144 6666 16 202 1 : tunables 120 60 8 : slabdata 33 33 0
kvm_async_pf 0 0 144 27 1 : tunables 120 60 8 : slabdata 0 0 0
kvm_vcpu 0 0 16064 1 4 : tunables 8 4 0 : slabdata 0 0 0
kvm_mmu_page_header 0 0 160 24 1 : tunables 120 60 8 : slabdata 0 0 0
pte_list_desc 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
ioat2 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
zil_lwb_cache 0 0 200 19 1 : tunables 120 60 8 : slabdata 0 0 0
arc_buf_t 2409848 3697480 96 40 1 : tunables 120 60 8 : slabdata 92437 92437 0
arc_buf_hdr_t_l2only 7443808 7443960 96 40 1 : tunables 120 60 8 : slabdata 186099 186099 0
arc_buf_hdr_t_full 5913290 6201600 320 12 1 : tunables 54 27 8 : slabdata 516800 516800 0
dmu_buf_impl_t 19631835 19730646 304 13 1 : tunables 54 27 8 : slabdata 1517742 1517742 0
dnode_t 17226472 17226477 864 9 2 : tunables 54 27 8 : slabdata 1914053 1914053 0
sa_cache 16073373 16073392 104 37 1 : tunables 120 60 8 : slabdata 434416 434416 0
lz4_cache 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0
zio_data_buf_16384 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0
zio_buf_16384 664224 664224 16384 1 4 : tunables 8 4 0 : slabdata 664224 664224 0
zio_data_buf_14336 0 0 14336 1 4 : tunables 8 4 0 : slabdata 0 0 0
zio_buf_14336 22 22 14336 1 4 : tunables 8 4 0 : slabdata 22 22 0
zio_data_buf_12288 0 0 12288 1 4 : tunables 8 4 0 : slabdata 0 0 0
zio_buf_12288 47 47 12288 1 4 : tunables 8 4 0 : slabdata 47 47 0
zio_data_buf_10240 0 0 10240 1 4 : tunables 8 4 0 : slabdata 0 0 0
zio_buf_10240 20 20 10240 1 4 : tunables 8 4 0 : slabdata 20 20 0
zio_data_buf_8192 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0
zio_buf_8192 23 23 8192 1 2 : tunables 8 4 0 : slabdata 23 23 0
zio_data_buf_7168 0 0 7168 1 2 : tunables 8 4 0 : slabdata 0 0 0
zio_buf_7168 23 23 7168 1 2 : tunables 8 4 0 : slabdata 23 23 0
zio_data_buf_6144 0 0 6144 1 2 : tunables 8 4 0 : slabdata 0 0 0
zio_buf_6144 55 55 6144 1 2 : tunables 8 4 0 : slabdata 55 55 0
zio_data_buf_5120 0 0 5120 1 2 : tunables 8 4 0 : slabdata 0 0 0
zio_buf_5120 99 99 5120 1 2 : tunables 8 4 0 : slabdata 99 99 0
zio_data_buf_4096 0 0 4096 1 1 : tunables 24 12 8 : slabdata 0 0 0
zio_buf_4096 73 73 4096 1 1 : tunables 24 12 8 : slabdata 73 73 0
zio_data_buf_3584 0 0 3584 1 1 : tunables 24 12 8 : slabdata 0 0 0
zio_buf_3584 132 132 3584 1 1 : tunables 24 12 8 : slabdata 132 132 0
zio_data_buf_3072 0 0 3072 2 2 : tunables 24 12 8 : slabdata 0 0 0
zio_buf_3072 168 208 3072 2 2 : tunables 24 12 8 : slabdata 104 104 0
zio_data_buf_2560 0 0 2560 3 2 : tunables 24 12 8 : slabdata 0 0 0
zio_buf_2560 186 249 2560 3 2 : tunables 24 12 8 : slabdata 83 83 0
zio_data_buf_2048 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0
zio_buf_2048 621 654 2048 2 1 : tunables 24 12 8 : slabdata 327 327 0
zio_data_buf_1536 0 0 1536 5 2 : tunables 24 12 8 : slabdata 0 0 0
zio_buf_1536 834 925 1536 5 2 : tunables 24 12 8 : slabdata 185 185 0
zio_data_buf_1024 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0
zio_buf_1024 2222 2456 1024 4 1 : tunables 54 27 8 : slabdata 614 614 0
zio_data_buf_512 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0
zio_buf_512 17255556 17255568 512 8 1 : tunables 54 27 8 : slabdata 2156946 2156946 0
zio_link_cache 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
zio_cache 49 147 1096 7 2 : tunables 24 12 8 : slabdata 21 21 0
range_seg_cache 36406 37819 64 59 1 : tunables 120 60 8 : slabdata 641 641 0
ext4_groupinfo_4k 207 224 136 28 1 : tunables 120 60 8 : slabdata 8 8 0
ext4_inode_cache 1221 1272 968 4 1 : tunables 54 27 8 : slabdata 318 318 0
ext4_xattr 0 0 88 44 1 : tunables 120 60 8 : slabdata 0 0 0
ext4_free_data 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
ext4_allocation_context 0 0 136 28 1 : tunables 120 60 8 : slabdata 0 0 0
ext4_prealloc_space 13 111 104 37 1 : tunables 120 60 8 : slabdata 3 3 0
ext4_system_zone 0 0 40 92 1 : tunables 120 60 8 : slabdata 0 0 0
ext4_io_end 5 59 64 59 1 : tunables 120 60 8 : slabdata 1 1 0
ext4_extent_status 199 1012 40 92 1 : tunables 120 60 8 : slabdata 11 11 0
jbd2_transaction_s 1 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0
jbd2_inode 55 308 48 77 1 : tunables 120 60 8 : slabdata 4 4 0
jbd2_journal_handle 6 92 40 92 1 : tunables 120 60 8 : slabdata 1 1 0
jbd2_journal_head 6 34 112 34 1 : tunables 120 60 8 : slabdata 1 1 0
jbd2_revoke_table_s 2 202 16 202 1 : tunables 120 60 8 : slabdata 1 1 0
jbd2_revoke_record_s 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
sd_ext_cdb 2 112 32 112 1 : tunables 120 60 8 : slabdata 1 1 0
scsi_sense_cache 360 390 128 30 1 : tunables 120 60 8 : slabdata 13 13 0
scsi_cmd_cache 269 285 256 15 1 : tunables 120 60 8 : slabdata 19 19 0
kcopyd_job 0 0 3312 2 2 : tunables 24 12 8 : slabdata 0 0 0
io 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
dm_uevent 0 0 2608 3 2 : tunables 24 12 8 : slabdata 0 0 0
dm_rq_target_io 6144 6183 416 9 1 : tunables 54 27 8 : slabdata 687 687 0
dm_io 0 0 40 92 1 : tunables 120 60 8 : slabdata 0 0 0
zcache_obj 0 0 88 44 1 : tunables 120 60 8 : slabdata 0 0 0
zcache_objnode 0 0 528 7 1 : tunables 54 27 8 : slabdata 0 0 0
flow_cache 0 0 104 37 1 : tunables 120 60 8 : slabdata 0 0 0
uhci_urb_priv 0 0 56 67 1 : tunables 120 60 8 : slabdata 0 0 0
btree_node 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
cfq_io_cq 0 0 120 32 1 : tunables 120 60 8 : slabdata 0 0 0
cfq_queue 0 0 232 17 1 : tunables 120 60 8 : slabdata 0 0 0
bsg_cmd 0 0 312 12 1 : tunables 54 27 8 : slabdata 0 0 0
mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 8 : slabdata 1 1 0
isofs_inode_cache 0 0 624 6 1 : tunables 54 27 8 : slabdata 0 0 0
hugetlbfs_inode_cache 1 13 592 13 2 : tunables 54 27 8 : slabdata 1 1 0
dquot 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
kioctx 48 56 448 8 1 : tunables 54 27 8 : slabdata 7 7 0
kiocb 40 40 192 20 1 : tunables 120 60 8 : slabdata 2 2 0
fanotify_response_event 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
fsnotify_mark 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0
inotify_event_private_data 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
inotify_inode_mark 116 416 120 32 1 : tunables 120 60 8 : slabdata 13 13 0
dnotify_mark 1 32 120 32 1 : tunables 120 60 8 : slabdata 1 1 0
dnotify_struct 1 112 32 112 1 : tunables 120 60 8 : slabdata 1 1 0
dio 24 24 640 6 1 : tunables 54 27 8 : slabdata 4 4 0
fasync_cache 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
khugepaged_mm_slot 2 92 40 92 1 : tunables 120 60 8 : slabdata 1 1 0
ksm_mm_slot 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
ksm_stable_node 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
ksm_rmap_item 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
pid_namespace 0 0 2176 3 2 : tunables 24 12 8 : slabdata 0 0 0
posix_timers_cache 0 0 248 16 1 : tunables 120 60 8 : slabdata 0 0 0
uid_cache 2 60 128 30 1 : tunables 120 60 8 : slabdata 2 2 0
iommu_devinfo 26 118 64 59 1 : tunables 120 60 8 : slabdata 2 2 0
iommu_domain 26 60 128 30 1 : tunables 120 60 8 : slabdata 2 2 0
iommu_iova 29868 30798 64 59 1 : tunables 120 60 8 : slabdata 522 522 132
UNIX 25 90 832 9 2 : tunables 54 27 8 : slabdata 10 10 0
ip_mrt_cache 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
UDP-Lite 0 0 896 4 1 : tunables 54 27 8 : slabdata 0 0 0
tcp_bind_bucket 6 118 64 59 1 : tunables 120 60 8 : slabdata 2 2 0
inet_peer_cache 1 20 192 20 1 : tunables 120 60 8 : slabdata 1 1 0
secpath_cache 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
xfrm_dst_cache 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0
ip_fib_trie 19 134 56 67 1 : tunables 120 60 8 : slabdata 2 2 0
ip_fib_alias 20 154 48 77 1 : tunables 120 60 8 : slabdata 2 2 0
ip_dst_cache 75 100 192 20 1 : tunables 120 60 8 : slabdata 5 5 0
PING 0 0 832 9 2 : tunables 54 27 8 : slabdata 0 0 0
RAW 96 108 832 9 2 : tunables 54 27 8 : slabdata 12 12 0
UDP 5 16 896 4 1 : tunables 54 27 8 : slabdata 4 4 0
tw_sock_TCP 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0
request_sock_TCP 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
TCP 8 16 1728 4 2 : tunables 24 12 8 : slabdata 4 4 0
eventpoll_pwq 5 53 72 53 1 : tunables 120 60 8 : slabdata 1 1 0
eventpoll_epi 5 30 128 30 1 : tunables 120 60 8 : slabdata 1 1 0
sgpool-128 2 2 4096 1 1 : tunables 24 12 8 : slabdata 2 2 0
sgpool-64 2 4 2048 2 1 : tunables 24 12 8 : slabdata 2 2 0
sgpool-32 19 20 1024 4 1 : tunables 54 27 8 : slabdata 5 5 0
sgpool-16 116 120 512 8 1 : tunables 54 27 8 : slabdata 15 15 27
sgpool-8 269 285 256 15 1 : tunables 120 60 8 : slabdata 19 19 44
scsi_data_buffer 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0
blkdev_integrity 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0
blkdev_queue 171 177 2080 3 2 : tunables 24 12 8 : slabdata 59 59 0
blkdev_requests 771 920 376 10 1 : tunables 54 27 8 : slabdata 92 92 11
blkdev_ioc 262 962 104 37 1 : tunables 120 60 8 : slabdata 26 26 0
fsnotify_event_holder 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0
fsnotify_event 1 34 112 34 1 : tunables 120 60 8 : slabdata 1 1 0
bio-0 367 400 192 20 1 : tunables 120 60 8 : slabdata 20 20 0
biovec-256 6150 6150 4096 1 1 : tunables 24 12 8 : slabdata 6150 6150 0
biovec-128 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0
biovec-64 92 92 1024 4 1 : tunables 54 27 8 : slabdata 23 23 0
biovec-16 233 255 256 15 1 : tunables 120 60 8 : slabdata 17 17 60
bio_integrity_payload 2 40 192 20 1 : tunables 120 60 8 : slabdata 2 2 0
sock_inode_cache 217 270 640 6 1 : tunables 54 27 8 : slabdata 45 45 0
skbuff_fclone_cache 21 21 512 7 1 : tunables 54 27 8 : slabdata 3 3 0
skbuff_head_cache 68 75 256 15 1 : tunables 120 60 8 : slabdata 5 5 0
file_lock_cache 5 40 192 20 1 : tunables 120 60 8 : slabdata 2 2 0
net_namespace 0 0 4224 1 2 : tunables 8 4 0 : slabdata 0 0 0
shmem_inode_cache 2519 2694 664 6 1 : tunables 54 27 8 : slabdata 449 449 0
ftrace_event_file 985 1003 64 59 1 : tunables 120 60 8 : slabdata 17 17 0
ftrace_event_field 2309 2387 48 77 1 : tunables 120 60 8 : slabdata 31 31 0
pool_workqueue 34 60 256 15 1 : tunables 120 60 8 : slabdata 4 4 0
Acpi-Operand 1090 1643 72 53 1 : tunables 120 60 8 : slabdata 31 31 0
Acpi-ParseExt 0 0 72 53 1 : tunables 120 60 8 : slabdata 0 0 0
Acpi-Parse 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
Acpi-State 0 0 80 48 1 : tunables 120 60 8 : slabdata 0 0 0
Acpi-Namespace 854 920 40 92 1 : tunables 120 60 8 : slabdata 10 10 0
task_delay_info 1567 2584 112 34 1 : tunables 120 60 8 : slabdata 76 76 0
taskstats 0 0 328 12 1 : tunables 54 27 8 : slabdata 0 0 0
proc_inode_cache 2266 2688 640 6 1 : tunables 54 27 8 : slabdata 448 448 0
sigqueue 41 48 160 24 1 : tunables 120 60 8 : slabdata 2 2 0
bdev_cache 127 184 832 4 1 : tunables 54 27 8 : slabdata 46 46 0
sysfs_dir_cache 74595 74902 112 34 1 : tunables 120 60 8 : slabdata 2203 2203 0
mnt_cache 180 225 256 15 1 : tunables 120 60 8 : slabdata 15 15 0
filp 1457 3585 256 15 1 : tunables 120 60 8 : slabdata 239 239 180
inode_cache 9418 10871 576 7 1 : tunables 54 27 8 : slabdata 1553 1553 0
dentry 6613049 6613860 192 20 1 : tunables 120 60 8 : slabdata 330693 330693 0
names_cache 18 18 4096 1 1 : tunables 24 12 8 : slabdata 18 18 0
iint_cache 0 0 72 53 1 : tunables 120 60 8 : slabdata 0 0 0
key_jar 17 80 192 20 1 : tunables 120 60 8 : slabdata 4 4 0
buffer_head 152 1332 104 37 1 : tunables 120 60 8 : slabdata 36 36 0
nsproxy 1 77 48 77 1 : tunables 120 60 8 : slabdata 1 1 0
vm_area_struct 4228 5712 184 21 1 : tunables 120 60 8 : slabdata 272 272 0
mm_struct 117 215 1472 5 2 : tunables 24 12 8 : slabdata 43 43 0
fs_cache 662 1239 64 59 1 : tunables 120 60 8 : slabdata 21 21 0
files_cache 149 240 640 6 1 : tunables 54 27 8 : slabdata 40 40 0
signal_cache 1531 1827 1088 7 2 : tunables 24 12 8 : slabdata 261 261 0
sighand_cache 1529 1626 2112 3 2 : tunables 24 12 8 : slabdata 542 542 0
task_xstate 1565 2097 832 9 2 : tunables 54 27 8 : slabdata 233 233 0
task_struct 1564 1672 2784 2 2 : tunables 24 12 8 : slabdata 836 836 0
cred_jar 1731 3500 192 20 1 : tunables 120 60 8 : slabdata 175 175 0
anon_vma_chain 3606 7788 64 59 1 : tunables 120 60 8 : slabdata 132 132 1
anon_vma 2191 4690 56 67 1 : tunables 120 60 8 : slabdata 70 70 0
pid 1530 2580 128 30 1 : tunables 120 60 8 : slabdata 86 86 0
shared_policy_node 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
numa_policy 47 60 264 15 1 : tunables 54 27 8 : slabdata 4 4 0
radix_tree_node 715 1246 560 7 1 : tunables 54 27 8 : slabdata 178 178 3
idr_layer_cache 365 423 2112 3 2 : tunables 24 12 8 : slabdata 141 141 0
dma-kmalloc-4194304 0 0 4194304 1 1024 : tunables 1 1 0 : slabdata 0 0 0
dma-kmalloc-2097152 0 0 2097152 1 512 : tunables 1 1 0 : slabdata 0 0 0
dma-kmalloc-1048576 0 0 1048576 1 256 : tunables 1 1 0 : slabdata 0 0 0
dma-kmalloc-524288 0 0 524288 1 128 : tunables 1 1 0 : slabdata 0 0 0
dma-kmalloc-262144 0 0 262144 1 64 : tunables 1 1 0 : slabdata 0 0 0
dma-kmalloc-131072 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0
dma-kmalloc-65536 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0
dma-kmalloc-32768 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0
dma-kmalloc-16384 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0
dma-kmalloc-8192 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0
dma-kmalloc-4096 0 0 4096 1 1 : tunables 24 12 8 : slabdata 0 0 0
dma-kmalloc-2048 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0
dma-kmalloc-1024 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0
dma-kmalloc-512 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0
dma-kmalloc-256 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
dma-kmalloc-128 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
dma-kmalloc-64 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
dma-kmalloc-32 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
dma-kmalloc-192 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0
dma-kmalloc-96 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
kmalloc-4194304 0 0 4194304 1 1024 : tunables 1 1 0 : slabdata 0 0 0
kmalloc-2097152 0 0 2097152 1 512 : tunables 1 1 0 : slabdata 0 0 0
kmalloc-1048576 0 0 1048576 1 256 : tunables 1 1 0 : slabdata 0 0 0
kmalloc-524288 0 0 524288 1 128 : tunables 1 1 0 : slabdata 0 0 0
kmalloc-262144 0 0 262144 1 64 : tunables 1 1 0 : slabdata 0 0 0
kmalloc-131072 1 1 131072 1 32 : tunables 8 4 0 : slabdata 1 1 0
kmalloc-65536 154 154 65536 1 16 : tunables 8 4 0 : slabdata 154 154 0
kmalloc-32768 181 181 32768 1 8 : tunables 8 4 0 : slabdata 181 181 0
kmalloc-16384 80 80 16384 1 4 : tunables 8 4 0 : slabdata 80 80 0
kmalloc-8192 551036 551036 8192 1 2 : tunables 8 4 0 : slabdata 551036 551036 0
kmalloc-4096 1778 1778 4096 1 1 : tunables 24 12 8 : slabdata 1778 1778 0
kmalloc-2048 805423 856980 2048 2 1 : tunables 24 12 8 : slabdata 428490 428490 0
kmalloc-1024 78355 78496 1024 4 1 : tunables 54 27 8 : slabdata 19624 19624 0
kmalloc-512 132577 133192 512 8 1 : tunables 54 27 8 : slabdata 16649 16649 0
kmalloc-256 105374 117645 256 15 1 : tunables 120 60 8 : slabdata 7843 7843 0
kmalloc-192 228641 310500 192 20 1 : tunables 120 60 8 : slabdata 15525 15525 0
kmalloc-96 2989471 4378620 128 30 1 : tunables 120 60 8 : slabdata 145954 145954 0
kmalloc-64 21766048 21766870 64 59 1 : tunables 120 60 8 : slabdata 368930 368930 0
kmalloc-128 6119620 6228390 128 30 1 : tunables 120 60 8 : slabdata 207613 207613 0
kmalloc-32 9117968 9119152 32 112 1 : tunables 120 60 8 : slabdata 81421 81421 0
kmem_cache 259 264 576 6 1 : tunables 54 27 8 : slabdata 44 44 0
Raw
proc_spl_kstat_zfs_arcstats
5 1 0x01 89 4272 9111578227 7734513942624
name type data
hits 4 106270676
misses 4 33602749
demand_data_hits 4 10282332
demand_data_misses 4 18467847
demand_metadata_hits 4 67065322
demand_metadata_misses 4 2780549
prefetch_data_hits 4 43933
prefetch_data_misses 4 11695832
prefetch_metadata_hits 4 28879089
prefetch_metadata_misses 4 658521
mru_hits 4 27271446
mru_ghost_hits 4 302603
mfu_hits 4 50076208
mfu_ghost_hits 4 8957
deleted 4 26483529
mutex_miss 4 987
evict_skip 4 2716
evict_not_enough 4 77
evict_l2_cached 4 238394917888
evict_l2_eligible 4 1526192495616
evict_l2_ineligible 4 183310635008
evict_l2_skip 4 0
hash_elements 4 13356735
hash_elements_max 4 13552060
hash_collisions 4 8395626
hash_chains 4 2041982
hash_chain_max 4 7
p 4 107976133632
c 4 161061273600
c_min 4 161061273600
c_max 4 161061273600
size 4 161322560592
hdr_size 4 2123598208
data_size 4 120377564672
meta_size 4 10908241408
other_size 4 26363640848
anon_size 4 16384
anon_evict_data 4 0
anon_evict_metadata 4 0
mru_size 4 83546054144
mru_evict_data 4 75138041344
mru_evict_metadata 4 934916096
mru_ghost_size 4 77891767296
mru_ghost_evict_data 4 54062390272
mru_ghost_evict_metadata 4 23829377024
mfu_size 4 47739735552
mfu_evict_data 4 45238976512
mfu_evict_metadata 4 61488640
mfu_ghost_size 4 83314415616
mfu_ghost_evict_data 4 80904192000
mfu_ghost_evict_metadata 4 2410223616
l2_hits 4 17160
l2_misses 4 33585547
l2_feeds 4 20300
l2_rw_clash 4 17
l2_read_bytes 4 115238400
l2_write_bytes 4 191498120704
l2_writes_sent 4 20182
l2_writes_done 4 20182
l2_writes_error 4 0
l2_writes_lock_retry 4 61
l2_evict_lock_retry 4 0
l2_evict_reading 4 0
l2_evict_l1cached 4 0
l2_free_on_write 4 17818
l2_cdata_free_on_write 4 0
l2_abort_lowmem 4 183
l2_cksum_bad 4 0
l2_io_error 4 0
l2_size 4 243702000640
l2_asize 4 191498111488
l2_hdr_size 4 1549515456
l2_compress_successes 4 1419347
l2_compress_zeros 4 0
l2_compress_failures 4 2843971
memory_throttle_count 4 0
duplicate_buffers 4 0
duplicate_buffers_size 4 0
duplicate_reads 4 0
memory_direct_count 4 284326
memory_indirect_count 4 139151
arc_no_grow 4 0
arc_tempreserve 4 0
arc_loaned_bytes 4 0
arc_prune 4 0
arc_meta_used 4 40944995920
arc_meta_limit 4 120795955200
arc_meta_max 4 41362015392
arc_meta_min 4 0
@odoucet
Copy link
Author

odoucet commented Apr 5, 2015

Reminder : my benchmark is a simple

find /vol -type f -print0 |xargs -0 -n 20 -P16 cat > /dev/null

and this gist is what I get after encountering a stall on my system (3mn stalls).

All "cat" processes above are in D state.

@odoucet
Copy link
Author

odoucet commented Apr 5, 2015

and "top" is very interesting : (as it stalls, this is the last state I got)

top - 00:40:54 up  3:47,  3 users,  load average: 10.02, 8.04, 8.01
Tasks: 1447 total,   3 running, 1442 sleeping,   0 stopped,   2 zombie
Cpu(s):  0.0%us,  8.3%sy,  0.0%ni, 91.6%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  198509172k total, 188056396k used, 10452776k free,      420k buffers
Swap:  4193276k total,        0k used,  4193276k free,     6024k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1588 root       0 -20     0    0    0 R 99.9  0.0  13:57.23 l2arc_feed
18054 root      20   0  109m 1020  524 R 99.9  0.0  18:32.25 find
   58 root      20   0     0    0    0 S  0.3  0.0   0:54.95 rcu_sched
 6869 root      20   0 16152 2196  708 R  0.2  0.0   1:28.58 top
  265 root      20   0     0    0    0 S  0.1  0.0   0:01.31 kworker/13:1
 1048 root       0 -20     0    0    0 S  0.1  0.0   2:35.03 kworker/0:1H
 2739 root      20   0     0    0    0 S  0.1  0.0   0:01.22 kworker/10:4
19885 root      20   0     0    0    0 S  0.1  0.0   0:00.42 kworker/u96:2
    1 root      20   0 19284 1028  760 S  0.0  0.0   0:01.96 init
    2 root      20   0     0    0    0 S  0.0  0.0   0:00.04 kthreadd
    3 root      20   0     0    0    0 S  0.0  0.0   1:30.70 ksoftirqd/0
    5 root       0 -20     0    0    0 S  0.0  0.0   0:00.00 kworker/0:0H
    8 root      RT   0     0    0    0 S  0.0  0.0   0:00.86 migration/0
    9 root      20   0     0    0    0 S  0.0  0.0   0:00.00 rcu_bh
   10 root      20   0     0    0    0 S  0.0  0.0   0:00.00 rcuob/0
   11 root      20   0     0    0    0 S  0.0  0.0   0:00.00 rcuob/1
   12 root      20   0     0    0    0 S  0.0  0.0   0:00.00 rcuob/2
   13 root      20   0     0    0    0 S  0.0  0.0   0:00.00 rcuob/3
   14 root      20   0     0    0    0 S  0.0  0.0   0:00.00 rcuob/4

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment