Skip to content

Instantly share code, notes, and snippets.

@pjpjq

pjpjq/gist:5816e600f464751db3f69fb4f83cfdf3

Created December 2, 2019 19:01
Show Gist options
  • Save pjpjq/5816e600f464751db3f69fb4f83cfdf3 to your computer and use it in GitHub Desktop.
Save pjpjq/5816e600f464751db3f69fb4f83cfdf3 to your computer and use it in GitHub Desktop.
Download ZIP
Feature distribution of data train1.zip
Raw
gistfile1.txt
size content_type full_name stem last_suffix \
count 8.516000e+03 8516 8516 8516 8516
unique NaN 37 1561 1479 35
top NaN image/jpeg image001.jpg image001 .jpg
freq NaN 4504 1492 1847 4499
mean 9.182354e+04 NaN NaN NaN NaN
std 6.779628e+05 NaN NaN NaN NaN
min 4.000000e+00 NaN NaN NaN NaN
25% 4.590000e+02 NaN NaN NaN NaN
50% 2.044000e+03 NaN NaN NaN NaN
75% 1.786800e+04 NaN NaN NaN NaN
max 2.776891e+07 NaN NaN NaN NaN
first_suffix has_blacklist_extension .19v2 .3gp \
count 8516 8516 8516.000000 8516.000000
unique 93 2 NaN NaN
top .jpg False NaN NaN
freq 4494 8510 NaN NaN
mean NaN NaN 0.000235 0.000117
std NaN NaN 0.015324 0.010836
min NaN NaN 0.000000 0.000000
25% NaN NaN 0.000000 0.000000
50% NaN NaN 0.000000 0.000000
75% NaN NaN 0.000000 0.000000
max NaN NaN 1.000000 1.000000
.7z .ace .asc .aspx .bell \
count 8516.000000 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN NaN
top NaN NaN NaN NaN NaN
freq NaN NaN NaN NaN NaN
mean 0.000235 0.000352 0.001644 0.000352 0.000117
std 0.015324 0.018767 0.040515 0.018767 0.010836
min 0.000000 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000 1.000000
.bmp .csv .d .do .doc \
count 8516.000000 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN NaN
top NaN NaN NaN NaN NaN
freq NaN NaN NaN NaN NaN
mean 0.000352 0.000587 0.000117 0.000117 0.004462
std 0.018767 0.024225 0.010836 0.010836 0.066654
min 0.000000 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000 1.000000
.docm .docx .gif .h .hall \
count 8516.000000 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN NaN
top NaN NaN NaN NaN NaN
freq NaN NaN NaN NaN NaN
mean 0.000235 0.011155 0.015031 0.000235 0.000117
std 0.015324 0.105035 0.121681 0.015324 0.010836
min 0.000000 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000 1.000000
.htm .html .ics .jar .jpeg \
count 8516.00000 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN NaN
top NaN NaN NaN NaN NaN
freq NaN NaN NaN NaN NaN
mean 0.03922 0.004227 0.016440 0.000705 0.000587
std 0.19413 0.064884 0.127166 0.026536 0.024225
min 0.00000 0.000000 0.000000 0.000000 0.000000
25% 0.00000 0.000000 0.000000 0.000000 0.000000
50% 0.00000 0.000000 0.000000 0.000000 0.000000
75% 0.00000 0.000000 0.000000 0.000000 0.000000
max 1.00000 1.000000 1.000000 1.000000 1.000000
.jpg .kidd .kim .l .m4a \
count 8516.000000 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN NaN
top NaN NaN NaN NaN NaN
freq NaN NaN NaN NaN NaN
mean 0.527830 0.000117 0.000117 0.000117 0.000117
std 0.499254 0.010836 0.010836 0.010836 0.010836
min 0.000000 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000 0.000000
50% 1.000000 0.000000 0.000000 0.000000 0.000000
75% 1.000000 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000 1.000000
.p7m .p7s .pdf .pg2 .png \
count 8516.000000 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN NaN
top NaN NaN NaN NaN NaN
freq NaN NaN NaN NaN NaN
mean 0.001527 0.000235 0.053311 0.000117 0.236966
std 0.039043 0.015324 0.224667 0.010836 0.425246
min 0.000000 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000 1.000000
.pptx .py .r .rar .sen \
count 8516.000000 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN NaN
top NaN NaN NaN NaN NaN
freq NaN NaN NaN NaN NaN
mean 0.003171 0.000235 0.000117 0.000117 0.000117
std 0.056221 0.015324 0.010836 0.010836 0.010836
min 0.000000 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000 1.000000
.svg .t .txt .vcf .wav \
count 8516.000000 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN NaN
top NaN NaN NaN NaN NaN
freq NaN NaN NaN NaN NaN
mean 0.000117 0.000117 0.029474 0.000235 0.000117
std 0.010836 0.010836 0.169141 0.015324 0.010836
min 0.000000 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000 1.000000
.xls .xlsm .xlsx .xml .xsd \
count 8516.000000 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN NaN
top NaN NaN NaN NaN NaN
freq NaN NaN NaN NaN NaN
mean 0.003171 0.000117 0.007280 0.000235 0.000235
std 0.056221 0.010836 0.085019 0.015324 0.015324
min 0.000000 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000 1.000000
.zip strange suffixes acquire_credentials acquire_pii \
count 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN
top NaN NaN NaN NaN
freq NaN NaN NaN NaN
mean 0.013034 0.021489 0.052137 0.003053
std 0.113428 0.145016 0.222317 0.055173
min 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000
annoy_recipient benign build_trust install_malware \
count 8516.000000 8516.000000 8516.000000 8516.000000
unique NaN NaN NaN NaN
top NaN NaN NaN NaN
freq NaN NaN NaN NaN
mean 0.293330 0.300376 0.018671 0.133279
std 0.455315 0.458448 0.135367 0.339895
min 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000
75% 1.000000 1.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000
malicious
count 8516.000000
unique NaN
top NaN
freq NaN
mean 0.699624
std 0.458448
min 0.000000
25% 0.000000
50% 1.000000
75% 1.000000
max 1.000000
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment