Skip to content

Instantly share code, notes, and snippets.

@hewumars
Last active October 23, 2020 09:20
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save hewumars/9420f59daa46ef117997a4dc6d55b09c to your computer and use it in GitHub Desktop.
Save hewumars/9420f59daa46ef117997a4dc6d55b09c to your computer and use it in GitHub Desktop.
索引方法 latency time mean average precision 0.65 false alarm rate
FLAT
IVF_FLAT
IVF_SQ8
IVF_SQ8H
IVF_PQ
RNSG
HNSW
ANNOY

特征点比对问题转换成向量比对问题:维护一张图像和多个向量id之间的映射表。Milvus 可以同时查询 nq 条向量,并一次性返回 nq 条向量的 topk 个最近邻向量.对结果进行统计分类到各自的局部特征集合中,哪个图像与查询向量匹配条数最多的作为最终的匹配图片

局部特征检索方法实验对比

类别外观差异大

FLAT

IVF_SQ8,1024维 每秒1亿查询

0.3536单尺度匹配也还挺准

一张局部图计算在全图中的区域,找出"64x局部图占全图比例"个关键点特征,与N张全图的全部Nx64关键点求相似度,得到局部图每一个关键点特征与底库全部关键点特征的相似度,如果局部图片的所有关键点都与库中同一张图片的关键点最相似或者topk,那么就匹配到这张图了。如果能局部关键点能够一张一张底库的每张图的64个关键点比对,返回与每一张的64个关键点的相似度,求topk,而topk关键点所在区域刚好与局部图片的区域IOU最大,即可认定这张图。

Global:63.4%,Local_windows:42.2%

特征类型 Top1检测数量 Top1检出率% mAP% 正确率% 虚警数 虚警率%
ZHP_IP全局 358 97.28 93.88 97.28 17028 12.57
ZHP局部P4 232 63.04 56.05 63.04
DELG全局 294 79.89 62.98 79.34 11204 8.27
DELG局部P4+maxpool 198 53.8 33.85 53.8
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment