本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
让你从7万张照片里面,找一张猫的照片。
崩溃不?
可就在最近,一位外国小哥就搞出了个神器——只要1行代码,就能轻松搞定这种海底捞针的事儿。
就比如刚说的找“猫片”:
装上神器,终端进入你存照片的文件夹,输入“rclip cat”——
很快,10张跟猫有关的照片就列出来了!
当然,文字显示不直观,加个命令就能在图片查看器中预览:
再来一个抽象的:找跟“love”有关的。
几秒钟后四张人类或动物相拥的照片(以及一张三朵“相拥”的向日葵)就出来了。
是不是挺好使?
看到这,你有可能会说目前已有一些程序可以实现用文字检索图像。
不过,小哥发现它们大多都只能用有限的预设词来搜索——而他这个工具和它们最大的区别就在这了。
下面就试试。
找一只正在打哈欠的狗,你就可以输入“a yawning dog”。
搞定!
再来一个,“woman jumping in the mountains”:
完美!结果都非常准确。
emmm,如果你发现不准,很有可能是你描述有问题。
比如你想找一些肖像,但如果直接输入“portrait”,可能会出来一堆有人有狗有猫的“肖像”:
这肯定不是你想要的,这样描述:a portrait of person,结果就对了:
心动不?
就是CLIP的一个简单接口,你也可以试试
此工具被小哥命名为“rclip”。
看名字你也知道了,这就是用那个能实现图像与文本的精准匹配的CLIP做的。(rclip代表recursion CLIP,也就是递归CLIP)
更确切地说,rclip就是CLIP的一个简单接口。
当你输入查询文本后,它所要做的就是加载模型,提取你所选目录中所有图像的特征向量,将它们存储在数据库(小哥用的SQLite)。
其中,提取操作只进行一次,也就是你第一次检索的时候。
然后它再从你输入的查询文本中提取特征向量,计算它与你的图像特征向量库之间的相似性,最后输出最相似的图像。
下面是安装与使用方法:
首先去GitHub上下载rclip最新的AppImage文件:
对,目前该工具只支持Linux x86_64……
如果你正在使用Linux,下载好之后,执行下面两行就可以使用了:
- $ chmod +x rclip-v1.0.0-x86_64.AppImage
- $ sudo mv rclip-v1.0.0-x86_64.AppImage /usr/local/bin/rclip
安好以后,就可以cd进入你存图片的目录,开始“rclip + ‘关键字’ ”的检索了。
首次使用提取所有图片的特征向量需要花一些时间,这取决于你所存图片的数量还有你的CPU性能。
ps.小哥的72769张照片是在性能较低的英特尔Celeron J3455处理器上跑了一天。
如果你只想要前5张照片并在本地默认的图片查看器上预览,可以用下面的命令:
- $ rclip -nf -t 5 “kitty” | xargs -d ‘\n’ -n 1 xdg-open
最后,在线等一个能在Windows/Mac上实现这个功能的工具,大家有没有!
GitHub:
https://github.com/yurijmikhalevich/rclip
demo视频:
https://www.youtube.com/watch?v=tAJHXOkHidw