以图搜图技术栈

先看个案例:

这是什么动画

https://whatanime.ga/

一个用于通过动画截图找出处的搜索引擎。可以找到跟动画截图相似的动画片截图,并找到动画的详细介绍,动漫爱好者找动画出处的好帮手!

作者在遇到 LIRE 的12个小时后就开发出了第一个原型。在设置好 Web 服务器和 Solr 之后,只需要编写几个脚本来将所有代码放在一起。为了分析视频,作者使用 ffmpeg 将每个帧作为 jpg 文件提取,每帧的时间作为文件名。然后利用 LireParallelSolrIndexer 分析所有这些图像并生成一个 XML 文件。在将此 XML 加载到 Solr 。最后,作者写了几行简单的 Javascript 来使用 Solr REST API 用于搜索图像。

Lire 是 java 语言基于 lucene 的框架,支持使用 Solr ,而 Solr 是一个高性能,采用 Java5 开发,基于 Lucene 的全文搜索服务器。Solr 有相关的 NodeJS 库,对于 NodeJS 开发者也是非常友好的。

创建以图搜图引擎的步骤相当简单,基于  opencv 的一些传统图像算法,提取颜色和纹理特征,例如图像的颜色、轮廓、直方图等信息,作为相似性搜索的索引。Lire 还内置了中文分词&模糊搜索功能,比起传统的基于关键词搜索,搜索效果更佳。

除了 Lire ,还有苹果公司的机器学习框架 TuriCreate python 语言,我尝试了下:DIY一个以图搜图引擎1本次训练数据共 3300 张图片,66x66 就可以达到不错的效果,训练时间在 mac 台式机上十几分钟即可。

除了关注技术本身,“ 以图搜图 ” 有这些应用:

电商搜同款;

图片搜索;

安防监控;

药物检索;

盗版检测;

纺织面料;

视频摘要;

艺术创作 ;

对了,Lire 跟 TuriCreate ,直接在 Github 搜索即可找到开源代码。

*

知识星球

包括:

1 看到一些好案例关键技术解决方案,写出文章又不成体系,发星球;

2 我会在知识星球发一些非常机密的研究心得;

3 一些非常有技巧的知识,给付费用户;

4 公众号的迭代版本,针对文章发更为升级、核心的内容。

5 当然,还有资深的专家在星球里。

*

热门文章

谈设计与技术,以WEB布局为例

斜杆青年,这里有适合你的跨界社区

建筑师编程指南之SketchUp插件开发 1

DIY一个Sketch插件,生成猫猫狗狗的全家福

我们利用周末尝试了一次CO-CODING活动

全栈设计+编程的方法论,以“猜对联”小程序为例

*

关于公众号:

本公众号定期更新人工智能&设计&科技内容。

谈点设计,敲点代码,偶尔创作点人工智能实验产品

码字不易,开启新的打赏方式:

(0)

相关推荐