以图搜图技术栈
先看个案例:
这是什么动画
https://whatanime.ga/
一个用于通过动画截图找出处的搜索引擎。可以找到跟动画截图相似的动画片截图,并找到动画的详细介绍,动漫爱好者找动画出处的好帮手!
作者在遇到 LIRE 的12个小时后就开发出了第一个原型。在设置好 Web 服务器和 Solr 之后,只需要编写几个脚本来将所有代码放在一起。为了分析视频,作者使用 ffmpeg 将每个帧作为 jpg 文件提取,每帧的时间作为文件名。然后利用 Lire 的 ParallelSolrIndexer 分析所有这些图像并生成一个 XML 文件。在将此 XML 加载到 Solr 。最后,作者写了几行简单的 Javascript 来使用 Solr REST API 用于搜索图像。
Lire 是 java 语言基于 lucene 的框架,支持使用 Solr ,而 Solr 是一个高性能,采用 Java5 开发,基于 Lucene 的全文搜索服务器。Solr 有相关的 NodeJS 库,对于 NodeJS 开发者也是非常友好的。
创建以图搜图引擎的步骤相当简单,基于 opencv 的一些传统图像算法,提取颜色和纹理特征,例如图像的颜色、轮廓、直方图等信息,作为相似性搜索的索引。Lire 还内置了中文分词&模糊搜索功能,比起传统的基于关键词搜索,搜索效果更佳。
除了 Lire ,还有苹果公司的机器学习框架 TuriCreate ,python 语言,我尝试了下:DIY一个以图搜图引擎1本次训练数据共 3300 张图片,66x66 就可以达到不错的效果,训练时间在 mac 台式机上十几分钟即可。
除了关注技术本身,“ 以图搜图 ” 有这些应用:
电商搜同款;
图片搜索;
安防监控;
药物检索;
盗版检测;
纺织面料;
视频摘要;
艺术创作 ;
对了,Lire 跟 TuriCreate ,直接在 Github 搜索即可找到开源代码。
*
知识星球
包括:
1 看到一些好案例,关键技术解决方案,写出文章又不成体系,发星球;
2 我会在知识星球发一些非常机密的研究心得;
3 一些非常有技巧的知识,给付费用户;
4 公众号的迭代版本,针对文章发更为升级、核心的内容。
5 当然,还有资深的专家在星球里。
*
热门文章
*
关于公众号:
本公众号定期更新人工智能&设计&科技内容。
谈点设计,敲点代码,偶尔创作点人工智能实验产品。
码字不易,开启新的打赏方式: