长勺 · 发现时光下载长勺

桃桃超开心的时光

氛围编程第二季:离线搜相册是怎么做到的 继续总结反思最近vibecoding的心得。讲一讲新功能的实现。 VinciPhoto2.0的一个新功能是「用一句话搜照片」,而且搜索需要离线完成。今天来讲一讲干货,复盘一下我是怎么实现这个功能的。 原理其实不复杂: 把MobileCLIP的图像编码器和文本编码器打包进App, 照片进来算成一个向量,你输入的文字也算成一个向量, 比谁离得近,就是搜索结果。 这里面其实有三个坑: 🔹一张照片不要算两遍 最开始「相似照片聚类」和「文字搜索」各用一套模型、各存一份向量。这里面有许多大量的重复运算。 2.0把聚类改成直接读搜索索引里的向量—— 同一张照片只算一次,扫描明显更快,也更省电。 🔹别把手机烤热 全库扫描很容易让手机发烫,然后被系统降频,越扫越慢。 现在扫描会读设备的热状态:热了自动放慢,凉了再加速。 🔹中文搜索要单独处理 文本编码器的分词一开始只按英文切,中文几乎搜不出东西。 修好之后,App支持的11种语言都能搜了。 模型全部内置在安装包里,跑在Apple神经网络引擎上。 照片一张都不上传—— 不是因为隐私政策这么写,是因为我根本没有服务器。

公开时光图片
打开互动页面 →返回发现 →