零: 项目说明

是这样的一个事情，经过与deepseek的一番讨论和交流，DeepSeek为我设计了一个30天高强度学习计划，重点聚焦弱监督/无监督语义分割在野外场景的应用，结合理论与实践，并最终导向可落地的开源项目。

主要想法是做基于大模型的弱监督语义分割，主要步骤如下：

  • 自动生成标注：大模型生成图像级标签，边框，涂鸦、点标注等几种弱监督标注类型的标注：
  • 生成伪标签：采用基于类激活图(CAM, Class Activation Mapping)的方法 + CRF后处理，利用分类网络生成伪标签pseudo
  • 训练分割模型：将伪标签作为监督信号，训练U-Net、DeepLabv3+等分割网络。

代码在这里：不断改进中：
https://github.com/Tipriest/30Days-for-segmentation

参考引用

https://blog.csdn.net/xs1997/article/details/145642622

一: 各个视频理解模型和不同方法的标注效果对比

之前主要使用了CLIP+阈值判断，llava13B，llava13B+deepseek的方式进行了一些地形的开放词汇检测，之前也都说过效果不是很好，一起做了一下测试，测试了准确率和召回率以及各个类别的微平均以及总共的宏平均，并且计算了一下对60张图片进行标注所需要的时间，测试效果如下所示:

1.1 CLIP模型+阈值判断

CLIP模型需要2.38s的时间
image.png

1.2 llava:13B VLM模型直接输出结果

llava 主要是像是有一点听不懂话一样,让他不要输出这么多，他还非要输出这么多
image.png

1.3 qwen:7B VLM模型直接输出结果

image.png

1.4 qwen:7B VLM api直接输出结果

image.png

1.5 qwen:70B VLM api直接输出结果

qwen:70B VLM总算是能够达到比较不错的综合效果了
image.png

二. fiftyone可视化数据集处理

image.png

fiftyone这个数据集处理工作还是很好用的

这周其他的可能就还是做了一些代码整理的工作，把一些复用的Python代码库整理成了自己的pip包并且安装，通过上下文管理器写了可以使用with语法的一些程度运行测试时间的函数，欢迎一起交流~