虾米没有虾 发表于 2025-5-21 09:45
  
道路千万条,学习第一条!每天迅速GET新知识!
taoyb 发表于 2025-5-21 10:17
  
RAG是个啥产品线,我居然没听过
飞翔的苹果 发表于 2025-5-22 08:01
  
说的是DeepSeek本地RAG应用吗?
SHGuo 发表于 2025-5-22 10:21
  

说的是DeepSeek本地RAG应用吗?
Zephyrღ  发表于 2025-5-22 11:00
  
我记得跟模型相关,deepseek测试是可以正常输出图片的,有的不太行
小小胖吃不胖 发表于 2025-5-22 15:26
  
RAG是个啥产品线,我居然没听过
王老师 发表于 2025-5-22 18:58
  
在RAG(检索增强生成)应用中输出相关图片是可行的,但需要结合多模态处理能力和特定的系统配置。配置步骤
(1) 系统架构调整
多模态模型集成:
使用支持多模态的模型(如GPT-4V、LLaVA、PaliGemma等)作为核心引擎。
配置模型输入输出格式,确保能够处理文本和图像的联合输入,并输出包含图片信息的文本。
图片处理模块:
图片解析:通过OCR技术提取图片中的文字信息,结合图像理解模型(如CLIP、ResNet)提取视觉特征。
图片存储:
云存储方案:将图片上传到云存储服务(如阿里云OSS),生成可访问的URL。
本地文件系统:配置本地HTTP服务器,将图片路径转换为HTTP URL。
图片摘要生成:使用多模态模型(如GPT-4V)为图片生成文本摘要,便于检索和关联。
(2) 检索与生成流程优化
多模态检索:
将文本和图片分别嵌入到共享向量空间(如使用CLIP模型),实现跨模态检索。
检索时同时匹配文本和图片特征,返回相关文档和图片。
生成阶段配置:
在生成模型的提示词中明确要求输出图片信息(如“在回答中包含相关图片”)。
使用支持多模态输出的模型(如GPT-4V)生成包含图片URL或Base64编码的文本。
(3) 前端渲染配置
Markdown渲染:在前端组件中启用Markdown渲染功能,支持解析图片标签(如![图片描述](图片URL))。
HTTP服务配置:
使用FastAPI或Flask挂载静态文件目录,将本地图片路径转换为HTTP URL。
配置Gradio等工具的render_markdown=True参数,支持图片渲染。
王老师 发表于 2025-5-24 09:25
  
Markdown渲染:在前端组件中启用Markdown渲染功能,支持解析图片标签(如![图片描述](图片URL))。
jan 发表于 2025-5-25 08:11
  
路过了学习ai道路千万条,学习第一条!

等我来答:

换一批

发表新帖
热门标签
全部标签>
新版本体验
纪元平台
安全效果
每日一问
高手请过招
社区新周刊
产品连连看
GIF动图学习
功能体验
标准化排查
【 社区to talk】
信服课堂视频
安装部署配置
SDP百科
终端接入
秒懂零信任
平台使用
畅聊IT
答题自测
专家问答
技术笔记
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
排障笔记本
产品预警公告
玩转零信任
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
2023技术争霸赛专题
卧龙计划
华北区拉练
天逸直播
以战代练
技术晨报
技术盲盒
山东区技术晨报
文档捉虫
齐鲁TV
华北区交付直播
每周精选
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
西北区每日一问
升级&主动服务
高频问题集锦
POC测试案例
全能先锋系列
云化安全能力
专家说
热门活动
产品动态
行业实践
产品解析
关键解决方案

本版版主

8
6
2

发帖

粉丝

关注

2
5
0

发帖

粉丝

关注

0
1
0

发帖

粉丝

关注

36
12
1

发帖

粉丝

关注

1
0
0

发帖

粉丝

关注

本版达人