《向量数据库指南》——AI应用部署落地与权限安全差别
部署落地与权限安全差别
RAG部署有许多系统化优化点
-
RAG分化程度非常高，因为RAG是许多东西的组成，类似大数据生态，里边有非常多的环节，从数据抓取、数据清洗、数据挖掘，然后预处理，再经过模型分析，比如说embedding模型生成向量，然后再做数据的持久化，serving stack，就是怎么能够非常 efficiently 把东西检索出来。
-
然后到检索层面上整个serving链路，从某个 query 的语义识别到解析，可能要路由到不同的业务逻辑上。有的是用向量检索，有的直接通过规则，有的通过大语言模型进行回答。然后最后再加一些guardrails，比如说要检查一下这个是否符合价值观，或者不安全的内容，然后再去作为回答的后处理。
-
各个环节基本上把数据基础软件的环节都涉及到了，还涉及到模型的hosting，machine learning infra stack 里边的东西，包括部署到生产环境之中，要有 continuous evaluation，要有监控 observability ，涉及到的方面会非常多。
-
所以在实际部署的时候，客户有的是自研一部分，然后用一部分开源的组件，有的用第三方的服务商所提供的组件，也有全部交给集成商去做、交给云厂去做的，还有用self service 方式