当前位置：首页 > news >正文

Dify中的weaviate向量数据库操作

news 来源：原创 2024/9/20 0:31:59

一.安装weaviate客户端

1.Dify 0.6.9中weaviate信息

在Dify 0.6.9版本中weaviate容器信息如下：

# The Weaviate vector store.
weaviate:image: semitechnologies/weaviate:1.19.0restart: alwaysvolumes:# Mount the Weaviate data directory to the container.- ./volumes/weaviate:/var/lib/weaviateenvironment:# The Weaviate configurations# You can refer to the [Weaviate](https://weaviate.io/developers/weaviate/config-refs/env-vars) documentation for more information.QUERY_DEFAULTS_LIMIT: 25AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'false'PERSISTENCE_DATA_PATH: '/var/lib/weaviate'DEFAULT_VECTORIZER_MODULE: 'none'CLUSTER_HOSTNAME: 'node1'AUTHENTICATION_APIKEY_ENABLED: 'true'AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'WVF5YThaHlkYwhGUSmCRgsX3tD5ngdN8pkih'AUTHENTICATION_APIKEY_USERS: 'hello@dify.ai'AUTHORIZATION_ADMINLIST_ENABLED: 'true'AUTHORIZATION_ADMINLIST_USERS: 'hello@dify.ai'ports:- "8080:8080"- "50051:50051"

2.weaviate客户端版本

使用weaviate客户端版本为weaviate-client~=3.21.0如下：

~= 是一种版本兼容性运算符，表示兼容特定版本的微版本更新。
3.21.0 表示该依赖项的最低版本要求。
具体来说，~=3.21.0 表示兼容任何大于等于 3.21.0 但小于 3.22.0 的版本。也就是说，它会匹配 3.21.x 系列中的所有版本，但不会匹配 3.22.0 或更高版本。

安装命令为pip install weaviate-client~=3.21.0。

二.Dify测试知识库

1.创建知识库和上传文档

在Dify中创建测试知识库：

然后上传测试文档：

使用自定义分段规则，得到2个段落：

2.datasets数据表

datasets数据表：即知识库。

（1）index_struct

{"type": "weaviate", "vector_store": {"class_prefix": "Vector_index_1be106ff_73cc_403e_8981_31800fd0fa1c_Node"}
}

其中，1be106ff_73cc_403e_8981_31800fd0fa1c是datasets表中id，即知识库id。

（2）retrieval_model

{"top_k": 2,"search_method": "semantic_search","reranking_model": {"reranking_model_name": "","reranking_provider_name": ""},"score_threshold": null,"reranking_enable": false,"score_threshold_enabled": false
}

3.documents数据表

documents数据表：即知识库中的每个文档。

（1）dataset_process_rule_id

619efb69-aa7f-4546-ae3a-c59e5eb4a106

对应dataset_process_rules数据表内容为

{"pre_processing_rules": [{"id": "remove_extra_spaces","enabled": true}, {"id": "remove_urls_emails","enabled": true}],"segmentation": {"separator": "\n","max_tokens": 500,"chunk_overlap": 50}
}

（2）doc_form

text_model

4.document_segments数据表

document_segments数据表，即知识库中每个文档的每个分段。

（1）index_node_id

索引节点id如下：

45886682-2adf-4af5-b0cc-4a247682e7fe
aced7553-2cfc-4faf-a9a1-c8cbf3f6f7b3

（2）index_node_hash

索引节点哈希值如下：

5.embeddings数据表

embeddings数据表：即知识库中每个文档的每个分段的嵌入编码。

（1）embedding是什么

0x80059509480000000000005D942847......575481EC68652E

def set_embedding(self, embedding_data: list[float]):self.embedding = pickle.dumps(embedding_data, protocol=pickle.HIGHEST_PROTOCOL)

这行代码使用 Python 的 pickle 模块将 embedding_data 对象序列化为一个字节流，以便于存储或传输。

pickle.dumps(embedding_data): pickle.dumps 函数将 embedding_data 对象转换为一个字节流。这个字节流可以被存储或者传输，然后在需要的时候通过 pickle.loads 函数重新转换（反序列化）为原始对象。
protocol=pickle.HIGHEST_PROTOCOL: protocol 参数是一个可选参数，用于指定序列化和反序列化时使用的协议版本。pickle.HIGHEST_PROTOCOL 表示使用 pickle 模块当前支持的最高协议版本。不同的协议版本在功能和效率上有所不同，使用最高版本的协议通常可以获得最好的性能。

三.weaviate基本操作

1.weaviate连接和操作

首先连接weaviate客户端，然后查询指定class_name的schema和data_object。

import weaviateWEAVIATE_URL = "http://127.0.0.1:8080"
WEAVIATE_API_KEY = "WVF5YThaHlkYwhGUSmCRgsX3tD5ngdN8pkih"
client = weaviate.Client(url = WEAVIATE_URL,  # 指向weaviate的urlauth_client_secret = weaviate.AuthApiKey(WEAVIATE_API_KEY)  # 使