1
 1|# 仪表盘
2
 2|
3
 3|> 原文：[仪表盘](https://docs.dify.ai/zh/use-dify/monitor/analysis)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|> ⚠️ ⚠️ 本文档由 AI 自动翻译。如有任何不准确之处，请参考[英文原版](/en/use-dify/monitor/analysis)。
11
11|
12
12|该仪表盘随时间跟踪四个指标，以展示你的应用程序的表现：
13
13|
14
14|**Total Messages**： 对话量 **Active Users**： 有意义互动的用户（多于一次的交互）**Average User Interactions**： 每次会话的参与深度 **Token Usage**： 资源消耗和成本
15
15|
16
16|使用时间选择器查看不同时间段的趋势。点击 **“Tracing app performance”** 以连接外部可观察性平台，如 Langfuse 或 LangSmith，以获得更深入的分析。
17
17|

1
 1|# 标注系统
2
 2|
3
 3|> 原文：[标注系统](https://docs.dify.ai/zh/use-dify/monitor/annotation-reply)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|> ⚠️ ⚠️ 本文档由 AI 自动翻译。如有任何不准确之处，请参考[英文原版](/en/use-dify/monitor/annotation-reply)。
11
11|
12
12|标注功能让你为特定问题创建精心策划的完美回复库。当用户询问类似问题时，Dify 会返回你预先编写的答案，而不是生成新的响应，确保关键主题的一致性并消除 AI 幻觉。
13
13|
14
14|
15
15|## 何时使用标注 ** 企业标准 ** 为政策问题、产品信息或对一致性要求严格的客户服务场景创建权威答案。
16
16|
17
17|** 快速原型 ** 通过策划高质量响应快速改进演示应用，无需重新训练模型或复杂的提示词工程。
18
18|
19
19|** 质量保证 ** 确保某些敏感或重要问题始终收到你认可的响应，而不是可能变化的 AI 生成内容。
20
20|
21
21|
22
22|## 标注工作原理当启用标注回复时：
23
23|
24
24|
25
25|- 用户提出问题
26
26|- 系统在现有标注中搜索语义匹配
27
27|- 如果找到超过相似度阈值的匹配，返回策划的响应
28
28|- 如果没有匹配，继续正常的 AI 生成
29
29|- 跟踪哪些标注被使用以及使用频率这为已知的优质答案创建了”快速通道”，同时保持 AI 对新问题的灵活性。
30
30|
31
31|
32
32|## 设置标注 ** 在应用配置中启用 ** 导航至 ** 编排 → 添加功能 ** 并启用标注回复。配置用于匹配的相似度阈值和文本嵌入模型。
33
33|
34
34|** 相似度阈值 **： 较高的值需要更接近的匹配。从中等设置开始，根据命中率调整。
35
35|
36
36|** 文本嵌入模型 **： 用于向量化问题进行语义匹配。更改模型会重新生成所有嵌入向量。
37
37|
38
38|
39
39|## 创建标注 ** 从对话中创建 ** 在调试模式或日志中，点击 AI 响应并将其编辑为完美答案。保存为标注以供将来使用。
40
40|
41
41|** 批量导入 ** 下载模板，以指定格式创建问答对，并上传以批量创建标注。
42
42|
43
43|** 手动录入 ** 在日志与标注界面中直接添加标注，包含自定义问题和响应。
44
44|
45
45|
46
46|## 管理标注质量 ** 命中跟踪 ** 监控哪些标注被匹配、使用频率以及匹配的相似度分数。这显示了哪些标注提供了价值。
47
47|
48
48|** 持续改进 ** 回顾命中历史以提高标注覆盖范围和准确性。持续错过你标注的问题表明覆盖范围存在空白。
49
49|
50
50|**A/B 测试 ** 比较实施标注前后的用户满意度，衡量影响。
51
51|
52
52|
53
53|## 标注分析 ** 命中率分析 ** 跟踪哪些标注经常被匹配，哪些从未使用。删除未使用的标注并扩展成功的模式。
54
54|
55
55|** 问题模式 ** 识别常见的用户问题类型，这些类型将受益于标注覆盖。
56
56|
57
57|** 匹配质量 ** 检查相似度分数，确保标注在适当的问题上触发，避免错误匹配。
58
58|
59
59|
60
60|## 最佳实践 ** 小步开始 **： 从最常问的问题或必须准确的关键信息开始。
61
61|
62
62|** 测试阈值 **： 实验相似度阈值，平衡匹配准确性和追踪应该命中标注但没有命中的问题，表明需要调整阈值或存在标注空白。
63
63|
64
64|** 定期更新 **： 标注会随时间过时。根据政策变化或用户反馈审查和更新它们。
65
65|
66
66|标注作为 AI 生成的补充效果最佳，处理已知案例，同时允许 AI 处理新颖问题。
67
67|

1
 1|# 集成阿里云云监控
2
 2|
3
 3|> 原文：[集成阿里云云监控](https://docs.dify.ai/zh/use-dify/monitor/integrations/integrate-aliyun)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|## 什么是阿里云云监控阿里云提供的全托管免运维可观测平台，一键开启 Dify 应用的监控追踪和评估。
11
11|
12
12|
13
13|> 💡 阿里云云监控原生支持 Python/Golang/Java 应用通过[LoongSuite](https://github.com/alibaba/loongsuite-python-agent) 探针 & 开源 OpenTelemetry 探针接入，在一键开启 Dify 大模型应用监控外，还支持通过无侵入探针对 Dify 组件及其上下游依赖的全链路可观测。
14
14|更多详情，请参考[阿里云官方文档](https://help.aliyun.com/zh/cms/cloudmonitor-2-0/user-guide/model-application)。
15
15|
16
16|
17
17|## 如何配置云监控
18
18|### 1. 获取阿里云 Endpoint 和 License Key
19
19|- 登录[ARMS 控制台](https://arms.console.aliyun.com/)，在左侧导航栏单击 ** 接入中心 **。
20
20|
21
21|
22
22|- 在 ** 服务端应用 ** 区域单击 **OpenTelemetry** 卡片。
23
23|
24
24|
25
25|- 在弹出的 **OpenTelemetry** 面板中选择数据上报方式为 **gRPC**，并依据实际部署情况选择连接方式和地域。
26
26|
27
27|
28
28|- 保存 ** 公网接入点（Endpoint）** 和 ** 鉴权 Token（License Key）**。
29
29|
30
30|** 说明 **Endpoint 不带端口号，例如`http://tracing-cn-heyuan.arms.aliyuncs.com`。
31
31|
32
32|
33
33|### 2. 将云监控与 Dify 集成 **📌 前提条件 **Dify Cloud | 社区版本号需 ≥ v1.6.0
34
34|
35
35|
36
36|- 登录 **Dify 控制台 **，并进入需要监控的 Dify 应用。
37
37|
38
38|
39
39|- 在左侧导航栏单击 ** 监测 **。
40
40|
41
41|
42
42|- 单击 ** 追踪应用性能 **，然后在 ** 云监控 ** 区域单击 ** 配置 **。
43
43|
44
44|
45
45|- 在弹出的对话框中输入步骤 1 获取的 **License Key** 和 **Endpoint**，并自定义 **App Name**（ARMS 控制台显示的应用名称），然后单击 ** 保存并启用 **。
46
46|
47
47|
48
48|## 在云监控中查看监控数据配置完成后，Dify 内应用的调试或生产数据可以在 ** 云监控 ** 中进行监控。
49
49|
50
50|
51
51|### 方式一：从 Dify 应用跳转 ARMS 控制台在 Dify 控制台选择已开启应用追踪的应用，进入 ** 追踪配置 **，在 ** 云监控 ** 区域单击 ** 查看 **。
52
52|
53
53|
54
54|### 方式二：直接在 ARMS 控制台查看在 ARMS 控制台的 **LLM 应用监控 > 应用列表 ** 页面进入对应的 Dify 应用。
55
55|
56
56|
57
57|## 接入更多数据云监控提供了多语言无侵入探针，支持接入 Dify 集群的各个组件，实现全链路追踪。
58
58|
59
59|Dify 组件探针详情 NginxOpenTelemetry 探针[使用 OpenTelemetry 对 Nginx 进行链路追踪](https://help.aliyun.com/zh/opentelemetry/user-guide/use-opentelemetry-to-perform-tracing-analysis-on-nginx)ApiLoongSuite-Python 探针[loongsuite-python-agent](https://github.com/alibaba/loongsuite-python-agent/blob/main/README.md)SandboxLoongSuite-Go 探针[loongsuite-go-agent](https://github.com/alibaba/loongsuite-go-agent/blob/main/README.md)WorkerOpenTelemetry 探针[通过 OpenTelemetry 上报 Python 应用数据](https://help.aliyun.com/zh/opentelemetry/user-guide/use-managed-service-for-opentelemetry-to-submit-the-trace-data-of-python-applications)Plugin-DaemonLoongSuite-Go 探针[loongsuite-go-agent](https://github.com/alibaba/loongsuite-go-agent/blob/main/README.md)
60
60|## 监测数据清单云监控支持采集 Dify 的 Workflow/Chatflow/Chat/Agent 应用，采集数据包括工作流和工作流节点的执行明细，涵盖模型调用、工具调用、知识检索和各类流程节点的执行明细数据以及会话和用户信息等元数据
61
61|
62
62|
63
63|### Workflow/Chatflow Trace 信息 **Workflow Trace Info**
64
64|
65
65|
66
66|- workflow_id - Workflow 的唯一标识
67
67|- conversation_id - 对话 ID
68
68|- workflow_run_id - 此次运行的 ID
69
69|- tenant_id - 租户 ID
70
70|- elapsed_time - 此次运行耗时
71
71|- status - 运行状态
72
72|- version - Workflow 版本
73
73|- total_tokens - 此次运行使用的 token 总数
74
74|- file_list - 处理的文件列表
75
75|- triggered_from - 触发此次运行的来源
76
76|- workflow_run_inputs - 此次运行的输入数据
77
77|- workflow_run_outputs - 此次运行的输出数据
78
78|- error - 此次运行中发生的错误
79
79|- query - 运行时使用的查询
80
80|- workflow_app_log_id - Workflow 应用日志 ID
81
81|- message_id - 关联的消息 ID
82
82|- start_time - 运行开始时间
83
83|- end_time - 运行结束时间
84
84|- workflow node executions - workflow 节点运行信息
85
85|- Metadata
86
86|- workflow_id - Workflow 的唯一标识
87
87|- conversation_id - 对话 ID
88
88|- workflow_run_id - 此次运行的 ID
89
89|- tenant_id - 租户 ID
90
90|- elapsed_time - 此次运行耗时
91
91|- status - 运行状态
92
92|- version - Workflow 版本
93
93|- total_tokens - 此次运行使用的 token 总数
94
94|- file_list - 处理的文件列表
95
95|- triggered_from - 触发来源
96
96|### Message Trace 信息 **Message Trace Info**
97
97|
98
98|
99
99|- message_id - 消息 ID

1
 1|# 集成 Arize
2
 2|
3
 3|> 原文：[集成 Arize](https://docs.dify.ai/zh/use-dify/monitor/integrations/integrate-arize)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|### Arize 简介企业级 LLM 可观测性、在线和离线评估、监控和实验平台，基于 OpenTelemetry 构建，专为 LLM 和代理驱动的应用程序设计。
11
11|
12
12|
13
13|> 💡 Arize[官网介绍](https://arize.com)
14
14|
15
15|
16
16|### 配置 Arize 本章节将指引你注册 Arize 并将其集成至 Dify 平台内。
17
17|
18
18|
19
19|#### 1. 注册 / 登录[Arize](https://app.arize.com/auth/join)
20
20|### 2. 获取 Arize API 密钥从右上角的用户菜单中获取 Arize API 密钥。点击 **API Key**，然后点击 API Key 进行复制：
21
21|
22
22|
23
23|### 3. 集成 Arize 与 Dify 在 Dify 应用程序中配置 Arize。打开需要监控的应用程序，在侧边菜单中打开 ** 监控 **，并在页面上选择 ** 追踪应用性能 **。
24
24|
25
25|
26
26|点击配置后，将在 Arize 中创建的 **API Key**,**Space ID** 和 ** 项目名称 ** 粘贴到配置中并保存。
27
27|
28
28|
29
29|成功保存后，你可以在当前页面查看监控状态。
30
30|
31
31|
32
32|## 监控数据列表
33
33|### ** 工作流 / 对话流追踪信息 **** 用于追踪工作流和对话流 **
34
34|
35
35|工作流 Arize 追踪 workflow_app_log_id/workflow_run_ididuser_session_id- 放置在元数据中`workflow_{id}`namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputsModel token consumptionusage_metadatametadatametadataerrorerror[workflow]tagsconversation_id/none for workflowconversation_id in metadata** 工作流追踪信息 **
36
36|
37
37|
38
38|- workflow_id - 工作流唯一标识符
39
39|- conversation_id - 对话 ID
40
40|- workflow_run_id - 当前运行的 ID
41
41|- tenant_id - 租户 ID
42
42|- elapsed_time - 当前运行所用时间
43
43|- status - 运行状态
44
44|- version - 工作流版本
45
45|- total_tokens - 当前运行使用的总令牌数
46
46|- file_list - 处理的文件列表
47
47|- triggered_from - 触发当前运行的来源
48
48|- workflow_run_inputs - 当前运行的输入数据
49
49|- workflow_run_outputs - 当前运行的输出数据
50
50|- error - 当前运行期间遇到的错误
51
51|- query - 运行期间使用的查询
52
52|- workflow_app_log_id - 工作流应用程序日志 ID
53
53|- message_id - 关联的消息 ID
54
54|- start_time - 运行开始时间
55
55|- end_time - 运行结束时间
56
56|- workflow node executions - 工作流节点执行信息
57
57|- 元数据
58
58|- workflow_id - 工作流唯一标识符
59
59|- conversation_id - 对话 ID
60
60|- workflow_run_id - 当前运行的 ID
61
61|- tenant_id - 租户 ID
62
62|- elapsed_time - 当前运行所用时间
63
63|- status - 运行状态
64
64|- version - 工作流版本
65
65|- total_tokens - 当前运行使用的总令牌数
66
66|- file_list - 处理的文件列表
67
67|- triggered_from - 触发当前运行的来源
68
68|#### ** 消息追踪信息 **** 用于追踪 LLM 相关对话 **
69
69|
70
70|聊天 Arize LLMmessage_ididuser_session_id- 放置在元数据中”llm”namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputsModel token consumptionusage_metadatametadatametadata[“message”, conversation_mode]tagsconversation_idconversation_id in metadata** 消息追踪信息 **
71
71|
72
72|
73
73|- message_id - 消息 ID
74
74|- message_data - 消息数据
75
75|- user_session_id - 用户会话 ID
76
76|- conversation_model - 对话模式
77
77|- message_tokens - 消息中的令牌数
78
78|- answer_tokens - 答案中的令牌数
79
79|- total_tokens - 消息和答案中的总令牌数
80
80|- error - 错误信息
81
81|- inputs - 输入数据
82
82|- outputs - 输出数据
83
83|- file_list - 处理的文件列表
84
84|- start_time - 开始时间
85
85|- end_time - 结束时间
86
86|- message_file_data - 与消息关联的文件数据
87
87|- conversation_mode - 对话模式
88
88|- 元数据
89
89|- conversation_id - 对话 ID
90
90|- ls_provider - 模型提供商
91
91|- ls_model_name - 模型 ID
92
92|- status - 消息状态
93
93|- from_end_user_id - 发送用户的 ID
94
94|- from_account_id - 发送账户的 ID
95
95|- agent_based - 消息是否基于代理
96
96|- workflow_run_id - 工作流运行 ID
97
97|- from_source - 消息来源
98
98|#### ** 审核追踪信息 **** 用于追踪对话审核 **
99
99|

1
 1|# 集成 Langfuse
2
 2|
3
 3|> 原文：[集成 Langfuse](https://docs.dify.ai/zh/use-dify/monitor/integrations/integrate-langfuse)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|> ⚠️ ⚠️ 本文档由 AI 自动翻译。如有任何不准确之处，请参考[英文原版](/en/use-dify/monitor/integrations/integrate-langfuse)。
11
11|
12
12|
13
13|### 什么是 LangfuseLangfuse 是一个开源的大型语言模型工程平台，帮助团队协作调试、分析和迭代他们的应用程序。
14
14|
15
15|
16
16|> 💡 介绍 Langfuse:[https://langfuse.com/](https://langfuse.com/)
17
17|
18
18|
19
19|### 如何配置 Langfuse
20
20|- 在[官方网站](https://langfuse.com/) 注册并登录 Langfuse
21
21|- 在 Langfuse 中创建一个项目。登录后，点击主页上的 **New** 来创建你自己的项目。该 ** 项目 ** 将用于与 Dify 中的 ** 应用程序 ** 关联，以进行数据监控。
22
22|
23
23|编辑项目名称。
24
24|
25
25|
26
26|- 创建项目 API 凭据。在项目的左侧栏中，点击 **Settings** 打开设置。
27
27|
28
28|在设置中，点击 **Create API Keys** 来创建项目 API 凭据。
29
29|
30
30|
31
31|复制并保存 **Secret Key**、**Public Key** 和 **Host**。
32
32|
33
33|
34
34|- 在 Dify 中配置 Langfuse。打开你需要监控的应用程序，在侧边菜单中打开 **Monitoring**，并在页面上选择 **Tracing app performance**。
35
35|
36
36|点击配置后，将在 Langfuse 中创建的 **Secret Key, Public Key, Host** 粘贴到配置中并保存。
37
37|
38
38|
39
39|成功保存后，你可以在当前页面查看状态。如果显示为已启动，则正在被监控。
40
40|
41
41|
42
42|### 在 Langfuse 中查看监控数据配置完成后，可以在 Langfuse 中查看 Dify 应用程序的调试或生产数据。
43
43|
44
44|
45
45|### 监控数据列表
46
46|#### 跟踪工作流和对话流的信息 ** 跟踪工作流和对话流 **
47
47|
48
48|WorkflowLangFuse Traceworkflow_app_log_id/workflow_run_ididuser_session_iduser_idnamestart_timestart_timeend_timeend_timeinputsinputoutputsoutputModel token consumptionusagemetadatametadataerrorlevelerrorstatus_message[workflow]tags[“message”, conversation_mode]session_idconversion_idparent_observation_id** 工作流跟踪信息 **
49
49|
50
50|
51
51|- workflow_id - 工作流的唯一 ID
52
52|- conversation_id - 对话 ID
53
53|- workflow_run_id - 此运行时的工作流 ID
54
54|- tenant_id - 租户 ID
55
55|- elapsed_time - 此运行时的经过时间
56
56|- status - 运行时状态
57
57|- version - 工作流版本
58
58|- total_tokens - 此运行时使用的总标记数
59
59|- file_list - 处理文件的列表
60
60|- triggered_from - 触发此运行时的来源
61
61|- workflow_run_inputs - 此工作流的输入
62
62|- workflow_run_outputs - 此工作流的输出
63
63|- error - 错误信息
64
64|- query - 运行时使用的查询
65
65|- workflow_app_log_id - 工作流应用日志 ID
66
66|- message_id - 相关消息 ID
67
67|- start_time - 此运行时的开始时间
68
68|- end_time - 此运行时的结束时间
69
69|- workflow node executions - 工作流节点运行时信息
70
70|- 元数据
71
71|- workflow_id - 工作流的唯一 ID
72
72|- conversation_id - 对话 ID
73
73|- workflow_run_id - 此运行时的工作流 ID
74
74|- tenant_id - 租户 ID
75
75|- elapsed_time - 此运行时的经过时间
76
76|- status - 操作状态
77
77|- version - 工作流版本
78
78|- total_tokens - 此运行时使用的总标记数
79
79|- file_list - 处理文件的列表
80
80|- triggered_from - 触发此运行时的来源
81
81|#### 消息跟踪信息 ** 用于跟踪大型语言模型对话 **
82
82|
83
83|MessageLangFuse Generation/Tracemessage_ididuser_session_iduser_idnamestart_timestart_timeend_timeend_timeinputsinputoutputsoutputModel token consumptionusagemetadatametadataerrorlevelerrorstatus_message[“message”, conversation_mode]tagsconversation_idsession_idconversion_idparent_observation_id** 消息跟踪信息 **
84
84|
85
85|
86
86|- message_id - 消息 ID
87
87|- message_data - 消息数据
88
88|- user_session_id - 用户会话 ID
89
89|- conversation_model - 对话模型
90
90|- message_tokens - 消息标记数
91
91|- answer_tokens - 回答标记数
92
92|- total_tokens - 消息和回答的总标记数
93
93|- error - 错误信息
94
94|- inputs - 输入数据
95
95|- outputs - 输出数据
96
96|- file_list - 处理文件的列表
97
97|- start_time - 开始时间
98
98|- end_time - 结束时间
99
99|- message_file_data - 相关文件数据的消息

1
 1|# 集成 LangSmith
2
 2|
3
 3|> 原文：[集成 LangSmith](https://docs.dify.ai/zh/use-dify/monitor/integrations/integrate-langsmith)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|### LangSmith 简介 LangSmith 是一个用于构建生产级 LLM 应用程序的平台，它用于开发、协作、测试、部署和监控 LLM 应用程序。
11
11|
12
12|
13
13|> 💡 LangSmith[官网介绍](https://www.langchain.com/langsmith)
14
14|
15
15|
16
16|### 配置 LangSmith 本章节将指引你注册 LangSmith 并将其集成至 Dify 平台内。
17
17|
18
18|
19
19|#### 1. 注册 / 登录[LangSmith](https://www.langchain.com/langsmith)
20
20|#### 2. 创建项目在 LangSmith 内创建项目，登录后在主页点击 **New Project** 创建一个自己的项目，** 项目 ** 将用于与 Dify 内的 ** 应用 ** 关联进行数据监测。
21
21|
22
22|
23
23|创建完成之后在 Projects 内可以查看该项目。
24
24|
25
25|
26
26|#### 3. 创建项目凭据创建项目凭据，在左侧边栏内找到项目设置 **Settings**。
27
27|
28
28|
29
29|点击 **Create API Key**，创建一个项目凭据。
30
30|
31
31|
32
32|选择 **Personal Access Token**，用于后续的 API 身份校验。
33
33|
34
34|
35
35|将创建的 API key 复制保存。
36
36|
37
37|
38
38|#### 4. 将 LangSmith 集成至 Dify 平台在 Dify 应用内配置 LangSmith。打开需要监测的应用，在左侧边菜单内打开 ** 监测 **，点击页面内的 ** 配置。**
39
39|
40
40|
41
41|点击配置后，将在 LangSmith 内创建的 **API Key** 和 ** 项目名 ** 粘贴到配置内并保存。
42
42|
43
43|
44
44|> 💡 配置项目名需要与 LangSmith 内设置的项目一致，若项目名不一致，数据同步时 LangSmith 会自动创建一个新的项目。
45
45|
46
46|
47
47|成功保存后可以在当前页面查看监测状态。
48
48|
49
49|
50
50|### 在 LangSmith 内查看监测数据配置完成后， Dify 内应用的调试或生产数据可以在 LangSmith 查看监测数据。
51
51|
52
52|
53
53|### 监测数据清单
54
54|#### Workflow /Chatflow Trace 信息 ** 用于追踪 workflow 以及 chatflow**
55
55|
56
56|WorkflowLangSmith Chainworkflow_app_log_id/workflow_run_ididuser_session_id-放入 metadataworkflow_{id}namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputs 模型 token 消耗相关 usage_metadatametadataextraerrorerror[workflow]tags”conversation_id/workflow 时无”metadata 中的 conversation_idconversion_idparent_run_id**Workflow Trace Info**
57
57|
58
58|
59
59|- workflow_id - Workflow 的唯一标识
60
60|- conversation_id - 对话 ID
61
61|- workflow_run_id - 此次运行的 ID
62
62|- tenant_id - 租户 ID
63
63|- elapsed_time - 此次运行耗时
64
64|- status - 运行状态
65
65|- version - Workflow 版本
66
66|- total_tokens - 此次运行使用的 token 总数
67
67|- file_list - 处理的文件列表
68
68|- triggered_from - 触发此次运行的来源
69
69|- workflow_run_inputs - 此次运行的输入数据
70
70|- workflow_run_outputs - 此次运行的输出数据
71
71|- error - 此次运行中发生的错误
72
72|- query - 运行时使用的查询
73
73|- workflow_app_log_id - Workflow 应用日志 ID
74
74|- message_id - 关联的消息 ID
75
75|- start_time - 运行开始时间
76
76|- end_time - 运行结束时间
77
77|- workflow node executions - workflow 节点运行信息
78
78|- Metadata
79
79|- workflow_id - Workflow 的唯一标识
80
80|- conversation_id - 对话 ID
81
81|- workflow_run_id - 此次运行的 ID
82
82|- tenant_id - 租户 ID
83
83|- elapsed_time - 此次运行耗时
84
84|- status - 运行状态
85
85|- version - Workflow 版本
86
86|- total_tokens - 此次运行使用的 token 总数
87
87|- file_list - 处理的文件列表
88
88|- triggered_from - 触发来源
89
89|#### Message Trace 信息 ** 用于追踪 llm 对话相关 **
90
90|
91
91|ChatLangSmith LLMmessage_ididuser_session_id-放入 metadata”message_{id}“namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputs 模型 token 消耗相关 usage_metadatametadataextraerrorerror[“message”, conversation_mode]tagsconversation_idmetadata 中的 conversation_idconversion_idparent_run_id**Message Trace Info**
92
92|
93
93|
94
94|- message_id - 消息 ID
95
95|- message_data - 消息数据
96
96|- user_session_id - 用户的 session_id
97
97|- conversation_model - 对话模式
98
98|- message_tokens - 消息中的令牌数
99
99|- answer_tokens - 回答中的令牌数

1
 1|# 集成 Opik
2
 2|
3
 3|> 原文：[集成 Opik](https://docs.dify.ai/zh/use-dify/monitor/integrations/integrate-opik)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|## Opik 简介 Opik 是一个开源的 LLM 评估平台，用于评估、测试和监控大型语言模型（LLM）应用。它由 Comet 开发，旨在促进对基于 LLM 的应用程序进行更直观的协作、测试和监控。
11
11|
12
12|
13
13|> 💡 如需了解更多详情，请参考[Opik](https://www.comet.com/site/products/opik/)。
14
14|
15
15|
16
16|## 开始配置 Opik
17
17|### 1. 注册 / 登录[Opik](https://www.comet.com/signup?from=llm)
18
18|### 2. 获取 Opik API 密钥从右上角的用户菜单中获取 Opik API 密钥。点击 **API Key**，然后点击 API Key 进行复制：
19
19|
20
20|
21
21|### 3. 集成 Opik 与 Dify 在 Dify 应用程序中配置 Opik。打开需要监控的应用程序，在侧边菜单中打开 ** 监控 **，并在页面上选择 ** 追踪应用性能 **。
22
22|
23
23|
24
24|点击配置后，将在 Opik 中创建的 **API Key** 和 ** 项目名称 ** 粘贴到配置中并保存。
25
25|
26
26|
27
27|成功保存后，你可以在当前页面查看监控状态。
28
28|
29
29|
30
30|## 查看监控数据配置完成后，你可以照常调试或使用 Dify 应用程序。所有使用历史都可以在 Opik 中监控。
31
31|
32
32|
33
33|当你切换到 Opik 时，可以在仪表板中查看 Dify 应用程序的详细操作日志。
34
34|
35
35|
36
36|通过 Opik 的详细 LLM 操作日志将帮助你优化 Dify 应用程序的性能。
37
37|
38
38|
39
39|## 监控数据列表
40
40|### ** 工作流 / 对话流追踪信息 **** 用于追踪工作流和对话流 **
41
41|
42
42|工作流 Opik 追踪 workflow_app_log_id/workflow_run_ididuser_session_id- 放置在元数据中`workflow_{id}`namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputsModel token consumptionusage_metadatametadatametadataerrorerror[workflow]tagsconversation_id/none for workflowconversation_id in metadata** 工作流追踪信息 **
43
43|
44
44|
45
45|- workflow_id - 工作流唯一标识符
46
46|- conversation_id - 对话 ID
47
47|- workflow_run_id - 当前运行的 ID
48
48|- tenant_id - 租户 ID
49
49|- elapsed_time - 当前运行所用时间
50
50|- status - 运行状态
51
51|- version - 工作流版本
52
52|- total_tokens - 当前运行使用的总令牌数
53
53|- file_list - 处理的文件列表
54
54|- triggered_from - 触发当前运行的来源
55
55|- workflow_run_inputs - 当前运行的输入数据
56
56|- workflow_run_outputs - 当前运行的输出数据
57
57|- error - 当前运行期间遇到的错误
58
58|- query - 运行期间使用的查询
59
59|- workflow_app_log_id - 工作流应用程序日志 ID
60
60|- message_id - 关联的消息 ID
61
61|- start_time - 运行开始时间
62
62|- end_time - 运行结束时间
63
63|- workflow node executions - 工作流节点执行信息
64
64|- 元数据
65
65|- workflow_id - 工作流唯一标识符
66
66|- conversation_id - 对话 ID
67
67|- workflow_run_id - 当前运行的 ID
68
68|- tenant_id - 租户 ID
69
69|- elapsed_time - 当前运行所用时间
70
70|- status - 运行状态
71
71|- version - 工作流版本
72
72|- total_tokens - 当前运行使用的总令牌数
73
73|- file_list - 处理的文件列表
74
74|- triggered_from - 触发当前运行的来源
75
75|#### ** 消息追踪信息 **** 用于追踪 LLM 相关对话 **
76
76|
77
77|聊天 Opik LLMmessage_ididuser_session_id- 放置在元数据中”llm”namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputsModel token consumptionusage_metadatametadatametadata[“message”, conversation_mode]tagsconversation_idconversation_id in metadata** 消息追踪信息 **
78
78|
79
79|
80
80|- message_id - 消息 ID
81
81|- message_data - 消息数据
82
82|- user_session_id - 用户会话 ID
83
83|- conversation_model - 对话模式
84
84|- message_tokens - 消息中的令牌数
85
85|- answer_tokens - 答案中的令牌数
86
86|- total_tokens - 消息和答案中的总令牌数
87
87|- error - 错误信息
88
88|- inputs - 输入数据
89
89|- outputs - 输出数据
90
90|- file_list - 处理的文件列表
91
91|- start_time - 开始时间
92
92|- end_time - 结束时间
93
93|- message_file_data - 与消息关联的文件数据
94
94|- conversation_mode - 对话模式
95
95|- 元数据
96
96|- conversation_id - 对话 ID
97
97|- ls_provider - 模型提供商
98
98|- ls_model_name - 模型 ID
99
99|- status - 消息状态

1
 1|# 集成 Phoenix
2
 2|
3
 3|> 原文：[集成 Phoenix](https://docs.dify.ai/zh/use-dify/monitor/integrations/integrate-phoenix)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|### Phoenix 简介开源且基于 OpenTelemetry 的可观测性、评估、提示工程和实验平台，适用于你的 LLM 工作流程和代理。
11
11|
12
12|
13
13|> 💡 Phoenix[官网介绍](https://phoenix.arize.com)
14
14|
15
15|
16
16|### 配置 Phoenix 本章节将指引你注册 Phoenix 并将其集成至 Dify 平台内。
17
17|
18
18|
19
19|#### 1. 注册 / 登录[Phoenix](https://app.arize.com/auth/phoenix/signup)
20
20|### 2. 获取 Phoenix API 密钥从右上角的用户菜单中获取 Phoenix API 密钥。点击 **API Key**，然后点击 API Key 进行复制：
21
21|
22
22|
23
23|### 3. 集成 Phoenix 与 Dify 在 Dify 应用程序中配置 Phoenix。打开需要监控的应用程序，在侧边菜单中打开 ** 监控 **，并在页面上选择 ** 追踪应用性能 **。
24
24|
25
25|
26
26|点击配置后，将在 Phoenix 中创建的 **API Key** 和 ** 项目名称 ** 粘贴到配置中并保存。
27
27|
28
28|
29
29|成功保存后，你可以在当前页面查看监控状态。
30
30|
31
31|
32
32|### 配置 Phoenix Cloud 本章节将指引你注册 Phoenix Cloud 并将其集成至 Dify 平台内。
33
33|
34
34|
35
35|#### 1. 注册 / 登录[Phoenix Cloud](https://app.arize.com/auth/phoenix/signup)
36
36|### 2. 创建你的 Phoenix 空间你可以在右上角的用户菜单中创建 Phoenix 空间。点击 创建空间，然后为你的空间提供一个唯一的 URL 标识符：
37
37|
38
38|
39
39|保存成功后，你可以在概览页面查看空间的状态。
40
40|
41
41|
42
42|### 3. 创建你的 Phoenix API 密钥启动空间后，你可以在左下角的用户菜单中点击 设置 来创建 Phoenix API 密钥。点击 系统密钥，然后为你的 API 密钥命名：
43
43|
44
44|
45
45|### 4. 集成 Phoenix Cloud 与 Dify 在 Dify 应用程序中配置 Phoenix。打开需要监控的应用程序，在侧边菜单中打开 ** 监控 **，并在页面上选择 ** 追踪应用性能 **。
46
46|
47
47|
48
48|点击配置后，粘贴从 Phoenix Cloud 中获取的 API 密钥、项目名称 和 空间主机名 到配置项中并保存。
49
49|
50
50|
51
51|成功保存后，你可以在当前页面查看监控状态。
52
52|
53
53|
54
54|## 监控数据列表
55
55|### ** 工作流 / 对话流追踪信息 **** 用于追踪工作流和对话流 **
56
56|
57
57|工作流 Phoenix 追踪 workflow_app_log_id/workflow_run_ididuser_session_id- 放置在元数据中`workflow_{id}`namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputsModel token consumptionusage_metadatametadatametadataerrorerror[workflow]tagsconversation_id/none for workflowconversation_id in metadata** 工作流追踪信息 **
58
58|
59
59|
60
60|- workflow_id - 工作流唯一标识符
61
61|- conversation_id - 对话 ID
62
62|- workflow_run_id - 当前运行的 ID
63
63|- tenant_id - 租户 ID
64
64|- elapsed_time - 当前运行所用时间
65
65|- status - 运行状态
66
66|- version - 工作流版本
67
67|- total_tokens - 当前运行使用的总令牌数
68
68|- file_list - 处理的文件列表
69
69|- triggered_from - 触发当前运行的来源
70
70|- workflow_run_inputs - 当前运行的输入数据
71
71|- workflow_run_outputs - 当前运行的输出数据
72
72|- error - 当前运行期间遇到的错误
73
73|- query - 运行期间使用的查询
74
74|- workflow_app_log_id - 工作流应用程序日志 ID
75
75|- message_id - 关联的消息 ID
76
76|- start_time - 运行开始时间
77
77|- end_time - 运行结束时间
78
78|- workflow node executions - 工作流节点执行信息
79
79|- 元数据
80
80|- workflow_id - 工作流唯一标识符
81
81|- conversation_id - 对话 ID
82
82|- workflow_run_id - 当前运行的 ID
83
83|- tenant_id - 租户 ID
84
84|- elapsed_time - 当前运行所用时间
85
85|- status - 运行状态
86
86|- version - 工作流版本
87
87|- total_tokens - 当前运行使用的总令牌数
88
88|- file_list - 处理的文件列表
89
89|- triggered_from - 触发当前运行的来源
90
90|#### ** 消息追踪信息 **** 用于追踪 LLM 相关对话 **
91
91|
92
92|聊天 Phoenix LLMmessage_ididuser_session_id- 放置在元数据中”llm”namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputsModel token consumptionusage_metadatametadatametadata[“message”, conversation_mode]tagsconversation_idconversation_id in metadata** 消息追踪信息 **
93
93|
94
94|
95
95|- message_id - 消息 ID
96
96|- message_data - 消息数据
97
97|- user_session_id - 用户会话 ID
98
98|- conversation_model - 对话模式
99
99|- message_tokens - 消息中的令牌数

1
 1|# 集成 W&B Weave
2
 2|
3
 3|> 原文：[集成 W&B Weave](https://docs.dify.ai/zh/use-dify/monitor/integrations/integrate-weave)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|### 什么是 W&B WeaveWeights & Biases (W&B) Weave 是一个用于跟踪、实验、评估、部署和改进基于 LLM 的应用程序的框架。Weave 专为灵活性和可扩展性而设计，支持 LLM 应用程序开发工作流的每个阶段。
11
11|
12
12|
13
13|> 💡 更多详情，请参考[Weave](https://docs.wandb.ai/weave)。
14
14|
15
15|
16
16|### 如何配置 Weave
17
17|#### 1. 注册 / 登录前往[W&B Weave](https://wandb.ai/signup) 注册 / 登录。创建一个 Weights & Biases (W&B) 账户，并在[此处](https://wandb.ai/authorize) 复制 API 密钥。
18
18|
19
19|
20
20|#### 2. 将 W&B Weave 与 Dify 集成在 Dify 应用程序中配置 Weave。打开需要监控的应用程序，在侧边菜单中打开 ** 监控 **，在页面上选择 ** 跟踪应用性能 **。
21
21|
22
22|
23
23|点击配置后，粘贴 **API 密钥 ** 和 ** 项目名称 **，指定 **W&B 实体 **（可选，默认为你的用户名）到配置中并保存。
24
24|
25
25|
26
26|成功保存后，你可以在当前页面查看监控状态。
27
27|
28
28|
29
29|### 在 Weave 中查看监控数据配置完成后，Dify 内应用的调试或生产数据可以在 Weave 中进行监控。
30
30|
31
31|
32
32|当你切换到 Weave 时，可以在仪表板中查看 Dify 应用程序的详细操作日志。
33
33|
34
34|
35
35|通过 Weave 获取的详细 LLM 操作日志将帮助你优化 Dify 应用程序的性能。
36
36|
37
37|
38
38|### 监控数据列表
39
39|#### ** 工作流 / 对话流追踪信息 **** 用于追踪工作流和对话流 **
40
40|
41
41|工作流 Weave 追踪 workflow_app_log_id/workflow_run_ididuser_session_id 放置在元数据中 workflow_{id}namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputs 模型令牌消耗 usage_metadatametadataextraerrorerrorworkflowtags”conversation_id/none for workflow”元数据中的 conversation_idconversion_idparent_run_id** 工作流追踪信息 **
42
42|
43
43|
44
44|- workflow_id - 工作流的唯一标识符
45
45|- conversation_id - 对话 ID
46
46|- workflow_run_id - 当前运行的 ID
47
47|- tenant_id - 租户 ID
48
48|- elapsed_time - 当前运行所花费的时间
49
49|- status - 运行状态
50
50|- version - 工作流版本
51
51|- total_tokens - 当前运行中使用的总令牌数
52
52|- file_list - 处理的文件列表
53
53|- triggered_from - 触发当前运行的来源
54
54|- workflow_run_inputs - 当前运行的输入数据
55
55|- workflow_run_outputs - 当前运行的输出数据
56
56|- error - 当前运行期间遇到的错误
57
57|- query - 运行期间使用的查询
58
58|- workflow_app_log_id - 工作流应用程序日志 ID
59
59|- message_id - 关联的消息 ID
60
60|- start_time - 运行的开始时间
61
61|- end_time - 运行的结束时间
62
62|- workflow node executions - 工作流节点执行的信息
63
63|- 元数据
64
64|- workflow_id - 工作流的唯一标识符
65
65|- conversation_id - 对话 ID
66
66|- workflow_run_id - 当前运行的 ID
67
67|- tenant_id - 租户 ID
68
68|- elapsed_time - 当前运行所花费的时间
69
69|- status - 运行状态
70
70|- version - 工作流版本
71
71|- total_tokens - 当前运行中使用的总令牌数
72
72|- file_list - 处理的文件列表
73
73|- triggered_from - 触发当前运行的来源
74
74|#### ** 消息追踪信息 **** 用于追踪与 LLM 相关的对话 **
75
75|
76
76|聊天 Weave 追踪 message_ididuser_session_id 放置在元数据中”message_{id}“namestart_timestart_timeend_timeend_timeinputsinputsoutputsoutputs 模型令牌消耗 usage_metadatametadataextraerrorerror”message”, conversation_modetagsconversation_id 元数据中的 conversation_idconversion_idparent_run_id** 消息追踪信息 **
77
77|
78
78|
79
79|- message_id - 消息 ID
80
80|- message_data - 消息数据
81
81|- user_session_id - 用户会话 ID
82
82|- conversation_model - 对话模式
83
83|- message_tokens - 消息中的令牌数
84
84|- answer_tokens - 回答中的令牌数
85
85|- total_tokens - 消息和回答中的总令牌数
86
86|- error - 错误信息
87
87|- inputs - 输入数据
88
88|- outputs - 输出数据
89
89|- file_list - 处理的文件列表
90
90|- start_time - 开始时间
91
91|- end_time - 结束时间
92
92|- message_file_data - 与消息关联的文件数据
93
93|- conversation_mode - 对话模式
94
94|- 元数据
95
95|- conversation_id - 对话 ID
96
96|- ls_provider - 模型提供商
97
97|- ls_model_name - 模型 ID
98
98|- status - 消息状态
99
99|- from_end_user_id - 发送用户的 ID

1
 1|# 日志
2
 2|
3
 3|> 原文：[日志](https://docs.dify.ai/zh/use-dify/monitor/logs)
4
 4|
5
 5|---
6
 6|
7
 7|## Documentation IndexFetch the complete documentation index at:[https://docs.dify.ai/llms.txt](https://docs.dify.ai/llms.txt)
8
 8|
9
 9|
10
10|> ⚠️ ⚠️ 本文档由 AI 自动翻译。如有任何不准确之处，请参考[英文原版](/en/use-dify/monitor/logs)。
11
11|
12
12|对话日志提供对 AI 应用程序每次交互的详细可见性。使用它们来调试特定问题、了解用户行为模式，并收集反馈以实现持续改进。
13
13|
14
14|
15
15|## 记录内容 ** 所有用户交互 ** 通过你的 Web 应用程序或 API 进行的每次对话都会记录完整的输入 / 输出历史、时序数据和系统元数据。
16
16|
17
17|** 用户反馈 ** 点赞 / 点踩评级和用户评论会与它们所引用的对话一起被捕获。
18
18|
19
19|** 系统上下文 ** 使用的模型、标记数消耗、响应时间以及处理过程中的任何错误或警告。
20
20|
21
21|** 排除项 **： 调试会话和提示词测试不包含在日志中。
22
22|
23
23|
24
24|## 使用日志控制台从应用程序的导航菜单访问日志。界面显示：
25
25|
26
26|
27
27|- ** 对话时间线 **： 用户交互的时间顺序列表
28
28|- ** 消息详情 **： 包含 AI 响应的完整对话上下文
29
29|- ** 性能数据 **： 每次交互的响应时间和标记数使用情况
30
30|- ** 用户反馈 **： 来自用户和团队成员的评级和评论
31
31|## 使用日志进行调试 ** 失败的交互 ** 快速识别 AI 提供不佳响应、未能理解用户意图或遇到错误的对话。
32
32|
33
33|** 性能问题 ** 发现影响用户体验的慢响应、高标记数使用或系统错误。
34
34|
35
35|** 用户旅程分析 ** 跟踪个别用户的多次对话，了解使用模式和痛点。
36
36|
37
37|
38
38|## 反馈收集 ** 用户评级 ** 用户可以对 AI 响应提供点赞 / 点踩反馈。跟踪满意度趋势随时间的变化。
39
39|
40
40|** 团队注释 ** 团队成员可以直接在日志界面中添加内部注释和改进后的响应。
41
41|
42
42|** 反馈分析 ** 识别常见投诉模式、成功的交互类型和需要改进的领域。
43
43|
44
44|
45
45|## 数据保留
46
46|> 💡 确保你的应用程序符合当地数据隐私法规。发布隐私政策并在需要时获得用户同意。
47
47|
48
48|
49
49|- **Sandbox**：日志保留 30 天。
50
50|
51
51|
52
52|- **Professional & Team**：在订阅期内，日志无限期保留。
53
53|
54
54|
55
55|- ** 自托管 **：默认无限期保留；可通过环境变量`WORKFLOW_LOG_CLEANUP_ENABLED`、`WORKFLOW_LOG_RETENTION_DAYS`和`WORKFLOW_LOG_CLEANUP_BATCH_SIZE`配置日志保留策略。
56
56|
57
57|
58
58|## 使用日志改进应用程序 ** 模式识别 ** 寻找你的应用程序处理不佳的重复用户问题。这些表明提示词改进或知识库更新的机会。
59
59|
60
60|** 响应质量 ** 使用反馈模式来识别哪些类型的响应效果良好，哪些需要完善。
61
61|
62
62|** 性能优化 ** 跟踪响应时间和标记数使用情况，以识别低效的提示词或模型配置。
63
63|
64
64|** 内容空白 ** 发现你的应用程序持续苦苦挣扎的主题或问题类型，表明知识库扩展的领域。
65
65|
66
66|
67
67|## 隐私考虑日志包含完整的用户对话，可能包含敏感信息。实施适当的访问控制，并确保符合适用的数据保护法规。
68
68|
69
69|对于处理敏感数据的应用程序，考虑配置更短的保留期，或在适当的情况下实施日志匿名化。
70
70|