Pezzo v0.5-仪表板,缓存,Python客户端等等!
#python #typescript #ai #openai

此版本为Pezzo带来了许多新功能和改进。我们很高兴与您分享它们!

Version 0.5.0 Banner

什么是佩佐?

Pezzo是为开发人员和团队构建的完全开源(Apache 2.0)LLMOPS平台。它旨在简化生成AI的采用,交付,监测,可观察性等。

想了解更多吗? Check Pezzo out on GitHub

什么是新的

ð项目仪表板

我们已向Pezzo控制台添加了一个新屏幕。项目仪表板使您可以快速概述项目的性能。它具有几个有用的功能:

  • 时间范围选择器:从每小时,每日,每周,每月,每年甚至定制的分析时间范围中选择。

  • 重要指标:您现在可以看到请求的数量,成本,平均请求持续时间和成功率。您甚至可以看到它们随着时间的变化。

  • 有用的图表:我们已经启动了两个图表 - 一个图表(以及错误)和平均请求持续时间。将来我们会添加更多图表。

Pezzo Project Dashboard

ð请求缓存

我们已经实施了一种缓存机制。此功能可以帮助您节省多达90%的LLM API成本和时间

一些实际用例:

  • 开发:在开发开发人员期间倾向于经常经历流量。这通常涉及具有相同输入日期的同一集LLM API调用。使用Pezzo,您的整个组织都可以共享相同的缓存,并专注于价值!

  • 生产:如果您正在建立支持Chabot,则有许多重复性的疑问。例如,“您的退货政策是什么?”或“您的开放时间是什么?”

您可以在Request Caching documentation中阅读更多。

我们计划将来添加更多的缓存功能,例如语义缓存

Requests page with cached requests

ðPython客户端

我们很高兴分享Pezzo现在拥有Pezzo客户端!这里有一些有用的链接来帮助您入门:

我们还确保在HE控制台中添加Python复制代码片段,以使您更容易开始。


谢谢你!

我们希望您喜欢这个版本。我们正在为下一个努力工作,该功能将具有许多令人兴奋的功能和改进。