此版本为Pezzo带来了许多新功能和改进。我们很高兴与您分享它们!
什么是佩佐?
Pezzo是为开发人员和团队构建的完全开源(Apache 2.0)LLMOPS平台。它旨在简化生成AI的采用,交付,监测,可观察性等。
想了解更多吗? Check Pezzo out on GitHub。
什么是新的
ð项目仪表板
我们已向Pezzo控制台添加了一个新屏幕。项目仪表板使您可以快速概述项目的性能。它具有几个有用的功能:
-
时间范围选择器:从每小时,每日,每周,每月,每年甚至定制的分析时间范围中选择。
-
重要指标:您现在可以看到请求的数量,成本,平均请求持续时间和成功率。您甚至可以看到它们随着时间的变化。
-
有用的图表:我们已经启动了两个图表 - 一个图表(以及错误)和平均请求持续时间。将来我们会添加更多图表。
ð请求缓存
我们已经实施了一种缓存机制。此功能可以帮助您节省多达90%的LLM API成本和时间!
一些实际用例:
-
开发:在开发开发人员期间倾向于经常经历流量。这通常涉及具有相同输入日期的同一集LLM API调用。使用Pezzo,您的整个组织都可以共享相同的缓存,并专注于价值!
-
生产:如果您正在建立支持Chabot,则有许多重复性的疑问。例如,“您的退货政策是什么?”或“您的开放时间是什么?”
您可以在Request Caching documentation中阅读更多。
我们计划将来添加更多的缓存功能,例如语义缓存。
ðPython客户端
我们很高兴分享Pezzo现在拥有Pezzo客户端!这里有一些有用的链接来帮助您入门:
我们还确保在HE控制台中添加Python复制代码片段,以使您更容易开始。
谢谢你!
我们希望您喜欢这个版本。我们正在为下一个努力工作,该功能将具有许多令人兴奋的功能和改进。
- 考虑giving us a star on GitHub支持我们的使命
- ð¾考虑加入我们的Discord server
- ð阅读documentation
- ð Check out our website