剪贴画:图像背景去除剂
#python #machinelearning #githubhack23

我建造的

对于这次黑客马拉松,我构建了一个轻量级的图像删除剂,可以将其安装为PWA。它是一套媒体编辑迷你应用程序的一部分。

类别提交:

电话友好:为移动设施构建的项目(PWA准备就绪,iOS/Android)

应用链接

ClipCraft Studio

ClipCraft - Clip, Create, Share

剪掉照片的有趣部分并删除背景

favicon Clipcraft.Studio

屏幕截图

App Store

Clipper Mini App

Image upload

Clipped Image

描述

这个应用程序是一种方便的工具,专注于简化媒体编辑的各个方面。凭借其U2NET驱动的背景删除功能,用户可以从图像中删除背景,从而使其更具用力和视觉吸引力。该应用程序的后端是使用Python烧瓶构建的,可确保光滑可靠的用户体验。

除了背景删除功能外,该应用还提供了多个迷你应用程序,以增强您的媒体编辑功能。很快,您可以期望添加一个照片过滤器迷你应用程序,这将使您可以在图像中添加创意过滤器。此外,该应用程序将介绍一个照片转储视频创建者,使您能够将照片编译到引人入胜的视频中。管道中的另一个令人兴奋的功能是PodClip Mini应用程序,该应用程序利用OpenAI Whisper模型来生成转录并从播客音频剪辑中创建简短的视频。最后,该应用程序将包含一个方便的夹板迷你应用程序,该应用程序通过使用QR码来简化跨设备共享的媒体共享。

链接到源代码

Backend
Frontend

允许许可证

什么

背景(是什么让您决定构建这个特定的应用程序?是什么启发了您?)

当我开始研究和玩耍的AI工具时,这一切始于。当我深入研究人工智能世界时,我发现了不同类型的模型及其各种用例的难以置信的潜力和多功能性。特别引起我注意的一个领域是媒体编辑。我偶然发现了一些有趣的模型,这些模型可以执行无缝删除背景的任务。可能性似乎无穷无尽,我受到启发,可以构建一个可以利用这种力量并使媒体编辑更容易访问和用户友好的应用程序。这就是想法的形成。

我是如何构建它的(您是如何利用GitHub Action或Github代码?

在为我的项目使用GitHub操作和GitHub代码时,我发现它们是简化开发和部署过程的宝贵工具。通过GitHub动作,我能够毫不费力地创建一个多架构的容器构建,从而确保在不同环境之间兼容。此外,GitHub的动作还促进了将容器平稳地推向Github容器注册表(GHCR),从而使其容易访问以进行部署。说到部署,我再次依靠github操作将容器部署到我的服务器上。这些功能强大的功能提供了有效且自动化的工作流程,从而节省了我的时间和精力。

在整个旅程中,我学到了很多。一个值得注意的方面是使用用于显着对象检测的U2NET模型,特别是用于背景删除。探索该模型的功能并了解其性能的能力令人着迷。此外,我还采用了一种新的技能来利用OnxRuntime,这使我可以轻松地在不同环境中部署U2NET模型。但是,这并非没有挑战。在部署模型时,我遇到了许多障碍,经验使我有一个宝贵的教训,讲述了部署AI模型所涉及的复杂性和潜在的陷阱。然而,从出口模型到ONNX格式到在Python建立OnxRuntime,这整个过程都非常丰富,并且它加深了我对有效部署模型的理解。最终,我的目的仍然是移动客户端的一切,并且随着技能和知识的获得,我对实现这一目标的乐趣。

其他资源/信息

Onnxruntime
U2-net