类别提交:选择自己的冒险
>>> P.S. : Our project is also stands eligible for 𝐆𝐨𝐨𝐠𝐥𝐞 𝐂𝐥𝐨𝐮𝐝 𝐒𝐮𝐩𝐞𝐫𝐬𝐭𝐚𝐫 Category submission since we have extensively used Google Cloud for Deploying Cloud functions along with Summarizer model, & for sentiment analysis using Natural Language API with MongoDB Atlas. But note that our primary submission category is "Choose Your Own Adventure"
我们构建的ðI
binoculearn 是一种出血 - 智能P2P 教育 视频会议web应用程序 旨在提供A 可靠的框架速率&由低延迟支持以及低抖动(平滑且一致)以及高音频质量的支持。我们通过将视频流转换为客户端上的ASCII字符,并使用Twilio’s video conferencing service通过 webrtc 将其发送给它,并由MongoDB Atlas驱动! ð
ð§使用此技术实施视频会议 &尤其是在接收器端上保存带宽双向。此方法是水平可扩展的,因为我们可以在更多用户进入会议时喂食。
功能ð
- P2P滞后视频会议应用程序具有超低带宽支持
- 出血 - 边缘图像压缩算法
- 水平比例尺[目前限制为4,因为Twilio积分]
- Twilio Live转录[存储在Mongodb地图集]
- 通过自然语言API 的情感分析的P2P消息传递
- 生成会议的摘要
- 文件共享(BLOB)通过MongoDB Atlas
- 带有先前活动跟踪器的用户仪表板
- 极简主义UI/UX由ReactJS&Tailwind CSS提供支持的UI/UX
- 高质量的多重音频
- 总体见面情感跟踪器
- mongodb atlas作为非SQL DB
- 保存ð° +互联网数据
- 通过firebase by google 安全o-auth
- 100%符合GDPR和SEO友好的信息!
隐私与安全ð
binoculearn涉及广泛的敏感信息。在错误的手中,这些数据可能会极大地伤害个人。我们采取了特殊的努力和考虑,以确保我们的平台保护所有用户的隐私和敏感信息,使其100%符合GDPR!
!我们还确保所有数据都是通过网络安全发送的。 Binoculearn利用TLS的安全益处来加密。我们还使用base64编码编码了所有数据。理想情况下,在将来的迭代中,我们想使用更安全的方法对所有数据进行加密。
背景ð
与发达国家的互联网一样,无处不在且迅速,发展中国家仍在与可靠的互联网联系中挣扎。 poor internet connectivity exasperate the education inequality between children from prosperous countries and children from developing countries 的影响,因为后者无法通过视频会议从远程学习中受益。 ð
去年,发现数百万学生在印度的奥里萨邦,被困在家里,无法获得互联网或在线教育。我的朋友(队友)Subham Sahu是奥里萨邦人,在他的本科学习期间有第一手经验。
对于那些可以访问互联网的人,价格也很高,带宽也有限。例如,在与印度的父母交谈时,Subham发现他们经常在津贴期之前的1 GB中耗尽了1 GB的用光,此后,带宽被限制了: 停滞的框架,波涛汹涌的音频,痛苦的延迟,最终的断开连接以及随后的重试是正常的发生 ,但可以说仍然比正常电话对话要好得多,因为他可以 '见 他们。
问题的核心可能缺乏在虚拟平台上实施教育的电信基础。
为什么RGB框架很重? | 为什么? |
---|---|
为了解决这个问题,我们提出了一种基于洞察力的新方法,即如果我们愿意放弃对面部和屏幕的现实主义或现实渲染,那么就有一个全新的面部和屏幕表示世界可以通过可接受的经验质量来得出超低带宽的! ð
提出的解决方案可以主要实现为软件不需要基础基础架构!反过来,这将是便宜,并且允许互联网访问目前正在基于其affordability 的人。。
我们的目标是优先考虑可靠的帧速率,较低的延迟和低抖动(平稳且一致)以及高音频质量,以便在线教育的目的更好! <<<< /p>
我们使用该平台的目标是将连接良好的地区的学生与大都市和国外的高素质教师联系起来,以促进具有成本效益的稳定远程协作 。
应用链接ð
binoculearn.ai ðbinoculearn.vercel.app
屏幕截图ð¼
主页[o-auth] | 主页[o-auth之后] |
---|---|
举办会议 | 参加会议 |
---|---|
描述ð
体验A Superfast ,低延迟 p2p videochat,即使在超低带宽网络上也是如此。重新定义沟通差距,Binoculearn是 MIT许可为学生制作的开源项目,由学生&将是 Free Forever ! â
除了节省带宽功能之外,我们还提供了教育和内容修改工具,例如通过Google Cloud的Natural Language API 进行会话CHAT QNA 的情感分析,以及我们在GCP上部署的自定义培训的ML模型,用于<<<<<强>汇总。
这些功能使教育工作者和学生都可以在会议中维持礼节,还具有后续材料来保留有关会议的信息!
链接到源代码ð�ð»
Neilblaze / Binoculearn.AI
的£ð¢ð¥ðµ函³ð°μðµðf.¥函MongoDB Atlas Hackathon'22提交项目
binoculearn.ai
ðð¢ð¢ð€¯ °函µð€�ðμðµð°函 �ð¥
binoculearn 是一个出血 - 智能P2P 教育
安装 /入门< / h2>
有两个文件夹,其中my-app
适用于前端&server
用于后端。
设置DEV [确保.env
带有您自己的凭据]
视频âict
随时查看旧视频here。新的即将到来!
允许的许可
我们如何构建它
首先,它是由ð制成的。整个过程可以分解为以下几点: -
- €react.js,redux + tailwind css在前端
- €express.js,node.js,sockets,webrtc,twilio live in the后端
- €Prisma用于将前端连接到DMONGODB地图集以存储用户数据 +日志
- €外部服务,例如Twilio,GCP自然语言API
- €github作为ci/cd和vercel进行部署
QNA模型体系结构Bert: | 摘要架构 |
---|---|
设计ð
我们受到了双钻石设计过程的修订版的启发,这是British Design Council普及的模型,该模型不仅包括视觉设计,而且还包括一个完整的研究周期,您必须在其中发现。并在解决解决方案之前定义问题并最终部署。
- Discover :深入研究我们正在尝试解决的问题。
- 定义:将发现阶段的信息综合为问题定义。
- 开发:考虑解决问题的解决方案。
- 交付:选择最佳解决方案并构建。
此外,我们在进行任何编码之前,我们利用Figma,Photoshop和Illustrator等设计工具来原型设计。通过此,我们能够获得迭代反馈,以便我们花费更少的时间重写代码。
研究ð
研究是与用户同情的关键:我们尽早发现了特定的用户组,这为整个项目铺平了道路。这是一些对我们有帮助的资源 -
- https://msutoday.msu.edu/news/2020/poor-internet-connection-leaves-rural-students-behind
- https://www.theguardian.com/technology/2021/nov/30/more-than-a-third-of-worlds-population-has-never-used-the-internet-says-un
- https://bit.ly/3UCmir3
- https://towardsdatascience.com/video-calling-for-billions-without-internet-40d10069c464
- https://www.retrium.com/blog/dont-let-slow-internet-connections-ruin-your-retrospectives
- https://www.statista.com/chart/17247/the-average-cost-of-mobile-data-in-selected-countries/
- https://www.broadbandsearch.net/blog/internet-statistics
- https://www.speechly.com/blog/create-a-webrtc-video-chat-app-with-speechly-transcription
- https://aclanthology.org/2020.lrec-1.825.pdf
- https://www.currentscience.ac.in/Volumes/110/01/0069.pdf
- Prisma文档:https://www.prisma.io/docs/guides/database/using-prisma-with-mongodb
- 地图集文档:https://www.mongodb.com/docs/atlas
- GCP自然语言API与MongoDB Atlas:https://youtu.be/4DoU32EHC8c?t=3131
- reactjs文档:https://reactjs.org/docs/getting-started.html55
学分
- 设计资源:freepik,behance
- 图标:icons8,fontawesome
- 字体< / strong>:Urbanist / Roboto / Raleway < / li>
我们遇到的挑战进入
这个项目最初是在under 24 hours, 19th Nov — 20th Nov, 2022建造的,我实际上是在2022年11月20日(IST时间)的Subham的the MongoDB Atlas hackathon了解,当时我们热切地等待MetroHack的结果。就个人而言,我是一个黑客马拉松怪胎。我喜欢黑客马拉松,因为它有助于在一小时的时间内在不同的领域中产生特定的想法,因此,它不仅提高了创造力,而且还提高了好奇心,同时在构建项目/产品时处理角落案例。从那时起,我们一直致力于这个项目。我们[I,Subham&Gaurang]在黑客马拉松期间确实面临着一些挑战,其中许多具有讽刺意味的与远程工作有关。主要挑战之一是时间差。我们所有人都从不同的时区参与,这引起了交流挑战。
我们为按时完成该项目而感到自豪,这似乎是一项艰巨的任务,因为由于其他承诺,我们开始迟到了。我们还能够添加我们在构想期间为应用程序设想的大多数功能。和往常一样,在一夜之间工作非常有趣! :)
下一步是什么? ð
我们相信我们的应用具有巨大的潜力。我们真的希望这个项目对人们的生活产生积极影响!我们很想使其更加可扩展&跨平台,以便用户互动在很大程度上增加!另外,有人指出,我们确实有很多想法,我们期待着将其转变为现实!
结论ð£
这一切都很有趣,我很想感谢我的好友@subhamx和Gaurang帮助我,并特别感谢@stanimiravlaeva,@mlynn和@joel__lordð。和往常一样,感谢#DEV #DevCommunity&#MongoDB主持此黑客马拉松! ð
更新 - 我们用完了信用,因此已撤销API凭据!如果您想在本地运行相同的操作,请使用自己的凭据。