8000 GitHub - lemonhall/omni-demo3
[go: up one dir, main page]
More Web Proxy on the site http://driver.im/
Skip to content

lemonhall/omni-demo3

Repository files navigation

实时视频分析系统

这是一个基于HTML5摄像头捕捉和AI大模型的实时视频分析系统。系统可以实时捕捉摄像头画面,每20秒自动截取一段视频进行分析,并通过大模型生成实时反馈。

功能特点

  • 实时摄像头捕捉
  • 自动20秒视频片段截取
  • 持续视频捕捉和分析
  • 实时AI分析反馈
  • 历史记录查看
  • 支持自定义提示词

技术栈

  • 前端:
    • HTML5 MediaRecorder API
    • JavaScript (ES6+)
    • CSS3 动画和过渡效果
  • 后端:
    • Python FastAPI
    • OpenAI API (通义千问)
    • 异步处理

安装和运行

  1. 克隆项目并进入目录:
git clone [项目地址]
cd [项目目录]
  1. 创建并激活虚拟环境:
python -m venv .venv
# Windows
.venv\Scripts\activate
# Linux/Mac
source .venv/bin/activate
  1. 安装依赖:
pip install -r requirements.txt
  1. 设置环境变量:
# Windows
set DASHSCOPE_API_KEY=你的API密钥
# Linux/Mac
export DASHSCOPE_API_KEY=你的API密钥
  1. 运行服务器:
python api_server.py
  1. 访问应用: 打开浏览器访问 http://localhost:8000

使用说明

  1. 启动应用后,系统会自动请求摄像头权限
  2. 点击"开始捕捉"按钮开始视频捕捉
  3. 系统会自动每20秒截取一段视频进行分析
  4. AI分析结果会实时显示在下方历史记录区域
  5. 可以通过滚动查看历史分析记录
  6. 可以随时点击"停止捕捉"按钮停止视频捕捉
  7. 可以输入自定义提示词来引导AI分析方向

注意事项

  • 确保浏览器支持HTML5 MediaRecorder API
  • 需要授予摄像头访问权限
  • 建议使用Chrome或Firefox等现代浏览器
  • 视频分析可能需要一定时间,请耐心等待
  • 历史记录会保存在当前会话中,刷新页面后会清空

开发说明

项目结构

.
├── api_server.py          # FastAPI服务器
├── video_agent.py         # 视频处理代理
├── static/                # 静态文件
│   ├── css/              # 样式文件
│   ├── js/               # JavaScript文件
│   ├── icons/            # 图标文件
│   └── index.html        # 主页面
├── uploads/              # 临时文件存储
└── requirements.txt      # 项目依赖

主要功能模块

  1. 视频捕捉模块

    • 使用MediaRecorder API实现视频录制
    • 自动20秒截断功能
    • 实时预览显示
  2. 视频处理模块

    • 视频文件编码
    • 大模型API调用
    • 结果处理
  3. 历史记录模块

    • 实时显示分析结果
    • 支持滚动查看历史
    • 时间戳记录

后续优化方向

  1. 添加视频预处理功能
  2. 实现分析结果持久化存储
  3. 添加更多视频分析选项
  4. 优化大模型调用性能
  5. 添加用户认证功能
  6. 支持更多视频格式

许可证

MIT License

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published
0