bradautomates/claude-video

Kết luận: partial · Công nghệ: video-analysis · ffmpeg · speech-to-text · claude · cli-tool

claude-video là một CLI/tooling workflow giúp Claude xử lý video bằng cách tự động tải video, trích frame, chép lời và gom toàn bộ ngữ cảnh để phân tích. Với ~11.7k sao, đây là một ý tưởng đã được cộng đồng quan tâm mạnh, phù hợp khi cần thêm lớp hiểu video cho automation, nghiên cứu nội dung hoặc trợ lý AI nội bộ.

📖 Giới thiệu chi tiết

🧩 Nó là gì?

bradautomates/claude-video là một công cụ tên /watch giúp Claude “xem” video bằng cách lấy hình ảnh từng đoạn, chép lời âm thanh, rồi đưa tất cả vào Claude để phân tích. Nói đơn giản: bạn đưa link YouTube hoặc file video, Claude có thể trả lời như thể nó đã xem video đó.

🎯 Giải quyết vấn đề gì? Dành cho ai?

Claude bình thường đọc văn bản rất tốt, nhưng không thật sự xem được video. Nếu bạn gửi một link YouTube, Claude thường chỉ đoán từ tiêu đề hoặc dựa vào transcript không đầy đủ.

claude-video giải quyết việc này bằng cách biến video thành hai thứ Claude hiểu được:

• Hình ảnh: các frame, tức ảnh chụp tại nhiều thời điểm trong video.
• Lời nói: transcript, tức phần chép lại nội dung âm thanh theo thời gian.

Phù hợp cho:

• Người làm nội dung muốn phân tích video của đối thủ, quảng cáo, hook mở đầu, cấu trúc kịch bản.
• Lập trình viên nhận video quay lỗi màn hình và muốn Claude tìm điểm bất thường.
• Người học muốn tóm tắt bài giảng, podcast, khóa học dài.
• Team automation hoặc AI nội bộ muốn thêm khả năng hiểu video vào quy trình làm việc.
• Người cần xem nhanh “video này thật sự nói gì” mà không muốn ngồi xem hết.

⚙️ Hoạt động ra sao?

• Bạn gọi lệnh /watch với một URL hoặc đường dẫn file video, kèm câu hỏi.
• Công cụ dùng yt-dlp để kiểm tra và tải captions trước. Captions là phụ đề hoặc lời thoại có sẵn từ nguồn video.
• Nếu cần hình ảnh, công cụ dùng ffmpeg để trích các frame quan trọng từ video.
• Nếu video không có captions, công cụ có thể dùng Whisper để chép lời từ âm thanh. Whisper là công cụ chuyển giọng nói thành văn bản.
• Các frame được gắn mốc thời gian như t=00:30, giúp Claude biết ảnh đó thuộc đoạn nào.
• Transcript cũng có timestamp, nên Claude có thể nối nội dung nói với hình ảnh đang hiển thị.
• Cuối cùng, Claude đọc các frame như ảnh, đọc transcript như văn bản, rồi trả lời dựa trên những gì thấy và nghe được.
• Công cụ có nhiều mức chi tiết, ví dụ:
  • transcript: chỉ lấy lời thoại, nhanh và rẻ nhất.
  • efficient: lấy keyframes, nhanh, phù hợp xem lướt.
  • balanced: cân bằng giữa tốc độ và độ chi tiết.
  • token-burner: lấy nhiều frame hơn, tốn ngữ cảnh hơn nhưng nhìn kỹ hơn.

🆚 Khi nào nên dùng / không nên

Nên dùng khi:

• Bạn muốn Claude phân tích cả hình ảnh lẫn lời nói trong video.
• Bạn cần tóm tắt video dài mà vẫn biết các khoảnh khắc chính.
• Bạn có screen recording lỗi phần mềm và muốn AI xem giúp.
• Bạn muốn hỏi rất cụ thể như “đoạn 30 giây có gì xảy ra?” hoặc “màn hình lỗi ở đâu?”.
• Bạn đang dùng Claude Code, Codex, Cursor, Copilot, Gemini CLI hoặc các host hỗ trợ Agent Skills.

Không nên dùng khi:

• Bạn chỉ cần transcript đơn giản, khi đó dùng phụ đề YouTube hoặc công cụ chép lời riêng có thể đủ.
• Video quá dài nhưng câu hỏi quá chung chung; nên giới hạn bằng --start và --end để Claude tập trung.
• Bạn không muốn dùng thêm công cụ dòng lệnh như yt-dlp, ffmpeg, npx.
• Video không có captions và bạn không có hoặc không muốn dùng API key cho Whisper.
• Bạn cần phân tích video theo thời gian thực; /watch phù hợp hơn với video có sẵn hoặc URL đã có.

So với việc chỉ copy transcript vào Claude, /watch tốt hơn khi nội dung trên màn hình quan trọng: slide, demo sản phẩm, giao diện lỗi, biểu cảm, cảnh quay, code, hoặc thao tác chuột.

🚀 Bắt đầu nhanh

Cài trên Claude Code:

/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video

Cài cho Codex, Cursor, Copilot, Gemini CLI hoặc các host hỗ trợ Agent Skills:

npx skills add bradautomates/claude-video -g

-g nghĩa là cài toàn cục cho user hiện tại, dùng được ở nhiều project. Nếu bỏ -g, skill chỉ áp dụng cho project hiện tại.

Ví dụ tối thiểu:

/watch https://youtu.be/dQw4w9WgXcQ what happens at the 30 second mark?

Ví dụ với file video local:

/watch bug-repro.mov what's going wrong?

Ví dụ tóm tắt video:

/watch https://youtu.be/<video> summarize this

Ví dụ tập trung vào một đoạn cụ thể:

/watch https://youtu.be/<video> --start 00:45 --end 01:00 what happens in this part?

Lưu ý khi chạy lần đầu:

• Trên macOS, yt-dlp và ffmpeg có thể được cài tự động qua brew.
• Trên Linux/Windows, công cụ sẽ in ra lệnh cần chạy để bạn cài thủ công.
• Captions của video công khai thường dùng được miễn phí.
• Whisper API key chỉ cần khi video không có captions.

✅ Điểm mạnh & ⚠️ Hạn chế

Điểm mạnh:

• Dễ dùng: chỉ cần /watch kèm link hoặc file video.
• Hiểu cả hình ảnh và âm thanh, không chỉ đọc transcript.
• Hỗ trợ nhiều nguồn mà yt-dlp hỗ trợ như YouTube, Loom, TikTok, X, Instagram và nhiều nền tảng khác.
• Có thể dùng với video local như .mp4, .mov, .mkv, .webm.
• Có nhiều chế độ chi tiết để cân bằng giữa tốc độ, chi phí token và độ chính xác.
• Tự ưu tiên captions miễn phí trước, chỉ dùng Whisper khi cần fallback.

Hạn chế:

• Frame là ảnh, nên dùng nhiều frame sẽ tốn token và ngữ cảnh của Claude.
• Video dài có thể chỉ được quét thưa nếu không giới hạn đoạn cần xem.
• Cần các công cụ hệ thống như yt-dlp và ffmpeg.
• Nếu video không có captions, bạn có thể cần API key cho Whisper qua Groq hoặc OpenAI.
• Không phải công cụ xem video thời gian thực; nó xử lý video thành frame và transcript trước rồi mới đưa cho Claude.
• Kết quả vẫn phụ thuộc vào chất lượng video, captions, âm thanh và câu hỏi bạn đặt.