khachuy279
Đã tốn tiền
Chào các bác,
Sau một thời gian hì hục tối ưu pipeline làm sub và dịch video, mình vừa hoàn thiện xong addon tích hợp backend C++ cho hệ thống phụ đề tự động: vibe-translation-addon-transcribe_cpp.
Mục tiêu chính của bản này là chạy local 100%, không tốn tiền API, không lo đứt mạng hay lộ data, tận dụng tối đa sức mạnh của VGA Nvidia. Mình đưa lên đây mời các bác vào test thử, vọc vạch và gạch đá để mình hoàn thiện thêm.
1. Điểm nổi bật
* Local toàn bộ pipeline: Từ khâu lọc giọng nói (VAD), nhận dạng giọng nói (ASR), dịch thuật (Translate) cho đến đọc phụ đề (TTS) đều chạy hoàn toàn trên máy của bạn.
* Core C++ (transcribe_cpp): Tối ưu tài nguyên cực tốt, tốc độ xử lý nhanh, không bị cồng kềnh hay nghẽn bộ nhớ như thuần Python.
* Chủ động cấu hình theo phần cứng: Dễ dàng thay đổi, thêm bớt các model lớn/nhỏ sao cho phù hợp nhất với lượng VRAM của VGA.
2. Yêu cầu phần cứng khuyến nghị
Tool build tối ưu cho card NVIDIA (CUDA):
* Mức cơ bản (VRAM ~6GB): Chạy mượt mà với combo nhẹ: ASR dùng SenseVoice, dịch thuật dùng HY MT2 1.5B (GGUF Q4).
* Mức thoải mái (VRAM từ 8GB - 12GB+): Các bác có thể kéo lên các bản quantize cao hơn như Q8 hoặc tải các model tham số lớn hơn để câu cú mượt và sát nghĩa hơn.
3. Tùy biến model trong hệ thống
Toàn bộ danh sách mô hình được cấu hình rất mở, các bác chỉ cần mở 2 file cấu hình bằng text editor để thêm/bớt hoặc đổi sang model mình thích:
* backend_cpp/models.yaml: Quản lý các model ASR (nhận diện giọng nói như SenseVoice, Whisper...) và VAD.
* backend_cpp/translation_models.yaml: Quản lý các model dịch thuật dạng GGUF (HY MT2, Qwen...).
Tùy theo video ngắn/dài hay nhu cầu dịch thô/dịch kỹ, các bác cứ linh hoạt chỉnh lại file YAML cho vừa vặn với cấu hình máy mình nhất.
4. Link repo
* GitHub: GitHub - khachuy279/vibe-translation-addon-transcribe_cpp (https://github.com/khachuy279/vibe-translation-addon-transcribe_cpp)
Do tool vẫn đang trong quá trình tối ưu thêm, chắc chắn sẽ không tránh khỏi vài lỗi vặt ở một số môi trường khác nhau. Rất mong nhận được phản hồi, log lỗi (nếu có) cũng như các ý kiến đóng góp của anh em để mình tiếp tục cập nhậ
t.
Cảm ơn các bác!
Sau một thời gian hì hục tối ưu pipeline làm sub và dịch video, mình vừa hoàn thiện xong addon tích hợp backend C++ cho hệ thống phụ đề tự động: vibe-translation-addon-transcribe_cpp.
Mục tiêu chính của bản này là chạy local 100%, không tốn tiền API, không lo đứt mạng hay lộ data, tận dụng tối đa sức mạnh của VGA Nvidia. Mình đưa lên đây mời các bác vào test thử, vọc vạch và gạch đá để mình hoàn thiện thêm.
1. Điểm nổi bật
* Local toàn bộ pipeline: Từ khâu lọc giọng nói (VAD), nhận dạng giọng nói (ASR), dịch thuật (Translate) cho đến đọc phụ đề (TTS) đều chạy hoàn toàn trên máy của bạn.
* Core C++ (transcribe_cpp): Tối ưu tài nguyên cực tốt, tốc độ xử lý nhanh, không bị cồng kềnh hay nghẽn bộ nhớ như thuần Python.
* Chủ động cấu hình theo phần cứng: Dễ dàng thay đổi, thêm bớt các model lớn/nhỏ sao cho phù hợp nhất với lượng VRAM của VGA.
2. Yêu cầu phần cứng khuyến nghị
Tool build tối ưu cho card NVIDIA (CUDA):
* Mức cơ bản (VRAM ~6GB): Chạy mượt mà với combo nhẹ: ASR dùng SenseVoice, dịch thuật dùng HY MT2 1.5B (GGUF Q4).
* Mức thoải mái (VRAM từ 8GB - 12GB+): Các bác có thể kéo lên các bản quantize cao hơn như Q8 hoặc tải các model tham số lớn hơn để câu cú mượt và sát nghĩa hơn.
3. Tùy biến model trong hệ thống
Toàn bộ danh sách mô hình được cấu hình rất mở, các bác chỉ cần mở 2 file cấu hình bằng text editor để thêm/bớt hoặc đổi sang model mình thích:
* backend_cpp/models.yaml: Quản lý các model ASR (nhận diện giọng nói như SenseVoice, Whisper...) và VAD.
* backend_cpp/translation_models.yaml: Quản lý các model dịch thuật dạng GGUF (HY MT2, Qwen...).
Tùy theo video ngắn/dài hay nhu cầu dịch thô/dịch kỹ, các bác cứ linh hoạt chỉnh lại file YAML cho vừa vặn với cấu hình máy mình nhất.
4. Link repo
* GitHub: GitHub - khachuy279/vibe-translation-addon-transcribe_cpp (https://github.com/khachuy279/vibe-translation-addon-transcribe_cpp)
Do tool vẫn đang trong quá trình tối ưu thêm, chắc chắn sẽ không tránh khỏi vài lỗi vặt ở một số môi trường khác nhau. Rất mong nhận được phản hồi, log lỗi (nếu có) cũng như các ý kiến đóng góp của anh em để mình tiếp tục cập nhậ
t.
Cảm ơn các bác!
