SmolVLM2-2.2B ilə Video Xülasəsində İnqilabi Yenilik Başlayır

SmolVLM2-2.2B modeli video xülasə texnologiyasında yenilik yaradır

SmolVLM2-2.2B modeli video faylların sürətli və dəqiq xülasəsini təmin etmək üçün hazırlanıb. Model 5.2 GB GPU yaddaşı tələb edir və RTX 3060, MacBook Pro M2, həmçinin Google Colab T4 kimi müxtəlif cihazlarda problemsiz işləyə bilir. Bu, video emalını daha əlçatan və praktik edir.

Kadr çıxarılması və iki mərhələli təsvir prosesi

Model bir video fayldan maksimum 50 kadr çıxarır. Kadrların seçilməsi üçün iki əsas üsul mövcuddur: uniform nümunə götürmə (video boyunca bərabər aralıqlarla kadrların seçilməsi) və keyframe nümunə götürmə (vizual məzmun dəyişdikdə kadrların çıxarılması). Bu yanaşma videonun əsas məzmununu effektiv şəkildə əhatə etməyə imkan verir.

Modelin texniki xüsusiyyətləri

SmolVLM2-2.2B modeli 2.2 milyard parametrdən ibarətdir və hər 384x384 ölçülü şəkli 81 tokenə sıxır. Modelin çəkiləri ilk yükləmədə təxminən 4.5 GB yer tutur. CUDA mövcud olduqda Flash Attention 2 funksiyası aktivləşdirilir ki, bu da hesablama sürətini əhəmiyyətli dərəcədə artırır.

Batch ölçüsünün VRAM-a uyğun tənzimlənməsi

Batch ölçüsü mövcud VRAM-a əsaslanaraq xüsusi funksiya ilə tənzimlənir. Məsələn, 6 GB VRAM üçün batch ölçüsü 16, 8 GB üçün 30, 12 GB və daha çox VRAM üçün isə 50 təklif olunur. Bu, modelin müxtəlif cihazlarda optimal performans göstərməsini təmin edir.

VideoSummarizer sinfi və JSONLWriter

VideoSummarizer sinfi kadrların çıxarılması və iki mərhələli təsvir prosesini həyata keçirir: əvvəlcə hər kadr üçün təsvirlər yaradılır, sonra isə bu təsvirlər əsasında ümumi video xülasəsi hazırlanır. JSONLWriter isə uzun videolar üçün kadr təsvirlərini ardıcıl şəkildə yazmağa imkan verir, bu da böyük video faylların emalını asanlaşdırır və fasilə halında davam etməyə şərait yaradır.

İstifadə sahələri və gələcək perspektivlər

SmolVLM2-2.2B video xülasə texnologiyasını daha əlçatan və effektiv edir. Bu, xüsusilə media, təhsil və təhlükəsizlik sahələrində video məlumatların sürətli və dəqiq analizinə yeni imkanlar açır. İstifadəçilər artıq böyük video arxivlərini daha rahat idarə edə biləcəklər.

SmolVLM2-2.2B modeli video emalında yeni standartlar müəyyən edir və gələcəkdə daha da təkmilləşdirilmiş versiyaların təqdim olunacağı gözlənilir.