司机社

标题: 视频查重小工具 [打印本页]
作者: 我随大王来巡山    时间: 2026-4-3 01:37
标题: 视频查重小工具
本帖最后由 我随大王来巡山 于 2026-4-4 05:40 编辑 2 t7 M" D1 A- ]0 ~" m9 F. Q$ u
. ?8 F4 V* l8 Q
       混迹论坛良久，一直索取没有回报，挺愧疚的。
7 P+ ]7 H4 j8 L% I4 C3 {       今天如往常一样当“囤囤鼠”，下载了某合集，内含488个视频，下完一看重复的数量太多了，有些是加了水印算新的，有些是改了分辨率算新的。对于老哥们无私奉献，我是非常感激的，不过重复太多看着难受，于是萌生出搓一个查重工具的念头。
6 Z7 V5 `2 C; m% E/ e       整个工具由AI开发。基于python，无复杂流程，1分钟可以部署完成，命令行界面很轻量，已测试效果不错。
+ X# q1 E1 y$ v0 N2 y: A/ c8 z; }% E% v$ q' i8 S# d: R6 i
6 j4 {1 f# o7 H) {/ P# H) @& M
        工具文件如下：
/ F3 A/ r; r. D' W; F- i& M) j( a9 o' G' o8 a% Z
       (, 下载次数: 211) # N7 o$ h% f- R1 y2 ?0 c8 \
# e# W2 E" K3 o4 w
5 a3 x: h: z7 p; _
6 X# g6 k0 M* V; b1 {4 K4 N
      部署方法：5 \8 ?$ s$ ?; j0 q) T! S: @5 n( W
8 T# [4 ?( @$ r. l7 \
       1.[安装python]：访问 https://www.python.org/downloads/，下载安装python 3.1x.x
' X3 d1 s; C$ G- s' m       2.验证python是否安装成功：Win+R - CMD ，输入python --version，有版本出来就成功了。
* u7 I  O, c" P       3.安装必要组件，在cmd里粘贴：
! }0 Y' [3 e. h              pip install opencv-python-headless imagehash pandas tqdm openpyxl
& _7 r! }3 B& I& e8 R       安装成功后，所有的准备工作就完全结束了。+ U% A8 O% q! U: K

3 q- N: |: q7 o# M* }* Q+ t; X# t& a
: s* i" G2 ^9 A7 m! \; l( O9 _/ K4 U9 E6 y4 ~
      使用方法：" c, P$ u' {' J
       01.双击打开脚本，自动弹出窗口让你选择素材文件夹(支持子文件夹)，你选择视频文件夹，点击确认，开始自动扫描，你的工作就全部做完了，点根烟去吧。
+ w3 l$ ?% j+ j5 N/ s$ x       02.扫描完成后，疑似重复的素材，会被自动移动至“疑似重复”目录下，但工具不会“擅自”删除文件或重命名文件。( E! }, i, L7 B' O% Q
       03.在原始目录下，会同时给出一个“重复视频对照表.xlsx”报表，告诉你保留了哪些文件在原地，移动了哪些文件。可以简单的核对一下，核对无误直接删掉“疑似重复”目录就完事了。$ ?6 J9 N$ E( `5 l
3 v/ C' |' j1 M  `# |$ O: w
       [关于扫描对比的精度调整]：
# G# l& X6 G! p, [( C       如果水印太大或者裁剪严重，可能识别不出来。! f7 B; k2 @3 c$ x/ Y: l4 H
       搜索代码里的“duplicate_groups = find_duplicates(folder_path, threshold=10)”
: g: ]5 _! w; O3 R       改成 threshold=5（精度更高，更严格，误报少但可能漏检）* B$ ]) V/ v. Z3 K) b' I% F) D
       改成 threshold=15（精度更低，更宽松，能抓到更多变形但可能误报）6 y+ i( k6 C* D" A( n: u
6 |1 w# e  H- {) _4 p+ T& Y

: p" i; K& e5 @
/ I6 f5 R; ]* ]8 V3 ^* U       这个脚本不会删除文件，只会扫描、移动重复视频、生成报表，没有其他功能了。百分百安全的，我不会写代码，不会偷偷藏东西来偷老哥们电脑里的小姐姐。如果有自动删除的需要，可以把这个代码丢给AI，增加这种功能。+ Q' z* c4 }3 \# l, y  d: {" f

, L1 N5 F; `# \8 _( o% b4 @1 b. o4 G" @, W" g( I4 W6 E& N6 l
7 c0 ~, h3 `* h- w
       使用截图：( R" Z# _- d( X/ |: [
" L& b5 ?3 t$ l, F* @- V, n
(, 下载次数: 0)
4 h) }/ |2 ?' @- P& }(自动扫描视频，提取特征)/ a6 H6 `1 P( ]
2 H, s6 f# r" S! _
(, 下载次数: 0)
" o! f  Y% Y- P(扫描完成后，统一把所有疑似重复的文件移入“疑似重复”文件夹)# @6 r/ g6 f* {/ Z9 E3 {1 @4 L- x$ G" M  K
  }% L5 X# o1 P# Q
) C) f* D% o# c: {0 G0 V) `
(, 下载次数: 0) 1 l5 B* x. u! d8 K
(抽查结果，完全没问题。那就可以直接删除整个文件夹了)
& q/ y' f& P" y" ]0 G$ |: U1 e, y& f  k8 U% n

1 Q( b  u0 ^7 @+ @) {
, X. P# }! J" ^6 C
5 R( i$ k) {( F( L' ~
" r0 m- v0 s$ `, I% [6 C3 |" x8 ]$ M% T" c0 a
; C+ W& R' d( k" Z0 Y

# z$ j: c, I) v
# l! k: y0 _' C7 h% R; Z% Q, J9 l0 s, i% ]: N( j
* J  n. f) M- k# Z7 q0 N( o

8 ]1 J3 m/ g6 @9 {
作者: qintian224    时间: 2026-4-3 22:40
提示: 作者被禁止或删除 内容自动屏蔽
作者: 我随大王来巡山    时间: 2026-4-3 23:57
qintian224 发表于 2026-4-3 22:40) o6 g0 z: |% j, V3 I. }
等我深入研究一下python
  X! a9 W6 \! j: F
哈哈哈不用深入研究，我完全0基础不会写代码，安装完了python啥也不设置。直接就能运行
作者: sfporn    时间: 2026-4-6 15:20
大佬能不能加上声音检查？有的探花视频看着画面没有广告，实际上隔一段时间就突然大声播放广告，tm网址还是一个字母一个字母读出来的，时间贼长
作者: 我随大王来巡山    时间: 2026-4-6 18:42
sfporn 发表于 2026-4-6 15:20
: O/ H/ e2 p! ?& U; E1 L大佬能不能加上声音检查？有的探花视频看着画面没有广告，实际上隔一段时间就突然大声播放广告，tm网址还是 ...

7 W- R5 v; d$ @+ U8 G9 Y这种我还真遇到过，但是一般遇到了我直接就给他删了，然后去电报上找没广告的资源了
作者: asebuse    时间: 2026-4-7 13:46
大佬这个怎么下载啊，我下完了zip后面还有一个html，删了也没法解压
作者: 我随大王来巡山    时间: 2026-4-7 20:33
asebuse 发表于 2026-4-7 13:46
! B0 a" m4 [6 ^! x大佬这个怎么下载啊，我下完了zip后面还有一个html，删了也没法解压
- u* m% C  b; B: f% n& B' p
脚本就是一个4kb的脚本，没有密码，没有乱七八糟的限制，直接能下的，你看看是不是网络有问题
作者: asebuse    时间: 2026-4-7 22:19
我随大王来巡山 发表于 2026-4-7 20:33
1 r6 O, j4 @% ?* }, L0 U脚本就是一个4kb的脚本，没有密码，没有乱七八糟的限制，直接能下的，你看看是不是网络有问题 ...

; n/ h7 X0 h0 V1 ^8 d" q换了夸克能直接下载zip了但显示压缩包损坏，没法解压，大佬能不能给个网盘
作者: chaojibaocao    时间: 2026-4-8 05:54
看了LZ的帖子，我只想说一句很好很强大！
作者: 6261899    时间: 2026-4-8 22:37
大佬这个能说下怎么用吗 下载之后打不开
作者: 我随大王来巡山    时间: 2026-4-9 16:36
6261899 发表于 2026-4-8 22:37' x: E  e4 @3 C# z
大佬这个能说下怎么用吗 下载之后打不开

+ e, \* B* {1 ~3 |, x7 l& L* ?% _加里奥不救盲僧
作者: 我随大王来巡山    时间: 2026-4-9 16:37
asebuse 发表于 2026-4-7 22:19! F4 N* K: M$ B  c' C
换了夸克能直接下载zip了但显示压缩包损坏，没法解压，大佬能不能给个网盘 ...
/ m1 V* P. }; q" t
没网盘。这东西没用网盘，直接传在论坛上的，别用什么工具，就浏览器直接下载
作者: minfer    时间: 2026-4-21 21:26
试试看看哦哦
作者: ghszyzh997    时间: 2026-4-29 22:27
啥也不说了，楼主就是给力！



欢迎光临 司机社 (https://xsijishe.net/) Powered by Discuz! X3.4