[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
# l  p/ p7 D0 s5 S: x大哥，你这个头像很爱啊，像ai又想vam，有没有出处

抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

0 A8 ]" z5 f  e9 E- f9 J感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
# ~! Y- c1 [3 ?8 ^8 Dimport os
- r, o3 k8 A$ R+ F) ~: p: I2 t# L/ Himport imagehash
3 C  s$ W& g$ [* }- d( ffrom PIL import Image

def compute_image_hash(image_path):
    # image = Image.open(image_path)
. z# w, l3 H# y    # return imagehash.average_hash(image)
3 C5 f8 l! ?+ V" N$ j2 Z4 i    try:
2 y  x, f. m+ }/ ^& U) ^/ T        with Image.open(image_path) as image:
            return imagehash.average_hash(image)
1 c0 j" Y  s+ p0 @7 g6 P    except (OSError, IOError) as e:
  u% q$ Q- X: ~3 }        print(f"处理图像 {image_path} 时出错: {e}")
. v, e. X7 d0 R3 `) r& a' T        return None

' Y6 e$ ]2 F! o7 b- R8 ~$ I  Fdef remove_duplicates(image_folder):
; _% q, y/ d1 x* R5 {) q    hash_dict = {}
3 S) W% c7 }9 u( [  C9 M% R1 _    duplicates = []

6 u4 |( V! O9 Q5 F    for filename in os.listdir(image_folder):
        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
            image_path = image_folder + "\\" + filename
            image_hash = compute_image_hash(image_path)

: ]4 g+ I; _, y0 x            if image_hash in hash_dict:
                duplicates.append(image_path)
6 Q5 T. x) M) K8 o+ B4 b* e            else:
6 ], ~& C7 H% s                hash_dict[image_hash] = image_path
  s" L* |- e6 a        else:
            pass

    for duplicate in duplicates:
! e( p! \/ ^$ W+ @9 Y$ @        os.remove(duplicate)
' \" Y. P5 x; k0 H' L" k        print(f"Removed duplicate image: {duplicate}")

6 k! ~5 a1 S3 ^. U. z: a    print("Duplicate removal complete.")
% |  e" p- C/ g6 d( U$ ]8 x& y, _
image_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
: r/ G0 R. n% W' a* u* jremove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
( u  [& A% O. S* y* @大哥，你这个头像很爱啊，像ai又想vam，有没有出处

一眼ai