TeleMediaSpider - Telegram 频道资源爬虫

### 声明
***仅限个人用途使用。***

### 介绍
[TeleMediaSpider](https://github.com/liesauer/TeleMediaSpider) 是一个开源的用于抓取 Telegram 频道资源的个人爬虫，支持抓取 `图片` `视频` `音频` `文件`，支持多频道同时下载，支持断点续抓。

![screenshot.jpg](https://storage.liesauer.net/2024/07/3037476710.jpg)

仓库地址：https://github.com/liesauer/TeleMediaSpider

### 使用说明

### 0. 下载
已打包好的TeleSpider可在这里下载：[https://github.com/liesauer/TeleMediaSpider/releases](https://github.com/liesauer/TeleMediaSpider/releases)，包含 `Windows x64` `Linux x64` 多个版本，如需其他版本，请自行打包。

### 1. 首次运行
第一次运行时，会自动生成 `data/config.toml` 配置文件，需要配置以下内容：
`account.apiId`（参考文档）
`account.apiHash`（参考文档）
`account.account`（Telegram账号）
~~`account.session`~~（这个不需要填）

参考：
[Authentication | GramJS](https://gram.js.org/getting-started/authorization#getting-api-id-and-api-hash)

### 2. 获取频道列表
```bash
TeleMediaSpider --list
```
列举出你账号加入的所有频道，复制频道ID，并打开 `data/config.toml` 配置文件，配置以下内容：
`spider.channels`

示例：

```toml
[spider]
channels = [ "频道id1", "频道id2" ]
```

如何抓取自己的已保存信息？
使用固定的频道id：`me` 即可，其他不变。

默认抓取频道的`图片` `视频` `音频` `文件`，如果你想特定的频道只抓取特定的数据，也可自由配置，有效值：`photo` `video` `audio` `file`。

将以下配置

```toml
  [spider.medias]
  _ = "photo,video,audio,file"
```

修改为

```toml
  [spider.medias]
  频道id1 = "photo"
  频道id2 = "photo,video,audio,file"
```

### 3. 正式抓取
直接运行 `TeleMediaSpider`，爬虫将会自动抓取频道信息，自动获取新消息，支持断点续爬，可任意时刻随意关闭软件。

### 4. 并发下载
**注意：这并不是传统意义上的并发下载，而是指多频道同时下载，单一频道只能一条一条信息从前往后解析下载。**

将以下配置

```toml
[spider]
concurrency = 5
```

修改为你想要的多频道同时下载数，默认为5个频道同时下载。

### 5. 大小过滤
默认抓取大小不超过10GB的文件，如有需求，可按全局配置或按频道配置文件大小过滤。

格式：`下限-上限`
单位：`字节`
进制：`1024`
示例：`102400-10485760`
解释：抓取文件大小在 `100KB ~ 10MB` 之间的文件（含）

优先级：`频道配置 > 全局配置`

#### 5.1. 全局配置
修改以下配置即可

```toml
[filter.default]
photo = "0-10737418240"
video = "0-10737418240"
audio = "0-10737418240"
file = "0-10737418240"
```

#### 5.2. 频道配置
修改以下配置即可

```toml
[filter.photo]
频道id1 = "102400-999999999"

[filter.video]
频道id1 = "102400-999999999"

[filter.audio]
频道id1 = "102400-999999999"

[filter.file]
频道id1 = "102400-999999999"
```

### 代理设置
参考：
[Using MTProxies and Socks5 Proxies](https://gram.js.org/getting-started/authorization#using-mtproxies-and-socks5-proxies)

### 配置说明

**配置文件中所有的 `_` 配置项都是占位，用来当成示例配置供参考填写的，删除无实际影响。**

### 数据保存
所有数据都保存在 `data/{频道id}` 文件夹下，文件名格式：`{频道id}_{消息id}[_{原文件名}]`。

tinker 前天

回复

为什么运行一段时间就会停止，重启又恢复！没有报错信息，频道信息和文件名那一块的信息都是空的
1. LiesAuer (作者) 前天
  
  回复
  
  @tinker
  这个问题确实存在，还在排查到底是gram.js库的问题还是什么问题，目前的解决方案就是定时重启，隔一两个小时这样子，可以用脚本或者其他工具实现都行。
pansoo 24 天前

回复

大佬，这个只能下载文件吗？能不能保存频道消息
1. LiesAuer (作者) 24 天前
  
  回复
  
  @pansoo
  暂时只是下载文件的，下个版本才会加入保存信息功能
Miller 10-11

回复

最好再多加一个查漏补缺的功能（捂脸(/ω＼)），因为抓取了3天才下载完，只差一百多张，但是不知道是差了哪些id，应该是有的格式没包含，比如gif之类的，不过刚好抓取的频道里只有几张gif，可以单独下，媒体里缺少了一些图片和视频应该。
1. LiesAuer (作者) 10-11
  
  回复
  
  @Miller
  这个可以加入重爬功能，已经下载的资源就跳过
Miller 10-11

回复

大佬，好像不会爬取jpeg文件，图片和视频数量对不上，是不是图片和视频的格式没有全部包含，怎么样增加抓取格式呢，跪求大佬更新下有效值的抓取格式所包含范围。
1. LiesAuer (作者) 10-11
  
  回复
  
  @Miller
  目前是按照gram.js这个库解析抓取的，消息字段会存在image对象，按道理jpeg也是支持的，能找到缺了哪些图片吗，不然不好测
cola 10-11

回复

大佬，可以爬取电报频道的评论内容嘛
1. LiesAuer (作者) 10-11
  
  回复
  
  @cola
  可以做到，但目前没有这个功能
Miller 10-08

回复

https://img13.chkaja.com/files/20241008/6e480579763dc720.png
在TeleMediaSpider-win所在文件夹打开Windows PowerShell也不能成功执行命令，肿么办，T T
求大佬教一下，怎么正确执行。
1. Miller 10-08
  
  回复
  
  @Miller
  不执行命令的话频道页面是空的
2. LiesAuer (作者) 10-08
  
  回复
  
  @Miller
  你的程序是什么名字就输入什么名字，因为你下载下来的文件名叫“TeleMediaSpider-win”，所以在windows下，正确的执行命令是“./TeleMediaSpider-win.exe --list”。
  1. Miller 10-08
    
    回复
    
    @LiesAuer
    大佬我终于会了，用cmd命令cd /d G:\cco，感谢大佬指点！
  2. Miller 10-08
    
    回复
    
    @LiesAuer
    https://img13.chkaja.com/files/20241008/26bdf943631af1af.png
    我按照TeleMediaSpider-win.exe --list的写法还是不可以，呜呜
    
    LiesAuer (作者) 10-08
    
    回复
    
    @Miller
    要输入“./TeleMediaSpider-win.exe --list”，你前面没输完整，这个不能漏的，这是PowerShell的用法。
zzu 09-30

回复

有个报错
[2024-09-30T11:39:13.845]
[INFO]
Running gramJS version 2.23.9
[2024-09-30T11:39:13.855]
[INFO]
Connecting to 149.154.175.54:80/TCPFu11...
[2024-09-30T11:39:13.871]
[INFO]
Connection to 149.154.175.54:80/TCPFu11 complete!
[2024-09-30T11:39:13.872]
[INFO]
Using LAYER 184 for initial connect
[2024-09-30T11:39:18.871]
[INFO]
connection closed
[2024-09-30T11:39:18.872]
[WARN]- Connection closed while receiving data
Error: Not connected
at ConnectionTCPFu11.recv(C:\snapshot\Te1eMediaSpider\node_modules\te1egram\network\connection\Connection.js:71:15)
at async MTProtoSender.recvLoop (C:\snapshot\Te1eMediaSpider\node_modules\te1egram\network\MTProtoSender.js:365:24)
[2024-09-30T11:39:19.890]
[INF0]
Started reconnecting
[2024-09-30T11:39:19.891]
[WARN]
[Reconnect] Closing current connection...
[2024-09-30T11:39:19.892]
[INFO]Disconnecting from 149.154. 175.54:80/TCPFu11...
[2024-09-30T11:39:19.894]
[INFO]
Connecting to 149.154.175.54:80/TCPFu11...
[2024-09-30T11:39:19.897]
[INFO]
Connection to 149.154.175.54:80/TCPFu11 complete!
[2024-09-30T11:39:19.899]
[INFO]Handling reconnect!
1. LiesAuer (作者) 09-30
  
  回复
  
  @zzu
  这个应该是梯子问题吧，库自带重连的，问题不大。
zzu 09-30

回复

https://img.chkaja.com/258a8713265ef0b3.jpg
登录后卡在这里命令输入也没有反应是打开方式不对吗
1. LiesAuer (作者) 09-30
  
  回复
  
  @zzu
  终端输入TeleMediaSpider --list也是没有任何反应嘛？我前两天也发现会有个别频道会导致GetChannels接口无限卡住，目前还没查到什么原因。
  1. zzu 10-01
    
    回复
    
    @LiesAuer
    输入不了内容用调试模式运行的话控制台像是一直在刷新
    
    LiesAuer (作者) 10-06
    
    回复
    
    @zzu
    TeleMediaSpider --list是终端运行的，正常爬虫运行后是无法输入任何东西的。
MIX 09-27

回复

都配置好了之后开始爬取始终不显示文件，终端中的列表为空是什么问题呢，大佬方便帮忙解答一下吗，我这边的频道id是-100开头的是正确的吗
1. oo 09-29
  
  回复
  
  @MIX
  吧-去掉吧应该要
  1. LiesAuer (作者) 09-30
    
    回复
    
    @oo
    负的一般是机器人拿到的id
2. LiesAuer (作者) 09-27
  
  回复
  
  @MIX
  tg是有负id的，但是频道id我还没见到过负的，这个可能得看下什么情况
夸克网盘资源 06-08

回复

马克一下，感觉正好需要这个爬虫。哈哈