记抖音爬虫中所遇到的坑

开发 · 2020-01-08 · 更新于 2022-02-09

### :new_moon_with_face: 常规问题
一些常规问题在此就不做记录了，比如怎么获取某加密参数、需要访问哪些接口、哪些接口无水印等等就不说了，善用搜索引擎。

### :one: 判断接口是否成功
由于接口的原因，接口返回的`aweme_list`列表有可能是空的且`status_code`还为`0`，不能通过这两个数据判断接口是否调用成功，可使用`min_cursor`和`max_cursor`判断，当请求成功时，返回的数据必有这两个字段，必然不是`null`或者`undefined`。

### :two: 判断是否还有更多
还是接口的问题，当请求失败时，返回的`has_more`还是为`true`，需要通过判断接口是否成功以及`has_more`共同判断，调用成功并且`has_more`为`true`才是真正的还有更多，否则稍有不慎就会出现死循环抓取。

### :three: 视频列表请求经常性返回空
`_signature`问题，可适当使用循环重复请求，并在请求失败时重新生成`_signature`然后重试。

### :four: 视频长度为0（某些CDN不支持设备过旧的User-Agent导致）
在抓取过程中发现有的视频抓取下来，长度为0，经排查发现有的CDN居然不认`User-Agent`，导致没有获取到视频，经过研究，拼接出一条万用移动端`User-Agent`，使用后无发现问题。这条`User-Agent`包含了较新的`iOS`以及`android`信息，~~可被所有CDN识别~~（已更新）。
```
Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X; Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/605.1.15 (KHTML, like Gecko) Chrome/34.0.1847.114 Mobile/14G60 Safari/604.1
```

### :five: 长视频下载宽带不够，导致大量请求失败
当并发较高且宽带不大时会导致大量请求超时失败，一个长视频大小普遍在`50MB~100MB`左右，如果出现较频繁的超时现象，建议适当加长超时时间以及重试次数。

经过优化以上问题后，视频抓取成功率已成功达到`100%`，且运行多天稳定，无异常。

### :arrows_counterclockwise: 更新
#### 2020-1-18
1. 万用UA更新
请将`${RANDOM_STRING}`替换成任意长度随机字符串
```
Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X; Linux; Android 8.0; Pixel 4 Build/NOBUILD; Nexus 10 Build/N4F26I; Nexus 4 Build/NOBUILD; ${RANDOM_STRING}) AppleWebKit/605.1.15 (KHTML, like Gecko) Chrome/34.0.1847.114 Mobile/14G60 Safari/604.1
```

#### 2020-02-01
1. 出现大量采集失败，失败的大部分是新视频，具体表现为UA正常，但视频无法正常下载，高频率重试后小概率可以下载，更换域名后有好转但仍有大量失败，建议程序加入失败数据记录，等下次断点续爬时尝试重新抓取，直到抓取成功。
2. 优化断点续爬

#### 2020-05-21
1. 修复头像可能获取不到后缀名、后缀名可能乱码的问题

#### 2020-06-07
1. 可采集挑战视频
2. 修复已删除视频抓取逻辑问题

#### 2020-07-11
1. 修复采集挑战视频失败的问题
2. 可采集原声视频

#### 2021-11-23
1. 修复采集个人视频获取UID方式改变的问题

#### 2022-02-07
1. 可采集合集视频
2. 优化图片后缀的识别
3. 列表最大抓取数量

#### 2022-02-08
1. 可采集图文视频

lli 2022-05-25

回复

大哥是不是最近注册设备不能用了
1. LiesAuer (作者) 2022-05-25
  
  回复
  
  @lli
  这个不太清楚哦，我不是用app接口采集的
肉山大魔王 2022-05-04

回复

大佬，爬取抖音视频需要用代理吗？为啥我使用代理后经常爬不动，不用代理反而可以。但是不用代理爬一段时间也不行了，怎么破？
1. 肉山大魔王 2022-05-05
  
  回复
  
  @肉山大魔王
  收到。谢谢大佬的解答
2. 肉山大魔王 2022-05-04
  
  回复
  
  @肉山大魔王
  大佬，你一般一天爬多少个视频？可能是我一天爬取太多了？app分享接口要破解js加密算法吗。。。如果太麻烦就懒得折腾了
  1. LiesAuer (作者) 2022-05-05
    
    回复
    
    @肉山大魔王
    我现在没有整天爬，但是爬的话，基本是每秒5-15个视频的速度，目前有几十万个视频的库存，到目前为止没发生过任何一次限爬，js算法用的是老的，还是有效的。
3. LiesAuer (作者) 2022-05-04
  
  回复
  
  @肉山大魔王
  国内抖音不需要代理，我用的是app复制出来的分享接口，到现在还没遇到过不能采集问题。倒是有接口偶尔返回空数据的问题，我是通过重试解决的，如果一直重试都还是没有数据，就跳过采集。
木关子 2020-10-16

回复

我的like接口是网页的，不是APP里面的。能获取JSON的，但是每次获取出来都是没有视频内容
木关子 2020-10-12

回复

再次请教大神，网页端作品的url已经基本正常了，like列表的Json死活就是出不来，换了Sign也一样，有没有的破。。。
1. liesauer (作者) 2020-10-13
  
  回复
  
  @木关子
  你的like接口是怎么来的，网页的还是客户端的接口？
木关子 2020-09-06

回复

用安卓的ua试了，出现的概率大了很多。另外，抖音V1版本时候研究过sign的函数，这次V2虽然js上有改变了一下下，貌似核心没有变，继续继续
1. liesauer (作者) 2020-09-06
  
  回复
  
  @木关子
  试试这个？Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
  如果还是一样频繁就不知道了
木关子 2020-09-05

回复

弱弱问一下大神，为什么我正常app获取链接访问，也是超大概率加载不了视频列表？
1. 木关子 2020-09-06
  
  回复
  
  @木关子
  我就正常用手机操作，就是刷不出来，不知道抖音是怎么想的
2. liesauer (作者) 2020-09-05
  
  回复
  
  @木关子
  原因未知，目前无解，通过不断重试获取，我现在的重试次数是100，但最多的情况也就可能20-30就出来了。
  1. liesauer (作者) 2020-09-06
    
    回复
    
    @liesauer
    如果你的链接超大概率需要访问N多次，平均20+这样子，可以尝试换个ua？我就是普通的ua也没这样的情况，就偶发性的
木关子 2020-09-05

回复

App分享链接每一阵子就会变化，这个跟后面获取sign有关系么
1. 木关子 2020-09-05
  
  回复
  
  @木关子
  我用app分享出来的链接，转safari访问，每次列表都加载不出来，快吐血了。刷新50次能出刷出来一次就阿弥陀佛了。我还以为是链接的原因
2. liesauer (作者) 2020-09-05
  
  回复
  
  @木关子
  不受影响的，这个分享链接会跳转一次的，计算sign的参数就在跳转后的url里，这是和用户有关的，不会变动的
xe 2020-08-13

回复

大佬，有项目地址吗，学习一下
1. liesauer (作者) 2020-08-14
  
  回复
  
  @xe
  抱歉，现在接口死得太快，已经不开源了，现在我代码跑了半年多了，一点毛病都没出。
李由 2020-07-31

回复

想问一下您抖音话题标签的接口怎么获取啊
1. liesauer (作者) 2020-07-31
  
  回复
  
  @李由
  手机上直接分享，然后用电脑打开，网页里面就有接口哦
抖音爬虫新手 2020-07-17

回复

大佬设备怎么解决的啊？
1. liesauer (作者) 2020-07-21
  
  回复
  
  @抖音爬虫新手
  我不是通过手机端的接口抓取的，是通过分享链接抓取网页接口的