Rotating Datacenter
动态数据中心代理 · 固定入口,每个连接自动换 IP
代码里只写一个网关地址、一个端口和一组账号密码,换 IP 由网关完成:每次新建连接(HTTPS 的 CONNECT 隧道、SOCKS5 连接)或每个普通 HTTP 请求分配一个出口 IP。出口 IP 全部来自 Node4 在美国、意大利和西班牙的自有 IP 段,属于机房 IP。两种计费方式共用同一个 IP 池:动态数据中心代理按流量(GB)计费,不限流量动态代理按并发连接数计费,不限流量。
以下价格均为美元(USD),按月计费。
- 接入方式
- 固定网关地址,账号密码认证
- 换 IP
- 每次新建连接分配一个出口 IP
- 出口国家
- 美国、意大利、西班牙
- 计费
- 按流量(GB)或按并发连接数
网关怎么分配出口 IP
不需要提取 IP,也没有提取链接。固定一个网关地址和端口,账号密码认证,每次新建连接自动分配出口 IP:HTTPS 请求每个 CONNECT 隧道一个出口,SOCKS5 每个连接一个出口,普通 HTTP 请求每个请求一个出口。HTTPS 隧道和 SOCKS5 连接存续期间,同一连接内 IP 不变。
使用 requests.Session、长连接(keep-alive)或连接池时,同一个连接会复用同一个出口 IP;要换 IP 就新建连接(或关闭 keep-alive)。出口每次从 IP 池里选,后面的连接可能再次拿到用过的 IP,Node4 不承诺每次都是新 IP,也不承诺不同请求一定来自不同的 IP。
两种计费方式各有自己的网关地址和端口,请连接所购套餐对应的那一个。在用户名里加 -country-us、-country-it 或 -country-es 可以把出口限定在一个国家;普通 HTTP 响应和拒绝响应带 X-Node4-Country 头说明是否生效,HTTPS 隧道里没有这个头,用 IP 回显确认即可。
- 动态数据中心代理网关地址
- gw-rotating_datacenter.node4.io
- 动态数据中心代理 HTTP / SOCKS5 端口
- 8083 / 1083
- 不限流量动态代理网关地址
- gw-rotating_unmetered.node4.io
- 不限流量动态代理 HTTP / SOCKS5 端口
- 8084 / 1084
curl -x "http://USERNAME:PASSWORD@gw-rotating_datacenter.node4.io:8083" https://api.ipify.org
curl -x "http://USERNAME:PASSWORD@gw-rotating_datacenter.node4.io:8083" https://api.ipify.org会话保持:同一出口最长 30 分钟
登录、购物车、多步表单等需要连续性的流程,在用户名里加 -session-<id>,带同一个 id 的请求都从同一个出口 IP 发出,最长 30 分钟。时长从首次分配起算,不随请求延长,超过后要继续就换一个新的 id,或者让程序容忍到期时出口变化。去掉参数就回到按连接轮换,没有状态要清理。
HTTP 和 SOCKS5 两个监听端口查的是同一个会话存储,一个流程可以在一种协议上开始、在另一种上继续。每个逻辑身份用一个 session id;某个出口在目标网站那里已经不受欢迎时,换一个 id 即可。
参数名拼错(例如 -sesion-)不会收到“拼写错误”这样的提示,后果取决于它的位置:紧跟在用户名后面时,网关认不出这个标记,整串都被当作用户名,和账号密码对不上,返回 407;写在 -country- 等已识别的参数后面时,它会成为该参数值的一部分,可能导致地区选择失败,或者没有启用预期的会话保持。请从控制台复制生成的用户名;手写参数时,先验证不带参数的账号密码能通过,再逐项添加参数。
按流量还是按并发连接数
两种套餐的 IP 池、换 IP 方式和会话保持完全相同,区别只在计费单位。按流量付费,成本只跟流量走,不按 IP 数量收费;按并发连接数付费,买的是同时保持多少个连接的能力,每个连接传 2 KB 还是 2 MB 不影响价格。
单次响应只有几 KB 的任务(API 轮询、价格查询、库存和状态检查),几十万次请求也只有几 GB,按流量更便宜,为用不上的并发付费反而更贵。单次响应以 MB 计的任务(整页 HTML 及资源、文件下载、媒体),上万次就是几十 GB,按流量的账单随任务增长,不限流量动态代理的账单不变。并发低、流量少的任务选按流量;流量大、长时间运行的任务选按并发连接数。
不限流量动态代理的规格按并发峰值买,不按平均值:平时空闲、偶尔上千个连接同时在跑的突发型任务,要按突发时的连接数选规格,可能比按流量计费更贵。
| 对比项目 | 动态数据中心代理 | 不限流量动态代理 |
|---|---|---|
| 计费单位 | 流量(GB) | 并发连接数 |
| 流量 | 套餐内额度,可购买流量,当前周期内有效 | 不计流量,没有超量费 |
| 并发连接数 | 套餐不设上限,不计费(仅平台级防滥用限制) | 所购数量即上限,网关强制执行 |
| 出口 IP 池 | 美国、意大利、西班牙,同一个 IP 池 | 同一个 IP 池 |
| 会话保持 | session 参数,最长 30 分钟 | session 参数,最长 30 分钟 |
| 达到上限时 | 访问暂停,直到购买流量或进入下一周期;开启流量自动充值的除外 | 新连接被拒绝,已建立的连接不受影响 |
| 适合 | 请求多、单次响应小、并发低 | 响应大、流量大、长时间运行 |
达到并发上限会发生什么
不限流量动态代理的规格就是您的账号同时能通过网关保持的连接数,统计的是同时打开的连接,不是不同 IP 的数量。全部占满时,下一个新连接被拒绝:HTTP 返回 429,带 X-Node4-Conn-Limit 头;SOCKS5 返回 0x02(不允许连接)。已建立的连接照常运行,网关不排队也不限速。立刻重试没有用,每次重试都是又一次被拒绝。
上限属于账号:所有账号密码、所有来源 IP、两种协议共用同一个额度,分散到多台网关服务器也不增加容量;白名单连接和密码连接一样计数;一个账号下两个不限流量套餐的上限相加,网关地址和账号密码不变。被拒绝的连接不计费。
多数拒绝来自并发设置高于套餐,或连接开着没关:把 Scrapy 的 CONCURRENT_REQUESTS 或线程池大小设在上限以内;每个工作线程复用一个会话,多个请求走同一条隧道;任务结束关闭会话,给连接池设较短的空闲超时;遇到网关 429 等一两秒再重试。控制台不限流量动态代理标签页的实时连接面板显示当前打开数、上限和最近被拒绝次数,API 的 /connections/live 返回同样的数字。面板里连续多分钟触顶,说明任务需要更大的规格,再买一个套餐即可,两个套餐的上限相加。
| 客户端打开的是 | 占用一个连接名额的时间 |
|---|---|
| 通过代理的 HTTPS 请求(CONNECT 隧道) | 隧道存续的全部时间,包括 keep-alive 空闲期 |
| 通过代理的普通 HTTP 请求 | 该请求进行期间 |
| SOCKS5 连接 | 连接存续的全部时间 |
动态代理解决什么,不解决什么
轮换解决的是按 IP 计数的限制:请求分散到许多出口,每个 IP 都在目标网站的频率限制之下,某个 IP 被封只影响落在它上面的请求。它不改变 IP 的类型:这个池里全是机房 IP,整段拒绝机房 IP 的网站会拒绝其中每一个,轮不轮换都一样,这类任务请用住宅代理。它也不隐藏 IP 以外的东西:cookie、请求头和 TLS 指纹随客户端一起发出,按这些关联的网站仍能把您的请求连起来。
店铺后台登录请用住宅代理或独享数据中心代理:住宅代理可指定店铺所在的国家和城市,用 session 参数尽量保持同一出口 IP(最长 30 分钟,不作保证);独享数据中心代理的 IP 长期固定,一店一 IP。共享数据中心代理和动态代理不建议用于店铺后台登录。
需要合作方白名单的固定地址,请用独享数据中心代理。
适合与不适合的任务
适合
- 搜索结果、商品列表、库存和价格的采集:每个请求独立,频率限制按 IP 计
- 定时或突发的批量任务:按流量付费时空闲期不花钱
- 多步流程中的某几步:加 session 参数保持出口,走完再去掉
- 长时间、大流量的无人值守采集:选不限流量动态代理,按并发连接数付费
不适合
- 目标网站整段拒绝机房 IP:请用住宅代理
- 店铺后台和其他登录态账号:请用住宅代理或独享数据中心代理
- 合作方 API 白名单等需要固定地址的场景:请用独享数据中心代理
- 需要美国、意大利、西班牙以外出口的任务:请用住宅代理
常见问题
IP 多久换一次?
每次新建连接分配一个出口 IP:HTTPS 每个 CONNECT 隧道一个,SOCKS5 每个连接一个,普通 HTTP 每个请求一个。保持 keep-alive 的客户端在关闭连接前一直用同一个出口。出口可能重复出现。需要固定时加 session 参数,最长 30 分钟。
是隧道代理吗?要提取 IP 吗?
是固定入口的网关,不需要提取 IP,也没有提取链接。代码里写一个网关地址、一个端口和一组账号密码,换 IP 由网关在后面完成,IP 池的增减和更换都不需要您改代码。
能指定国家吗?
可以,美国、意大利和西班牙,也就是自有 IP 段所在的国家。在用户名里加 -country-us、-country-it 或 -country-es。其他国家请用住宅代理,它可以指定到州和城市。
不限流量动态代理真的不限流量吗?
是。不按 GB 计费,没有流量额度,也没有超量费;它限制的是并发连接数,所购数量就是上限。Node4 能这样计费,是因为出口是自有 IP 段上的机房 IP,流量不是按 GB 从供应商买来的。
有不限流量的住宅代理吗?
没有。住宅代理的每一 GB 都来自合作伙伴网络,所以按流量(GB)计费,可以轮换也可以会话保持。不限流量只针对数据中心 IP 池。
动态代理和住宅代理有什么区别?
同样是一个固定入口、按连接换 IP,区别在 IP 池。动态代理走 Node4 自有的机房 IP 段,每 GB 便宜、速度稳定,但检测工具显示为机房 IP;住宅代理走合作伙伴网络的家庭宽带,用于整段拒绝机房 IP 的网站,每 GB 更贵。拿不准时先测动态代理。
可以用 IP 白名单认证吗?
可以。登记来源 IP 后不带密码连接,拿到不指定国家的出口;也可以保留用户名、密码留空,这样国家参数和 session 参数照常生效。两种认证都算在同一个并发额度里。
多少线程?
按流量计费的动态数据中心代理不设套餐级并发上限,并发不计费,只有平台级针对单个来源 IP 的防滥用限制。不限流量动态代理的并发连接数就是所购规格,网关强制执行,按突发时的峰值选规格。
超过并发上限会扣费吗?
不会。超过上限的新连接被拒绝(HTTP 429,带 X-Node4-Conn-Limit 头),不产生费用,已建立的连接不受影响。需要更多并发时再买一个套餐,两个套餐的上限相加。
两种套餐的流量额度共用吗?
不共用。动态数据中心代理有自己的流量额度和网关地址;不限流量动态代理没有流量额度,它限制的是并发连接数,网关地址也不同。请连接所购套餐对应的网关。
先按流量测,再决定要不要换计费方式
买最小规格的动态数据中心代理,跑一段有代表性的任务,在控制台的用量统计里读出每单位工作消耗多少 GB。流量而不是连接数决定账单时,换到不限流量动态代理,规格按并发峰值选。