实现FTP定时从服务器取文件并增量读取，关键在于用脚本比对文件时间戳或大小，再配合cron等定时任务执行，避免重复下载。
FTP定时从服务器取文件怎么配置增量读取？核心逻辑与初始设置
增量读取听起来很专业，说白了就是每次只取新文件或变动的文件，不重复拉取旧数据，配置的思路其实很直接：利用文件自身的属性做判断。
基于文件修改时间的增量方案
时间戳是判断文件是否更新的最常用依据，你的脚本先记录上次下载的最大时间点，下次执行时只下载修改时间晚于该时间点的文件，FTP协议本身支持MLSD命令获取精确时间，但很多老服务器只支持LIST，解析起来需要一点技巧，lftp工具在这方面做得很好，直接用--newer-than参数就能搞定。
基于文件大小的增量方案
如果服务器时间不准，或者文件只增不减（比如日志文件），可以改用文件大小作为判断条件，脚本记录上次下载时每个文件的大小，下次对比当前大小，如果变大则重新下载整个文件，或者用REST命令从断点续传，但这种方法只适合追加写入的场景,不适合文件内容被修改但大小不变的情况。
两种方案结合使用更可靠
多数情况下，时间戳和大小组合使用能覆盖绝大多数需求，你可以在脚本里先检查时间戳，如果时间戳相同再检查大小，两者都变才触发下载，这样既避免了频繁传输，又不会漏掉异常修改，业内专家指出，在金融数据同步场景中，这种双重校验几乎是标配,能有效防止因时钟偏差导致的数据遗漏。
SFTP增量读取配置步骤：从密钥到脚本
SFTP基于SSH，安全性更高，但增量读取的配置思路和FTP类似,只是工具和命令稍有不同。
密钥认证免密登录
定时任务最怕交互式密码输入，你需要先在本机生成SSH密钥对，把公钥上传到服务器~/.ssh/authorized_keys，私钥放到本机并设置权限600，这样脚本里直接用-i参数指定私钥，就能实现无密码登录,定时任务才能顺利跑起来。
使用sftp命令配合脚本实现增量
SFTP的get命令本身不支持增量过滤，但你可以通过ls -l获取文件列表和时间,再用循环判断。
sftp -i key user@host <<EOF cd /remote/path ls -l EOF
然后解析输出，对比本地记录的时间戳，只下载新文件，更高效的方式是用rsync over SSH，但那是另一套方案，如果服务器不允许装rsync,sftp脚本是唯一选择。
用lftp统一管理FTP和SFTP
lftp不仅支持FTP，也支持SFTP和FTPS,你只需要改一下协议前缀：
lftp sftp://user@host -e "set sftp:connect-program 'ssh -a -x -i key'; mirror --newer-than=2026-01-01 --only-newer"这样一条命令就能完成增量下载，极其适合定时任务，而且lftp的mirror命令自带断点续传和增量同步,是专业运维的首选工具。
FTP与SFTP对比：哪个更适合定时文件传输？
很多人在做定时任务时纠结选FTP还是SFTP，下面从几个关键维度对比,帮你快速决策。
| 维度 | FTP | SFTP |
|---|---|---|
| 安全性 | 明文传输，密码和数据易被截获 | 基于SSH加密，传输过程安全 |
| 端口 | 21（控制）+20（数据），被动模式需随机端口 | 22，单一端口，防火墙友好 |
| 配置复杂度 | 简单，但主动/被动模式容易搞混 | 依赖SSH密钥，前期配置稍多 |
| 自动化脚本 | 支持广泛，lftp、curl均可 | 需额外注意密钥和会话管理 |
| 适用场景 | 内网、非敏感数据、老系统 | 外网、敏感数据、合规要求高的环境 |
场景推荐：如果你在国内服务器之间做定时同步，且内网环境封闭，FTP依然够用，性能也更好，如果涉及公网传输或客户数据，直接选SFTP，不要省那点配置时间，行业共识认为，2026年以后，新项目默认应使用SFTP,FTP只保留在遗留系统中。
定时任务配置实战：cron与shell脚本
理论讲完，上实操步骤，我以Linux环境为例,Windows用任务计划程序同理。
编写增量下载脚本
创建一个脚本文件sync.sh如下：
#!/bin/bash
# 定义变量
HOST="ftp.example.com"
USER="user"
PASS="pass"
REMOTE_DIR="/data/logs"
LOCAL_DIR="/local/logs"
TIMESTAMP_FILE="/tmp/last_sync.txt"
# 获取上次同步时间，默认1小时前
if [ -f "$TIMESTAMP_FILE" ]; then
LAST_SYNC=$(cat "$TIMESTAMP_FILE")
else
LAST_SYNC=$(date -d '1 hour ago' '+%Y%m%d%H%M%S')
fi
# 使用lftp执行增量下载
lftp -u "$USER","$PASS" "$HOST" <<EOF
cd "$REMOTE_DIR"
lcd "$LOCAL_DIR"
mirror --only-newer --newer-than="$LAST_SYNC" --verbose
quit
EOF
# 更新同步时间戳
date '+%Y%m%d%H%M%S' > "$TIMESTAMP_FILE"
这个脚本先读取上次同步时间，然后只下载比它新的文件，完成后更新时间戳，如果文件很大，可以加上--parallel=5开启并发下载,提升速度。
配置cron定时任务
用crontab -e编辑定时规则,比如每天凌晨3点执行：
0 3 /path/to/sync.sh >> /var/log/ftp_sync.log 2>&1注意日志重定向，方便排查问题，如果文件数量多，建议把--verbose写入日志，但别在终端输出,避免cron发送大量邮件。
Windows下的替代方案
Windows没有原生lftp，但可用WinSCP的命令行模式或curl，PowerShell脚本配合Schedule Task也能实现，但稳定性不如Linux下的cron，如果条件允许，把定时任务放在Linux跳板机上中转,管理更方便。
增量读取实践中的常见问题与优化
即使配置正确，实际运行中也会遇到各种坑,下面列出几个高频问题及解决方案。
文件数量过多导致性能下降
当远端目录有数十万文件时，ls或mirror的列表操作会非常慢，解决方法：按日期或首字母分层子目录，减少单次扫描范围，或者使用lftp的--depth参数限制递归深度,只扫描当前层。
断点续传与文件一致性
文件正在写入时被下载，可能拿到不完整数据，建议在脚本中加入sleep等待，或者让服务器端把文件改为.tmp后缀，写完再重命名，lftp的mirror默认会做大小校验，但大文件下载中断后，用--continue参数自动续传,避免从头开始。
日志与监控告警
定时任务最怕无声失败，建议脚本中增加异常捕获，如果下载失败，通过邮件或钉钉机器人通知，同时保留最近7天的日志，方便回溯。统计显示，大多数同步故障是由网络波动或磁盘空间不足引起的，日志里记录退出码和错误信息,能快速定位。
FTP定时取文件常见问题与解答
Q：用cron每分钟执行增量同步，会不会对服务器造成压力？
A：如果只检查文件列表，不对文件内容做校验，负载很小，但建议设置合理的时间间隔，比如5分钟或更久，避免频繁握手，如果文件数量超过1万，可以考虑用rsync替代，它只传递差异部分,对服务器更友好。
Q：SFTP配置时提示“Host key verification failed”怎么解决？
A：首次连接时，SFTP会验证服务器主机密钥，自动化脚本中，可以在~/.ssh/config里加上StrictHostKeyChecking no，或直接连接到已知主机后手动接受一次密钥，但注意，关闭校验会降低安全性,仅限于内网或可控环境。
Q：公司预算有限，有没有免费的FTP增量同步工具？
A：lftp和curl都是开源免费工具，功能完整，支持FTP和SFTP，Windows下可以用FreeFTP或WinSCP的免费版，但命令行授权需要留意开源协议。价格方面，这些工具完全零成本，比购买商业软件更划算,尤其适合初创公司或预算紧张的项目。
首发原创文章，作者：王坚，如若转载，请注明出处：https://test.idctop.com/article/580394.html
