^-^
curl命令和wget工具
  1. curl
  2. wget
项目 对应状态检查命令
服务 systemctl/service/chkconfig(CentOS6)
进程 ps/pstree/pgrep/pidstat/top/htop
CPU top/free/ps/iotop(swap)/vmstat/mpstat/sar/hcache(buffer+cache)
磁盘 iotop/iostat/sar
网络 iftop(整体宽带使用情况)/nethogs(精确到进程)/nstat/ifstat/mtr/sar
硬件 Megacli(raid)/ipmitool(温度，cpu，风扇转速)/Im_sensors(温度)

curl

curl 是常用的命令行工具，用来请求 Web 服务。

不带有任何参数时，curl 就是发出 GET 请求，比如：curl https://www.example.com

-A

-A参数指定客户端的用户代理标头，即User-Agent。

下面命令将User-Agent改成 Chrome 浏览器

1
2
3
4
5
6
7
8
# 将`User-Agent`改成 Chrome 浏览器
curl -A 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36' https://google.com

# 移除`User-Agent`标头
curl -A '' https://www.example.com

# 也可以通过 -H 参数直接指定标头，更改User-Agent
 curl -H 'User-Agent: php/1.0' https://www.example.com

-b

-b参数用来向服务器发送 Cookie

1
2
3
4
5
6
7
8
# 生成一个标头Cookie: foo=bar，向服务器发送一个名为foo、值为bar的 Cookie
curl -b 'foo=bar' https://google.com

# 发送两个 Cookie
curl -b 'foo1=bar;foo2=bar2' https://google.com

# 读取本地文件cookies.txt，里面是服务器设置的 Cookie（参见-c参数），将其发送到服务器
curl -b cookies.txt https://www.google.com

-c

-c参数将服务器设置的 Cookie 写入一个文件

1
2
# 将服务器的 HTTP 回应所设置 Cookie 写入文本文件cookies.txt
curl -c cookies.txt https://www.google.com

-d

-d参数用于发送 POST 请求的数据体

1
2
3
4
5
6
7
8
# 使用 -d 参数，请求会自动加上标头 `Content-Type : application/x-www-form-urlencoded`
# 理论上使用 -d 参数会自动将请求转为 POST 方法，因此可以省略-X POST
curl -d 'login=emma＆password=123' -X POST https://google.com/login
# 或者
curl -d 'login=emma' -d 'password=123' -X POST  https://google.com/login

# 可以读取本地文本文件 data.txt 的数据，向服务器发送
curl -d '@data.txt' https://google.com/login

--data-urlencode

--data-urlencode参数等同于-d，发送 POST 请求的数据体，区别在于会自动将发送的数据进行 URL 编码

1
2
3
# 为什么需要URL编码？

# 通常如果一样的东西需要编码，就说明这样的东西并不适合传输。至于原因有多种多样，size过大，包含隐私数据等等。对于URL来说，之所有要进行编码，是因为URL中有些字符会引起歧义。例如，URL参数字符串中如果包含”&”或者”%”势必会造成服务器解析错误，所以需要对其进行编码。又如，URL的编码格式采用的是ASCII码而不是Unicode，这也就是说你不能在URL中包含任何非ASCII字符，比如中文
1
2
# 发送的数据hello world之间有一个空格，需要进行 URL 编码
curl --data-urlencode 'comment=hello world' https://google.com/login

-e

-e参数用来设置 HTTP 的标头Referer，表示请求的来源

1
2
3
4
5
# 将Referer标头设为https://google.com?q=example
curl -e 'https://google.com?q=example' https://www.example.com

# -H参数可以通过直接添加标头Referer，达到同样效果
curl -H 'Referer: https://google.com?q=example' https://www.example.com

-F

-F参数用来向服务器上传二进制文件

1
2
3
4
5
6
7
8
# 将文件photo.png作为file字段上传，给请求自动加上标头 `Content-Type: multipart/form-data`
curl -F 'file=@photo.png' https://google.com/profile

# 指定 MIME 类型为image/png，否则 curl 会把 MIME 类型设为application/octet-stream
curl -F 'file=@photo.png;type=image/png' https://google.com/profile

# -F参数也可以指定文件名，原始文件名为photo.png，但是服务器接收到的文件名为me.png。
curl -F 'file=@photo.png;filename=me.png' https://google.com/profile

-G

-G参数用来构造 URL 的查询字符串

1
2
3
4
5
# 发出一个 GET 请求，请求的URL为https://google.com/search?q=kitties&count=20。如果省略--G，会发出一个 POST 请求
curl -G -d 'q=kitties' -d 'count=20' https://google.com/search

# 数据需要 URL 编码，可以结合--data--urlencode参数
curl -G --data-urlencode 'comment=hello world' https://www.example.com

-H

-H参数添加 HTTP 请求的标头

1
2
3
4
5
6
7
8
# 添加 HTTP 标头`Accept-Language: en-US`
curl -H 'Accept-Language: en-US' https://google.com

# 添加两个 HTTP 标头
curl -H 'Accept-Language: en-US' -H 'Secret-Message: xyzzy' https://google.com

# 添加 HTTP 请求的标头是`Content-Type: application/json`，然后用-d参数发送 JSON 数据
curl -d '{"login": "emma", "pass": "123"}' -H 'Content-Type: application/json' https://google.com/login

-i

-i参数打印出服务器回应的 HTTP 标头

1
2
# 下面命令收到服务器回应后，先输出服务器回应的标头，然后空一行，再输出网页返回的源码
curl -i https://www.example.com

-I

-I参数向服务器发出 HEAD 请求，然会将服务器返回的 HTTP 标头打印出来，等同于--head选项

1
2
3
# 什么是head请求？

# HTTP HEAD 方法是一个HTTP协议中的请求方法之一，它类似于HTTP GET 方法，但是它不返回响应正文体。 在请求时，服务器将只返回对应资源的HTTP头部信息。 通过使用HEAD方法，客户端可以在不必获取资源本身的情况下，了解资源的元数据，例如：内容类型、大小、修改时间等信息。
1
2
3
# 输出服务器对 HEAD 请求的回应
curl -I https://www.example.com
curl --head https://www.example.com

-k

-k参数指定跳过 SSL 检测

1
2
# 下面命令不会检查服务器的 SSL 证书是否正确
curl -k https://www.example.com

-L

curl 默认不跟随重定向，-L参数会让 HTTP 请求跟随服务器的重定向。

1
curl -L -d 'tweet=hi' https://api.twitter.com/tweet

--limit-rate

--limit-rate用来限制 HTTP 请求和回应的带宽，模拟慢网速的环境

1
2
# 将带宽限制在每秒 200K 字节
curl --limit-rate 200k https://google.com

-o

-o参数将服务器的回应保存成文件，等同于wget命令

1
2
# 将www.example.com返回的数据保存成example.html文件
curl -o example.html https://www.example.com

-O

-O参数也是将服务器回应保存成文件，并自动将 URL 的最后部分当作文件名

1
2
# 将服务器回应保存成文件，文件名为bar.html
curl -O https://www.example.com/foo/bar.html

-u

-u参数用来设置服务器认证的用户名和密码

1
2
3
4
5
6
7
8
# 设置用户名为bob，密码为12345，然后将其转为 HTTP 标头 `Authorization: Basic Ym9iOjEyMzQ1`
curl -u '邓胖胖:1' http://bbs.dengjinjun.site

# curl 能够识别 URL 里面的用户名和密码，将其转为上个例子里面的 HTTP 标头
curl http://邓胖胖:1@bbs.dengjinjun.site

# 只设置用户名，执行后，curl 会提示用户输入密码
curl -u '邓胖胖' http://bbs.dengjinjun.site

-v

-v参数输出通信的整个过程，用于调试

1
2
3
4
curl -v https://www.example.com

# --trace参数也可以用于调试，还会输出原始的二进制数据
curl --trace - https://www.example.com

-X

-X参数指定 HTTP 请求的方法

1
2
# 对https://www.example.com发出 POST 请求
curl -X POST https://www.example.com

wget

wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP下载，并可以使用HTTP代理。

查看最新的 wget 命令所有参数，可以直接输入wget -h查看

下面给出几个 Linux wget 命令的使用示例

1、使用 wget 下载单个文件

1
wget https://cn.wordpress.org/latest-zh_CN.zip

2、下载并指定文件名保存

1
wget -O wordpress.zip https://cn.wordpress.org/latest-zh_CN.zip

3、wget 限速下载

1
wget --limit-rate=300k https://cn.wordpress.org/latest-zh_CN.zip

4、使用 wget 后台下载

1
wget -b https://cn.wordpress.org/latest-zh_CN.zip

5、使用 wget 断点续传

1
wget -c https://cn.wordpress.org/latest-zh_CN.zip

6、伪装浏览器下载

1
wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" https://cn.wordpress.org/latest-zh_CN.zip

7、测试下载链接

1
wget --spider https://cn.wordpress.org/latest-zh_CN.zip

8、增加重试次数

1
wget --tries=40 https://cn.wordpress.org/latest-zh_CN.zip

9、下载多个文件

1
2
# filelist 里面都是 url， 通常以行分割
wget -i filelist.txt

10、把下载信息存入日志文件

1
wget -o download.log https://cn.wordpress.org/latest-zh_CN.zip

11、FTP 下载

1
wget --ftp-user=USERNAME --ftp-password=PASSWORD url
2024-01-12 该篇文章被 邓胖胖 打上标签: Linux 归为分类: 学习笔记