当前位置: 首页 > news >正文

19.2 HTTP客户端-定制HTTP请求、调试HTTP、响应超时

1. 定制HTTP请求

如果需要对向服务器发送的HTTP请求做更多超越于默认设置的定制化。

  • client := http.Client{}
    • 使用net/http包提供的导出类型Client,创建一个表示客户端的变量。
  • request, err := http.NewRequest("GET", "https://ifconfig.io/ip", nil) 
    • 调用net/http包提供的导出函数NewRequest,构建一个HTTP请求。
    • 参数解析:请求类型,目标url;返回1个request变量。
  • response, err := client.Do(request)
    • 用所创建的客户端发送所构建的HTTP请求,并获取响应。

用这种方法可以单独设置请求头基本身份验证cookies等请求参数。

一般而言,除非要完成的任务非常简单,否则推荐使用这种定制化方法。

// 定制HTTP请求
// 如果快捷方法产生的简单GET请求不足以满足对请求报文
// 做进一步控制的需要,则可以使用自定义的HTTP客户端
package main
import ("fmt""io/ioutil""log""net/http"
)func main() {client := http.Client{}request, err := http.NewRequest("GET", "https://ifconfig.io/ip", nil)if err != nil {log.Fatal(err)}response, err := client.Do(request)if err != nil {log.Fatal(err)}defer response.Body.Close()resBody, err := ioutil.ReadAll(response.Body)if err != nil {log.Fatal(err)}fmt.Printf("%s", resBody)
}
// 打印输出:
xxx.xxx.xxx.xxx 显示客户端ip,已隐去

 2. 调试HTTP

Go语言标准库的net/http/httputil包提供了一些方法,可用于调试往返于客户端和服务器之间的HTTP请求响应

  • 打印请求包,下面2个函数均返回关于“请求”或“响应”的字节切片,转为为字符串格式即可打印显示。
    • debugRequest, err := httputil.DumpRequestOut(request, true)
    • fmt.Printf("%s", debugRequest)
  • 打印响应包
    • debugResponse, err := httputil.DumpResponse(response, true)
    • fmt.Printf("%s", debugResponse)

如果我们希望仅在调试环节打印这些信息,那么可以将DEBUG设置为1个环节变量或配置变量,通过os包Getenv函数用于获取环境变量的值,可据此判断是否打印调试信息。

  • debug := os.Getenv("DEBUG")
// 调试HTTP请求
// net/http/httputil包的DumpRequestOut和DumpResponse函
// 数,可用于在调试过程中查看HTTP请求和响应,帮助查找BUG
package mainimport ("fmt""io/ioutil""log""net/http""net/http/httputil""os"
)func main() {debug := os.Getenv("DEBUG")client := http.Client{}request, err := http.NewRequest("GET", "https://ifconfig.io/ip", nil)if err != nil {log.Fatal(err)}request.Header.Add( // 通过设置请求头,设置了可接受的响应内容类型为json"Accept", "application/json")if debug == "1" {	// 打印请求debugRequest, err :=httputil.DumpRequestOut(request, true)if err != nil {log.Fatal(err)}fmt.Printf("%s", debugRequest)}response, err := client.Do(request)if err != nil {log.Fatal(err)}defer response.Body.Close()if debug == "1" {	// 打印响应debugResponse, err :=httputil.DumpResponse(response, true)if err != nil {log.Fatal(err)}fmt.Printf("%s", debugResponse)}resBody, err := ioutil.ReadAll(response.Body)if err != nil {log.Fatal(err)}fmt.Printf("%s", resBody)
}
// 打印输出:
GET /ip HTTP/1.1
Host: ifconfig.io
User-Agent: Go-http-client/1.1
Accept: application/json
Accept-Encoding: gzipHTTP/2.0 200 OK
Content-Length: 13
Alt-Svc: h3-24=":443"; ma=86400, h3-23=":443"; ma=86400
Cf-Cache-Status: DYNAMIC
Cf-Ray: 562461317d37d342-LAX
Content-Type: text/plain; charset=utf-8
Date: Sun, 09 Feb 2020 08:12:40 GMT
Expect-Ct: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
Server: cloudflare
Set-Cookie: __cfduid=d9ad8e7d64d78d19d075953bebfb13afa1581235960; expires=Tue, 10-Mar-20 08:12:40 GMT; path=/; domain=.ifconfig.io; HttpOnly; SameSite=Laxxxx.xxx.xxx.xxx	客户端ip,已隐去
xxx.xxx.xxx.xxx

 3. 响应超时

客户端向服务器发送请求后,完全无法知道服务器会在多长时间内返回响应。

在系统的底层,有太多因素会对响应时间构成影响。

  • 在客户端一侧:
    • DNS查找速度
    • 创建TCP套接字的速度
    • 与服务器建立TCP连接的速度
    • TLS握手的速度(如果使用HTTPS)
    • 向服务器发送数据的速度
  • 在服务器一侧:
    • 重定向的速度
    • 业务处理的速度
    • 向客户端发送数据的速度

默认方式创建的客户端没有对响应设置超时,这意味着:

  • 如果服务器很久甚至永远没有向客户端返回响应,客户端将一直等待
  • 维持这条连接的内存和表示这个套接字的文件描述符,也将一直存在
  • 如果发出的多个请求都是这种情况,那么客户端的资源将会很快耗尽

建议为客户端设置响应超时,一旦超过时间还没有收到响应,即宣告错误

  • client := http.Client{Timeout: 1 * time.Second}

        在声明http.Client变量对象时,设置其Timeout字段值,例如设置响应超 时1秒钟 。

  • response, err := client.Do(request)

        继续使用client.Do发送请求,如果超过一秒钟还没收到来自服务器的响应,则返回错误。

// 处理响应超时
// HTTP客户端在向服务器发送请求后,完全无法知道何时能收到对方的响应。
// 建议设置一个超时时间,如果在指定的时间内没有收到响应,则返回错误
package main
import ("fmt" "io/ioutil" "log" "net/http" "net/http/httputil" "os" "time" 
)
func main() {debug := os.Getenv("DEBUG")client := http.Client{Timeout: 1 * time.Second}request, err := http.NewRequest("GET", "https://ifconfig.io/ip", nil)if err != nil {log.Fatal(err)}if debug == "1" {debugRequest, err :=httputil.DumpRequestOut(request, true)if err != nil {log.Fatal(err)}fmt.Printf("%s", debugRequest)}response, err := client.Do(request)if err != nil {log.Fatal(err)}defer response.Body.Close()if debug == "1" {debugResponse, err :=httputil.DumpResponse(response, true)if err != nil {log.Fatal(err)}fmt.Printf("%s", debugResponse)}resBody, err := ioutil.ReadAll(response.Body)if err != nil {log.Fatal(err)}fmt.Printf("%s", resBody)
}
// 打印输出:
2020/02/09 14:21:08 Get https://ifconfig.io/ip: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)

使用Transport可以更精细化地控制超时,甚至为传输的每个阶段设置超时。此时,我们需要填充client结构体中的Transport字段,该字段值是由一个http导出类型(公有类型)Transport所创建的结构体变量,该结构体可包含多个字段,通过每个字段为传输的每个阶段设置单独的超时时间。

  • dl := net.Dialer{
  •     Timeout:   30 * time.Second,
  •     KeepAlive: 30 * time.Second,
  • }
  • tr := http.Transport{
  •     DialContext:           dl.DialContext,
  •     TLSHandshakeTimeout:   10 * time.Second,
  •     IdleConnTimeout:       90 * time.Second,
  •     ResponseHeaderTimeout: 10 * time.Second,
  •     ExpectContinueTimeout:  1 * time.Second,
  • }
  • client := http.Client{Transport: &tr}
// 精细化控制超时
// 使用Transport可以更精细化地控制超时,甚 
// 至为HTTP传输的每个阶段设置独立的超时
package mainimport ("fmt""io/ioutil""log""net""net/http""net/http/httputil""os""testing""time"
)func TestFineResponseTimeout(t *testing.T) {debug := os.Getenv("DEBUG")dl := net.Dialer{Timeout:   30 * time.Second,KeepAlive: 30 * time.Second,}tr := http.Transport{DialContext:           dl.DialContext,TLSHandshakeTimeout:   10 * time.Second,IdleConnTimeout:       90 * time.Second,ResponseHeaderTimeout: 10 * time.Second,ExpectContinueTimeout: 1 * time.Second,}client := http.Client{Transport: &tr}request, err := http.NewRequest("GET", "https://ifconfig.io/ip",nil)if err != nil {log.Fatal(err)}if debug == "1" {debugRequest, err :=httputil.DumpRequestOut(request, true)if err != nil {log.Fatal(err)}fmt.Printf("%s", debugRequest)}response, err := client.Do(request)if err != nil {log.Fatal(err)}defer response.Body.Close()if debug == "1" {debugResponse, err :=httputil.DumpResponse(response, true)if err != nil {log.Fatal(err)}fmt.Printf("%s", debugResponse)}resBody, err := ioutil.ReadAll(response.Body)if err != nil{log.Fatal(err)}fmt.Printf("%s",resBody)
}
// 打印输出:
2020/02/09 16:39:39 Get https://ifconfig.io/ip: dial tcp: lookup ifconfig.io: no such host //手动断网导致访问失败

相关文章:

19.2 HTTP客户端-定制HTTP请求、调试HTTP、响应超时

1. 定制HTTP请求 如果需要对向服务器发送的HTTP请求做更多超越于默认设置的定制化。 client : http.Client{} 使用net/http包提供的导出类型Client,创建一个表示客户端的变量。request, err : http.NewRequest("GET", "https://ifconfig.io/ip&quo…...

KafkaQ - 好用的 Kafka Linux 命令行可视化工具

软件效果前瞻 ~ 鉴于并没有在网上找到比较好的linux平台的kafka可视化工具,今天为大家介绍一下自己开发的在 Linux 平台上使用的可视化工具KafkaQ 虽然简陋,主要可以实现下面的这些功能: 1)查看当前topic的分片数量和副本数量 …...

不愧是字节,图像算法面试真细致

这本面试宝典是一份专为大四、研三春招和研二暑假实习生准备的珍贵资料。 涵盖了图像算法领域的核心知识和常见面试题,包括卷积神经网络、实例分割算法、目标检测、图像处理等多个方面。不论你是初学者还是有经验的老手,都能从中找到实用的内容。 通过…...

14、C++中代码重用

1、C模板的主要作用是允许编写通用代码,即能够在不同数据类型或数据结构上工作而无需重复编写代码。通过模板,可以实现代码的复用性和灵活性,从而提高开发效率和程序的可维护性。 typename关键字: 在C中,typename关键…...

剖析框架代码结构的系统方法(下)

当面对Dubbo、Spring Cloud、Mybatis等开源框架时,我们可以采用一定的系统性的方法来快速把握它们的代码结构。这些系统方法包括对架构演进过程、核心执行流程、基础架构组成和可扩展性设计等维度的讨论。 在上一讲中,我们已经讨论了架构演进过程和核心执行流程这两个系统方法…...

C语言学习笔记之结构体(一)

目录 什么是结构体? 结构体的声明 结构体变量的定义和初始化 结构体成员的访问 结构体传参 什么是结构体? 在现实生活中的很多事物无法用单一类型的变量就能描述清楚,如:描述一个学生,需要姓名,年龄&a…...

MATLAB入门知识

目录 原教程链接:数学建模清风老师《MATLAB教程新手入门篇》https://www.bilibili.com/video/BV1dN4y1Q7Kt/ 前言 历史记录 脚本文件(.m) Matlab帮助系统 注释 ans pi inf无穷大 -inf负无穷大 i j虚数单位 eps浮点相对精度 0/&a…...

计算机网络(5) ARP协议

什么是ARP 地址解析协议,即ARP(Address Resolution Protocol),是根据IP地址获取物理地址的一个TCP/IP协议。主机发送信息时将包含目标IP地址的ARP请求广播到局域网络上的所有主机,并接收返回消息,以此确定…...

美团的 AI 面试有点简单

刷到一个美团的 AI 实习生的面试帖子,帖子虽然不长,但是把美团 AI 评测算法实习生面试的问题都po出来了。 单纯的看帖子中面试官提出的问题,并不是很难,大部分集中在考察AI项目和对AI模型的理解上,并没有过多的考察AI算…...

编程软件怎么给机器人编程:深入探索编程与机器人技术的融合

编程软件怎么给机器人编程:深入探索编程与机器人技术的融合 随着科技的飞速发展,机器人技术已经深入到我们生活的方方面面。而要让机器人按照我们的意愿执行任务,就需要借助编程软件对机器人进行编程。那么,编程软件究竟是如何给…...

unity2d Ugui--Image城市道路汽车行驶

目录 1.车辆生成与回收 2.路径点控制 3.车辆控制 1.车辆生成与回收 using System.Collections.Generic; using UnityEngine;public class RoadContr : MonoBehaviour {public WayPoint[] wayPoints; //出生点public Transform pare;[SerializeField]private Car[] fabCar;pu…...

【深度学习】【Prompt】使用GPT的一些提示词

f翻译论文用这个提示词: # 翻译规则## 翻译规则1 请在翻译这篇学术论文时,严格保留所有专业术语的原始英文表述,不要尝试将它们翻译成中文,而不是专业术语的部分,需要翻译为中文。保持所有文章引用格式和内容的完整无…...

如何在centos中和windows server中找到挖矿木马和消灭挖矿木马

在 CentOS 和 Windows Server 中查找和消灭挖矿木马涉及多个步骤,包括检测、清理和预防。以下是具体的步骤和命令。 在 CentOS 中查找和消灭挖矿木马 步骤 1:检测木马 检查异常进程: ps aux | grep -E miner|cryptonight|xmrig查找进程列表…...

Slice用法举例Python

Slice用法举例Python 在Python中,slice(切片)是一个强大的工具,用于处理序列类型的数据,如列表、元组、字符串等。slice提供了一种简洁而高效的方式来获取序列的子集或修改序列的某些部分。下面,我们将从四…...

响应式网页开发方法与实践

随着移动设备的普及和多样化,响应式网页开发已成为现代网页设计的主流趋势。响应式网页(Responsive Web Design, RWD)是一种网页设计技术,其核心思想是通过灵活的布局和媒体查询,使网页能够适应不同设备和屏幕尺寸&…...

feedparser - Python 解析Atom和RSSfeed

文章目录 一、关于 feedparser二、安装三、关于文档及构建四、测试五、常见RSS元素访问常见 Channel 元素访问常用项目元素 六、常见Atom元素访问常用feed元素访问公共入口元素 七、获取Atom元素的详细信息Feed元素的详细信息 八、测试元素是否存在九、其他功能 & 文档高级…...

ARM32开发--IIC时钟案例

知不足而奋进 望远山而前行 目录 文章目录 前言 目标 内容 需求 开发流程 移植驱动 修改I2C实现 测试功能 总结 前言 在现代嵌入式系统开发中,移植外设驱动并测试其功能是一项常见的任务。本次学习的目标是掌握移植方法和测试方法,以实现对开…...

[深度学习]基于C++和onnxruntime部署yolov10的onnx模型

基于C和ONNX Runtime部署YOLOv10的ONNX模型,可以遵循以下步骤: 准备环境:首先,确保已经下载后指定版本opencv和onnruntime的C库。 模型转换:按照官方源码:https://github.com/THU-MIG/yolov10 安装好yolov…...

Spring-事件

Java 事件/监听器编程模型 设计模式-观察者模式的拓展 可观察者对象(消息发送者) Java.util.Observalbe观察者 java.util.Observer 标准化接口(标记接口) 事件对象 java.util.EventObject事件监听器 java.util.EventListener public class ObserverDemo {public static vo…...

delmia的工序设置

process的设置需要在workcell sequuencing里面去设置...

前端倒计时误差!

提示:记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来?二、五大解决方案1. 动态校准法(基础版)2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...

三体问题详解

从物理学角度,三体问题之所以不稳定,是因为三个天体在万有引力作用下相互作用,形成一个非线性耦合系统。我们可以从牛顿经典力学出发,列出具体的运动方程,并说明为何这个系统本质上是混沌的,无法得到一般解…...

九天毕昇深度学习平台 | 如何安装库?

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子: 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

基于Java+MySQL实现(GUI)客户管理系统

客户资料管理系统的设计与实现 第一章 需求分析 1.1 需求总体介绍 本项目为了方便维护客户信息为了方便维护客户信息,对客户进行统一管理,可以把所有客户信息录入系统,进行维护和统计功能。可通过文件的方式保存相关录入数据,对…...

解决:Android studio 编译后报错\app\src\main\cpp\CMakeLists.txt‘ to exist

现象: android studio报错: [CXX1409] D:\GitLab\xxxxx\app.cxx\Debug\3f3w4y1i\arm64-v8a\android_gradle_build.json : expected buildFiles file ‘D:\GitLab\xxxxx\app\src\main\cpp\CMakeLists.txt’ to exist 解决: 不要动CMakeLists.…...

Python 训练营打卡 Day 47

注意力热力图可视化 在day 46代码的基础上,对比不同卷积层热力图可视化的结果 import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pypl…...

消防一体化安全管控平台:构建消防“一张图”和APP统一管理

在城市的某个角落,一场突如其来的火灾打破了平静。熊熊烈火迅速蔓延,滚滚浓烟弥漫开来,周围群众的生命财产安全受到严重威胁。就在这千钧一发之际,消防救援队伍迅速行动,而豪越科技消防一体化安全管控平台构建的消防“…...

自然语言处理——文本分类

文本分类 传统机器学习方法文本表示向量空间模型 特征选择文档频率互信息信息增益(IG) 分类器设计贝叶斯理论:线性判别函数 文本分类性能评估P-R曲线ROC曲线 将文本文档或句子分类为预定义的类或类别, 有单标签多类别文本分类和多…...

前端调试HTTP状态码

1xx(信息类状态码) 这类状态码表示临时响应,需要客户端继续处理请求。 100 Continue 服务器已收到请求的初始部分,客户端应继续发送剩余部分。 2xx(成功类状态码) 表示请求已成功被服务器接收、理解并处…...

JS红宝书笔记 - 3.3 变量

要定义变量,可以使用var操作符,后跟变量名 ES实现变量初始化,因此可以同时定义变量并设置它的值 使用var操作符定义的变量会成为包含它的函数的局部变量。 在函数内定义变量时省略var操作符,可以创建一个全局变量 如果需要定义…...