pytorch中的维度变换操作性质大总结：view, reshape, transpose, permute

在深度学习中，张量的维度变换是很重要的操作。在pytorch中，有四个用于维度变换的函数，view, reshape, transpose, permute。其中view, reshape都用于改变张量的形状，transpose, permute都用于重新排列张量的维度，但它们的功能和使用场景有所不同，下面将进行详细介绍，并给出测试验证代码，经过全面的了解，我们才能知道如何正确的使用这四个函数。

1. torch.Tensor.view

文档：Doc

• view 方法返回一个新的张量，具有与原始张量相同的数据，但改变了形状。所以view返回的是原始数据的一个新尺寸的视图，这也就是为什么叫做view。

  import torch
  # 创建一个2x6的张量
  x = torch.tensor([[1, 2, 3, 4, 5, 6],[7, 8, 9, 10, 11, 12]])
  # 将其调整为3x4的形状
  y = x.view(3, 4)
  print("x shape: ", x.shape)
  print("y shape: ", y.shape)
  # 判断新旧张量是否数据是相同的
  print(x.data_ptr() == y.data_ptr())
  

  输出：

  x shape:  torch.Size([2, 6])
  y shape:  torch.Size([3, 4])
  True
  

• view 要求原始张量是连续的（即在内存中是按顺序存储的），否则会抛出错误。

  import torch
  # 创建一个2x6的张量
  x = torch.tensor([[1, 2, 3, 4, 5, 6],[7, 8, 9, 10, 11, 12]])
  # 将向量转置，此时x不再是连续的
  x = x.T
  # 在不连续的张量上进行view将会报错
  y = x.view(3, 4)
  

  报错输出：

  RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
  

• 如果张量不是连续的，可以使用 contiguous 方法先将其转换为连续的。

2. torch.reshape

文档：Doc

• reshape不要求原始张量是连续的
• 如果原始张量是连续的，那么实现的功能和view一样
• 如果原始张量不是连续的，那么reshape就是tensor.contigous().view()，也就是会重新开辟一块内存空间，拷贝原始张量，使其连续；
• 在连续张量上，view 和 reshape 性能相同。在非连续张量上，reshape 可能会稍慢一些，因为它可能需要创建新的连续张量。

  import torch
  # 创建一个2x6的张量
  x = torch.tensor([[1, 2, 3, 4, 5, 6],[7, 8, 9, 10, 11, 12]])
  # 将向量转置，此时x不再是连续的
  x = x.T
  # 在不连续的张量上可以进行reshape
  y = x.reshape(3, 4)
  print("x shape: ", x.shape)
  print("y shape: ", y.shape)
  # 但reshape返回的是新的内存中的张量
  print(x.data_ptr() == y.data_ptr())
  

  输出：

  x shape:  torch.Size([6, 2])
  y shape:  torch.Size([3, 4])
  False
  

3. torch.transpose

Doc

• 功能：仅用于交换两个维度。它接受两个维度参数，分别表示要交换的维度。
• 不改变数据：不会改变数据本身，只是改变数据的视图（即不复制数据）。
• 生成的新张量也通常不是连续的。它只是交换两个维度的顺序，不改变数据在内存中的实际存储顺序。
• 对原始张量是不是连续的没有要求

  import torch
  # 创建一个3x4的张量
  x = torch.tensor([[1, 2, 3, 4],[5, 6, 7, 8],[9, 10, 11, 12]])
  print(x.is_contiguous())
  # 交换第一个和第二个维度
  y = torch.transpose(x, 0, 1)
  print(y.is_contiguous())
  print("x shape: ", x.shape)
  print("y shape: ", y.shape)
  print(x.data_ptr() == y.data_ptr())
  

  输出：

  True
  False
  x shape:  torch.Size([3, 4])
  y shape:  torch.Size([4, 3])
  True
  

4. torch.permute

Doc

• 可以重新排列任意数量的维度，适用于复杂的维度变换。接受一个shape元组作为参数
• 不改变数据：不会改变数据本身，只是改变数据的视图（即不复制数据）
• 生成的新张量通常不是连续的。因为它仅改变维度顺序，不改变数据在内存中的实际顺序。
• 对原始张量是不是连续的没有要求

  	import torch# 创建一个3x4x5的张量x = torch.randn(3, 4, 5)# 将其第一个和第二个维度交换y = torch.permute(x, (1, 0, 2))print(y.is_contiguous())print(x.data_ptr() == y.data_ptr())print(y.size())  # 输出：torch.Size([4, 3, 5])
  

  输出：

  False
  True
  torch.Size([4, 3, 5])
  

5. torch.transpose与torch.permute的性质与原理

这两者的功能和各方面的性质基本是相同的，只是一个只能交换两个维度，一个能进行更复杂的维度排列。他们的原理是：transpose 和 permute 通过改变张量的 strides（步幅）来重新排列维度。strides 定义了在内存中沿着每个维度移动的步长。它们不改变张量的数据，只是改变了访问数据的方式。因此，这些操作可以应用于任何张量，无论它们是否连续。