Open-FWI代码解析(1)

目录

1. dataset文件

        1.1初始化网络

        1.2load_every函数

        1.3 getitem函数

        1.4测试函数

2. transforms文件

        2.1裁切函数和翻转函数

        2.2上\下采样函数

        2.3加入随机因子的上\下采样函数

        2.4填充函数

        2.5标准图像函数

        2.6标准化函数

        2.7归一化函数

        2.8反归一化

        2.9添加噪声的函数

        2.10转换函数

        2.11反归一化函数(全)

3. 类

        3.1随机裁剪函数:

        3.2中心裁剪类

        3.3上\下采样类

        3.4随机上\下采样类:

        3.5标准图像函数

        3.6归一化图像类

        3.7随机翻转类

        3.8 填充类

        3.9采样间隔类

        3.10添加噪声类

        3.11基本变换log(1+x), 数据变换

        3.12 改变维度类

4. 总结

---

1. dataset文件

        1.1初始化网络

        初始化参数注释:

        anno：注解文件的路径
        preload：是否将整个数据集加载到内存中
        sample_ratio：地震数据的下采样率(时间域每个几个数据采样, 一般为1)
        file_size：每个 NPY 文件中的样本 #
        transform_data|label：应用于数据或标签的转换

        将anno文件打开, 里面存放的是数据的地址, 用f.readlines(读取文件,每一行作为列表的一个元素)打开. 如果preload选择为true则将数据全部加载到内存中, 接着构造两个列表用于存放数据和标签. 用for读取batches中每一个列表元素(文件的地址), 接着读取文件返回给data_list, label_list

    def __init__(self, anno, preload=True, sample_ratio=1, file_size=500,transform_data=None, transform_label=None):if not os.path.exists(anno):print(f'Annotation file {anno} does not exists')self.preload = preloadself.sample_ratio = sample_ratioself.file_size = file_sizeself.transform_data = transform_dataself.transform_label = transform_labelwith open(anno, 'r') as f:self.batches = f.readlines()if preload: self.data_list, self.label_list = [], []for batch in self.batches[:-1]: data, label = self.load_every(batch)self.data_list.append(data)if label is not None:self.label_list.append(label)

        1.2load_every函数

        我们将传入的batch打开,用\t作为中间分隔, batch = batch.split('\t'), 返回的是一个列表,里面是用\t分隔的元素. 接着判断是否有标签,找到data的路径和labels的路径,将其转换为float32(label.astype('float43')). 

    def load_every(self, batch):batch = batch.split('\t')data_path = batch[0] if len(batch) > 1 else batch[0][:-1]data = np.load(data_path)[:, :, ::self.sample_ratio, :]data = data.astype('float32')if len(batch) > 1:label_path = batch[1][:-1]    label = np.load(label_path)label = label.astype('float32')else:label = Nonereturn data, label

        1.3 getitem函数

        拿到数据的索引batch_inx, sample_idx. 若是全部加载到内存里面(preload = true), 直接选取就行. 若没有加载到内存, 读取batches中索引,返回到数据data, label里面. 

        self.transform_data和self.transform_labels将数据转换为对应的格式(标准化之类的)

    def __getitem__(self, idx):batch_idx, sample_idx = idx // self.file_size, idx % self.file_sizeif self.preload:data = self.data_list[batch_idx][sample_idx]label = self.label_list[batch_idx][sample_idx] if len(self.label_list) != 0 else Noneelse:data, label = self.load_every(self.batches[batch_idx])data = data[sample_idx]label = label[sample_idx] if label is not None else Noneif self.transform_data:data = self.transform_data(data)if self.transform_label and label is not None:label = self.transform_label(label)return data, label if label is not None else np.array([])

        1.4测试函数

if __name__ == '__main__':transform_data = Compose([T.LogTransform(k=1),T.MinMaxNormalize(T.log_transform(-61, k=1), T.log_transform(120, k=1))])transform_label = Compose([T.MinMaxNormalize(2000, 6000)])dataset = FWIDataset(f'data_and_labels.txt', transform_data=transform_data, transform_label=transform_label, file_size=1)data, label = dataset[0]print(data.shape)print(label.shape)

        这一段没什么讲的---完成数据的读取啦!

2. transforms文件

        2.1裁切函数和翻转函数

        注释即说明了一切

def crop(vid, i, j, h, w):'''裁剪大小,vid是图像数据, i,j为裁剪起点,h,w为需要保留的大小:param vid::param i::param j::param h::param w::return:'''return vid[..., i:(i + h), j:(j + w)]def center_crop(vid, output_size):'''中心裁剪, vid-数据,outsize-中心裁剪的大小:param vid::param output_size::return:'''h, w = vid.shape[-2:]th, tw = output_sizei = int(round((h - th) / 2.))j = int(round((w - tw) / 2.))return crop(vid, i, j, th, tw)def hflip(vid):'''水平翻转图像, dim必须为元组(若dim = (-2,-1), 则不仅水平翻转,竖直也翻转):param vid::return:'''return vid.flip(dims=(-1,))

        2.2上\下采样函数

        代码注释一目了然(通过插值实现)

def resize(vid, size, interpolation='bilinear'):# NOTE: using bilinear interpolation because we don't work on minibatches# at this level'''用于上下采样(通过插值改变图像大小),:param vid: 图像数据N,C,H,W:param size: 改变到size大小,size为整数或者元祖(元组:就是将数据缩小到元组大小)(整数:将数据放大或者缩小到整数大小倍):param interpolation: 选择插值模式-bilinear,nearest,linear,bilinear,bicubic,trilinear,area.需要再去查一般默认(bilinear):return:返回修改之后的数据'''scale = Noneif isinstance(size, int):scale = float(size) / min(vid.shape[-2:])size = Nonereturn torch.nn.functional.interpolate(vid, size=size, scale_factor=scale, mode=interpolation, align_corners=False)

        2.3加入随机因子的上\下采样函数

def random_resize(vid, size, random_factor, interpolation='bilinear'):# NOTE: using bilinear interpolation because we don't work on minibatches# at this level''':param vid:数据N,C,H,W:param size:可以是int形,则直接返回size*随机因子的大小;也可以是元祖,返回(tuple[0],tuple[1])*随机因子大小:param random_factor:放大因子:param interpolation:双线性插值:return:返回N,C,H1,W1'''scale = Noner = 1 + random.random() * (random_factor - 1)if isinstance(size, int):scale = float(size) / min(vid.shape[-2:]) * rsize = Noneelse:size = tuple([int(elem * r) for elem in list(size)])return torch.nn.functional.interpolate(vid, size=size, scale_factor=scale, mode=interpolation, align_corners=False)

        2.4填充函数

• mode：填充模式，默认为 padding_mode='constant'。可选的模式包括：
  • 'constant'：使用常数值填充。
  • 'reflect'：以边界为轴，镜像反射填充。
  • 'replicate'：以边界为轴，复制边界值填充。
  • 'circular'：以边界为轴，循环填充。

def pad(vid, padding, fill=0, padding_mode="constant"):''':param vid: 数据:param padding: 元祖或者整数,在原本数据上填充的维度大小:param fill:填充值(默认为0):param padding_mode:填充模式:return:数据结果'''# NOTE: don't want to pad on temporal dimension, so let as non-batch# (4d) before padding. This works as expectedreturn torch.nn.functional.pad(vid, padding, value=fill, mode=padding_mode)

        2.5标准图像函数

def to_normalized_float_tensor(vid):'''数据标准化:param vid:数据:return: 通常用于将像素值从 0-255 范围映射到 0-1 之间'''return vid.permute(3, 0, 1, 2).to(torch.float32) / 255

        2.6标准化函数

        这里有点没搞懂的是它的mean和std的维度是什么?还有对应的数据维度,下来到具体示例代码中再看看

def normalize(vid, mean, std):'''这里没有理解:param vid: 数据:param mean:均值:param std:标准差:return:'''shape = (-1,) + (1,) * (vid.dim() - 1)mean = torch.as_tensor(mean).reshape(shape)std = torch.as_tensor(std).reshape(shape)return (vid - mean) / std

        2.7归一化函数

def minmax_normalize(vid, vmin, vmax, scale=2):'''将像素缩放到0~1 scale= 2;将像素缩放到-1~1 scale = else:param vid: :param vmin: :param vmax: :param scale: :return: '''vid -= vminvid /= (vmax - vmin)return (vid - 0.5) * 2 if scale == 2 else vid

        2.8反归一化

def minmax_denormalize(vid, vmin, vmax, scale=2):'''用于反归一化:param vid: :param vmin: :param vmax: :param scale: :return: '''if scale == 2:vid = vid / 2 + 0.5return vid * (vmax - vmin) + vmin

        2.9添加噪声的函数

        信噪比, 噪声功率, 信号功率等知识详见---博客

def add_noise(data, snr):'''用于给输入数据添加噪声的函数:param data::param snr::return:'''sig_avg_power_db = 10*np.log10(np.mean(data**2))noise_avg_power_db = sig_avg_power_db - snrnoise_avg_power = 10**(noise_avg_power_db/10)noise = np.random.normal(0, np.sqrt(noise_avg_power), data.shape)noisy_data = data + noisereturn noisy_data  

        2.10转换函数

def log_transform(data, k=1, c=0):'''转换函数,log(1+(|data|+c))*sign(data):param data: :param k: :param c: :return: '''return (np.log1p(np.abs(k * data) + c)) * np.sign(data)

def log_transform_tensor(data, k=1, c=0):'''给予torch的转换函数:param data: :param k: :param c: :return: '''return (torch.log1p(torch.abs(k * data) + c)) * torch.sign(data)

def exp_transform(data, k=1, c=0):'''数据转换 (e^(|data|-c)-1)*sign(data)/k:param data::param k::param c::return:'''return (np.expm1(np.abs(data)) - c) * np.sign(data) / k

        2.11反归一化函数(全)

def tonumpy_denormalize(vid, vmin, vmax, exp=True, k=1, c=0, scale=2):'''对数据进行反归一化, 这里的反归一化和之前minmax_denormalize不同在于 考虑到了vmax和vmin是否为变换过的数据 若vmax和vmin是变换过的数据则修改相应的参数:param vid: :param vmin: :param vmax: :param exp: :param k: :param c: :param scale: :return: '''if exp:vmin = log_transform(vmin, k=k, c=c) vmax = log_transform(vmax, k=k, c=c) vid = minmax_denormalize(vid.cpu().numpy(), vmin, vmax, scale)return exp_transform(vid, k=k, c=c) if exp else vid

3. 类

        3.1随机裁剪函数:

class RandomCrop(object):'''本质上是关于随机作为像素起点的裁剪ex :randomcrop = RandomCrop(size)result = randomcrop(vid)'''def __init__(self, size):''':param size:裁剪结果的大小'''self.size = size@staticmethoddef get_params(vid, output_size):"""Get parameters for ``crop`` for a random crop."""h, w = vid.shape[-2:]th, tw = output_sizeif w == tw and h == th:return 0, 0, h, wi = random.randint(0, h - th)j = random.randint(0, w - tw)return i, j, th, twdef __call__(self, vid):i, j, h, w = self.get_params(vid, self.size)return crop(vid, i, j, h, w)

        3.2中心裁剪类

class CenterCrop(object):def __init__(self, size):self.size = sizedef __call__(self, vid):return center_crop(vid, self.size)

        3.3上\下采样类

class Resize(object):def __init__(self, size):self.size = sizedef __call__(self, vid):return resize(vid, self.size)

        3.4随机上\下采样类:

class RandomResize(object):def __init__(self, size, random_factor=1.25):self.size = sizeself.factor = random_factordef __call__(self, vid):return random_resize(vid, self.size, self.factor)

        3.5标准图像函数

class ToFloatTensorInZeroOne(object):def __call__(self, vid):return to_normalized_float_tensor(vid)

class Normalize(object):def __init__(self, mean, std):self.mean = meanself.std = stddef __call__(self, vid):return normalize(vid, self.mean, self.std)

        3.6归一化图像类

class MinMaxNormalize(object):def __init__(self, datamin, datamax, scale=2):self.datamin = dataminself.datamax = datamaxself.scale = scaledef __call__(self, vid):return minmax_normalize(vid, self.datamin, self.datamax, self.scale)

        3.7随机翻转类

class RandomHorizontalFlip(object):def __init__(self, p=0.5):self.p = pdef __call__(self, vid):if random.random() < self.p:return hflip(vid)return vid

        3.8 填充类

class Pad(object):def __init__(self, padding, fill=0):self.padding = paddingself.fill = filldef __call__(self, vid):return pad(vid, self.padding, self.fill)

        3.9采样间隔类

class TemporalDownsample(object):def __init__(self, rate=1):self.rate = ratedef __call__(self, vid):return vid[::self.rate]

        3.10添加噪声类

class AddNoise(object):def __init__(self, snr=10):self.snr = snrdef __call__(self, vid):return add_noise(vid, self.snr)

        3.11基本变换log(1+x), 数据变换

class LogTransform(object):def __init__(self, k=1, c=0):self.k = kself.c = cdef __call__(self, data):return log_transform(data, k=self.k, c=self.c)class ToTensor(object):"""Convert ndarrays in sample to Tensors."""# def __init__(self, device):#     self.device = devicedef __call__(self, sample):return torch.from_numpy(sample)

        3.12 改变维度类

        这段代码没有搞明白 后面涉及到用法的时候再看看.

class PCD(object):def __init__(self, n_comp=8):self.pca = PCA(n_components=n_comp)def __call__(self, data):data= data.reshape((data.shape[0], -1))feat_mean = data.mean(axis=0)data -= np.tile(feat_mean, (data.shape[0], 1))pc = self.pca.fit_transform(data)pc = pc.reshape((-1,))pc = pc[:, np.newaxis, np.newaxis]return pcclass StackPCD(object):def __init__(self, n_comp=(32, 8)):self.primary_pca = PCA(n_components=n_comp[0])self.secondary_pca = PCA(n_components=n_comp[1])def __call__(self, data):data = np.transpose(data, (0, 2, 1))primary_pc = []for sample in data:feat_mean = sample.mean(axis=0)sample -= np.tile(feat_mean, (sample.shape[0], 1))primary_pc.append(self.primary_pca.fit_transform(sample))primary_pc = np.array(primary_pc)data = primary_pc.reshape((data.shape[0], -1))feat_mean = data.mean(axis=0)data -= np.tile(feat_mean, (data.shape[0], 1))secondary_pc = self.secondary_pca.fit_transform(data)secondary_pc = secondary_pc.reshape((-1,))secondary_pc = pc[:, np.newaxis, np.newaxis]return secondary_pc

4. 总结

        主要是open-FWI文件中dataset类和transforms类. 两个类的任务分别是加载数据, 和对数据进行一定的转换(裁剪,分割,函数变换等)

        存在的问题:有两个函数没弄明白3.12和2.6, 具体等到用法的时候再回来看看