numpy
numpy相关1. 高维ndarray，报错：超出存储，如何解决？
分块处理：将数据分成较小的块来处理，而不是一次性加载整个数据集。这样可以减少对内存的需求。
使用Dask并行计算库
import dask.array as da
# 创建一个 Dask 数组
data = da.random.random((5, 50, 300, 100, 30, 49), chunks=(1, 10, 100, 50, 10, 10))
# 对每个块进行处理
def process_block(block):
# 在这里对块进行处理
print(f"Processing block with shape {block.shape}")
# 使用 Dask 计算
data.map_blocks(process_block).compute()使用Zarr库
import zarr
import numpy as np
# 创建一个 Zarr 数组
data = zarr.zeros((5, 50, 300, 100, 30, 49), chunks=(1, 10, 100, 50, 10, 10), dtype=np.float64)
# 对每个块进行处理
def process_block(block):
# 在这里对块进行处理
print(f"Processing block with shape {block.shape}")
# 使用 Zarr 的块读取
for block in data.iter_chunks():
process_block(block)2. 产生随机数
# linspace
x1 = np.linspace(4, 13, sample_num) # 产生4-13范围内的sample_num个随机数
# random.randint
np.random.randint(0, m, 1)# 产生0-m范围内的1个整数3. ndarray拼接
x = np.concatenate((, ), axis=0) 4. dot函数
np.dot(a,b) #a、b矩阵点乘5. 数组多维转一维
ravel()、flatten()、squeeze()
ravel()： # 如果没有必要，不会产生源数据的副本
flatten()： # 返回源数据的副本
squeeze()： # 只能对维数为1的维度降维6. reapeat函数
7. ndarray改变维度
a.reshape()
# 可以将数据的维度变化成想要的维度。
ndarray.reshape(x, y).astype(float)
# 再转为tensor8. 滑动窗口
slide_arr1 = np.lib.stride_tricks.sliding_window_view(a1, # 原数组 3 # 窗口大小，也可以是元组，如(2，2) )
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！ 感谢，下载保存了 很好很强大我过来先占个楼 待编辑
页:
[1]