如何使用python复制大概200G的数据[任何语言只要能实现]

如果我理解的正确的话，楼主是要copy大文件吧。

在含山等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都做网站、成都网站建设 网站设计制作定制制作,公司网站建设,企业网站建设,成都品牌网站建设,成都营销网站建设,成都外贸网站建设,含山网站建设费用合理。

python最经常使用的copy函数，应该是shutil.copyfile()了，它默认以16384bytes 的大小作为缓冲区，对于小的文件，的确不错。但是处理到大的文件的时候，性能下降就很严重。过小的buffer会不合适。

经过多次的尝试，发现10Mb的buffer最合适，再高也没有性能的提升。重载后的copy函数如下

def copyFile(src, dst, buffer_size=10485760, perserveFileDate=True):

'''

Copies a file to a new location. Much faster performance than Apache Commons due to use of larger buffer

@param src:    Source File

@param dst:    Destination File (not file path)

@param buffer_size:    Buffer size to use during copy

@param perserveFileDate:    Preserve the original file date

'''

#    Check to make sure destination directory exists. If it doesn't create the directory

dstParent, dstFileName = os.path.split(dst)

if(not(os.path.exists(dstParent))):

os.makedirs(dstParent)

#    Optimize the buffer for small files

buffer_size = min(buffer_size,os.path.getsize(src))

if(buffer_size == 0):

buffer_size = 1024

if shutil._samefile(src, dst):

raise shutil.Error("`%s` and `%s` are the same file" % (src, dst))

for fn in [src, dst]:

try:

st = os.stat(fn)

except OSError:

# File most likely does not exist

pass

else:

# XXX What about other special files? (sockets, devices...)

if shutil.stat.S_ISFIFO(st.st_mode):

raise shutil.SpecialFileError("`%s` is a named pipe" % fn)

with open(src, 'rb') as fsrc:

with open(dst, 'wb') as fdst:

shutil.copyfileobj(fsrc, fdst, buffer_size)

if(perserveFileDate):

shutil.copystat(src, dst)

使用的时候记得添加相应的包。

Python对象的拷贝

Python赋值操作或函数参数传递，传递的永远是对象引用（即内存地址），而不是对象内容。在Python中一切皆对象，对象又分为可变(mutable)和不可变(immutable)两种类型。对象拷贝是指在内存中创建新的对象，产生新的内存地址。当顶层对象和它的子元素对象全都是immutable不可变对象时，不存在被拷贝，因为没有产生新对象。浅拷贝(Shallow Copy)，拷贝顶层对象，但不会拷贝内部的子元素对象。深拷贝(Deep Copy)，递归拷贝顶层对象，以及它内部的子元素对象。

Python中一切皆对象，对象就像一个塑料盒子， 里面装的是数据。对象有不同类型，例如布尔型和整型，类型决定了可以对它进行的操作。现实生活中的"陶器"会暗含一些信息（例如它可能很重且易碎，注意不要掉到地上）。

对象的类型还决定了它装着的数据是允许被修改的变量（可变的mutable）还是不可被修改的常量（不可变的immutable）。你可以把不可变对象想象成一个透明但封闭的盒子：你可以看到里面装的数据，但是无法改变它。类似地，可变对象就像一个开着口的盒子，你不仅可以看到里面的数据，还可以拿出来修改它，但你无法改变这个盒子本身，即你无法改变对象的类型。

对象拷贝是指在内存中创建新的对象，产生新的内存地址。

浅拷贝(Shallow Copy)，拷贝顶层对象，但不会拷贝内部的子元素对象。

2.1.1. 顶层是mutable，子元素全是immutable

当顶层对象是mutable可变对象，但是它的子元素对象全都是immutable不可变对象时，如[1, 'world', 2]

① 创建列表对象并赋值给变量a

② 导入copy模块，使用copy.copy()函数浅拷贝a，并赋值给变量b

③ 修改变量a的子元素a[0] = 3，由于整数是不可变对象，所以并不是修改1变为3，而是更改a[0]指向对象3

当顶层对象是 mutable可变对象 ，但子元素也存在 mutable可变对象 时，如 [1, 2, ['hello','world']]

① 浅拷贝 copy.copy() 只拷贝了顶层对象，没有拷贝子元素对象['hello','world']，即a[2]和b[2]指向同一个列表对象

② 修改a[2][1] = 'china'，则b[2][1] = 'china'

当顶层对象是immutable不可变对象，同时它的子元素对象也全都是immutable不可变对象时，如(1, 2, 3)

变量a与变量b指向的是同一个元组对象，没有拷贝

当顶层对象是immutable不可变对象时，但子元素存在mutable可变对象时，如(1, 2, ['hello','world'])

变量a与变量b指向的是相同的元组对象，并且a[2]与b[2]指向同一个列表，所以修改a[2][1]会影响b[2][1]

深拷贝(Deep Copy)，递归拷贝顶层对象，以及它内部的子元素对象

当顶层对象是mutable可变对象，但是它的子元素对象全都是immutable不可变对象时，如[1, 'world', 2]

变量a与变量b指向不同的列表对象，修改a[0]只是将列表a的第一个元素重新指向新对象，不会影响b[0]

当顶层对象是mutable可变对象，但子元素也存在mutable可变对象时，如[1, 2, ['hello','world']]

深拷贝既拷贝了顶层对象，又递归拷贝了子元素对象，所以a[2]与b[2]指向了两个不同的列表对象(但是列表对象的子元素初始指定的字符串对象一样)，修改a[2][1] = 'china'后，它重新指向了新的字符串对象（内存地址为140531581905808），不会影响到b[2][1]

当顶层对象是immutable不可变对象，同时它的子元素对象也全都是immutable不可变对象时，如(1, 2, 3)

变量a与变量b指向的是同一个元组对象，不存在拷贝

当顶层对象是immutable不可变对象时，但子元素存在mutable可变对象时，如(1, 2, ['hello','world'])

变量a与变量b指向的是不同的元组对象，同时a[2]与b[2]指向不同的列表对象，所以修改a[2][1]不会影响b[2][1]

使用=是赋值，即将列表对象的引用也赋值给变量b，可以将列表对象想像成一个盒子，变量a相当于这个盒子上的标签，执行b = a后，相当于再在这个盒子上贴上b标签，a和b实际上指向的是同一个对象。因此，无论我们是通过a还是通过b来修改列表的内容，其结果都会作用于双方。

b/c/d都是a的复制，它们都指向了不同的列表对象，但是没有拷贝子元素，a[2]和b[2]/c[2]/d[2]指向同一个列表， 相当于浅拷贝的效果

使用分片[:]操作，a和b其实是指向同一个元组，而且没有拷贝子元素，a[2]和b[2]也指向同一个列表，相当于浅拷贝的效果

同列表类似，可以使用字典的copy()函数或者转换函数dict()

变量a与变量b/c指向不同的字典，但是没有拷贝子元素，a['jobs']和b['jobs']/c['jobs']指定同一个列表， 相当于浅拷贝的效果

同列表类似，可以使用集合的copy()函数或者转换函数set()

变量a与变量b/c指向不同的集合，而集合的元素必须是hashable，所以修改集合a不会影响到b/c

python列表怎么复制

提问者这么短的描述，有点无法看懂，那就按照通常的几种方法来说吧：

简单列表的拷贝

已知一个列表，求生成一个新的列表，列表元素是原列表的复制

a=[1,2]

b=a

这种其实并未真正生成一个新的列表，b指向的仍然是a所指向的对象。

后果：如果对a或b的元素进行修改，a,b的值同时发生变化。

可以使用以下方法解决：

a=[1,2]

b=a[:]

这样修改a对b没有影响。修改b对a没有影响。

复杂列表的拷贝：

可以使用copy模块中的deepcopy函数。修改测试如下：

import copy

a=[1,[2]]

b=copy.deepcopy(a)

如何块 Python 3 中的列表

序列是Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。

Python有6个序列的内置类型，但最常见的是列表和元组。

序列都可以进行的操作包括索引，切片，加，乘，检查成员。

此外，Python已经内置确定序列的长度以及确定最大和最小的元素的方法。

列表是最常用的Python数据类型，它可以作为一个方括号内的逗号分隔值出现。

列表的数据项不需要具有相同的类型

创建一个列表，只要把逗号分隔的不同的数据项使用方括号括起来即可。如下所示：

list1 = ['Google', 'Runoob', 1997, 2000];list2 = [1, 2, 3, 4, 5 ];list3 = ["a", "b", "c", "d"];

与字符串的索引一样，列表索引从0开始。列表可以进行截取、组合等。

访问列表中的值

使用下标索引来访问列表中的值，同样你也可以使用方括号的形式截取字符，如下所示：

实例(Python 3.0+)

#!/usr/bin/python3

list1 = ['Google', 'Runoob', 1997, 2000];list2 = [1, 2, 3, 4, 5, 6, 7 ];

print ("list1[0]: ", list1[0])print ("list2[1:5]: ", list2[1:5])

运行实例 »

以上实例输出结果：

list1[0]: Google

list2[1:5]: [2, 3, 4, 5]

更新列表

你可以对列表的数据项进行修改或更新，你也可以使用append()方法来添加列表项，如下所示：

实例(Python 3.0+)

#!/usr/bin/python3

list = ['Google', 'Runoob', 1997, 2000]

print ("第三个元素为 : ", list[2])list[2] = 2001print ("更新后的第三个元素为 : ", list[2])

注意：我们会在接下来的章节讨论append()方法的使用

以上实例输出结果：

第三个元素为 : 1997

更新后的第三个元素为 : 2001

删除列表元素

可以使用 del 语句来删除列表的的元素，如下实例：

实例(Python 3.0+)

#!/usr/bin/python3

list = ['Google', 'Runoob', 1997, 2000]

print (list)del list[2]print ("删除第三个元素 : ", list)

以上实例输出结果：

删除第三个元素 : ['Google', 'Runoob', 2000]

注意：我们会在接下来的章节讨论remove()方法的使用

Python列表脚本操作符

列表对 + 和 * 的操作符与字符串相似。+ 号用于组合列表，* 号用于重复列表。

如下所示：

Python 表达式

结果

描述

len([1, 2, 3]) 3 长度

[1, 2, 3] + [4, 5, 6] [1, 2, 3, 4, 5, 6] 组合

['Hi!'] * 4 ['Hi!', 'Hi!', 'Hi!', 'Hi!'] 重复

3 in [1, 2, 3] True 元素是否存在于列表中

for x in [1, 2, 3]: print(x, end=" ") 1 2 3 迭代

Python列表截取与拼接

Python的列表截取与字符串操作类型，如下所示：

L=['Google', 'Runoob', 'Taobao']

操作：

Python 表达式

结果

描述

L[2] 'Taobao' 读取第三个元素

L[-2] 'Runoob' 从右侧开始读取倒数第二个元素: count from the right

L[1:] ['Runoob', 'Taobao'] 输出从第二个元素开始后的所有元素

L=['Google', 'Runoob', 'Taobao'] L[2]'Taobao' L[-2]'Runoob' L[1:]['Runoob', 'Taobao']

列表还支持拼接操作：

squares = [1, 4, 9, 16, 25] squares + [36, 49, 64, 81, 100][1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

嵌套列表

使用嵌套列表即在列表里创建其它列表，例如：

a = ['a', 'b', 'c'] n = [1, 2, 3] x = [a, n] x[['a', 'b', 'c'], [1, 2, 3]] x[0]['a', 'b', 'c'] x[0][1]'b'

Python列表函数方法

Python包含以下函数:

序号

函数

1 len(list)

列表元素个数

2 max(list)

返回列表元素最大值

3 min(list)

返回列表元素最小值

4 list(seq)

将元组转换为列表

Python包含以下方法:

序号

方法

1 list.append(obj)

在列表末尾添加新的对象

2 list.count(obj)

统计某个元素在列表中出现的次数

3 list.extend(seq)

在列表末尾一次性追加另一个序列中的多个值（用新列表扩展原来的列表）

4 list.index(obj)

从列表中找出某个值第一个匹配项的索引位置

5 list.insert(index, obj)

将对象插入列表

6 list.pop(obj=list[-1])

移除列表中的一个元素（默认最后一个元素），并且返回该元素的值

7 list.remove(obj)

移除列表中某个值的第一个匹配项

8 list.reverse()

反向列表中元素

9 list.sort([func])

对原列表进行排序

10 list.clear()

清空列表

11 list.copy()

复制列表

python常用列表函数

1

len(list)

列表元素个数

2

max(list)

返回列表元素最大值

3

min(list)

返回列表元素最小值

4

list(seq)

将元组转换为列表

序号

方法

1

list.append(obj)

在列表末尾添加新的对象

2

list.count(obj)

统计某个元素在列表中出现的次数

3

list.extend(seq)

在列表末尾一次性追加另一个序列中的多个值（用新列表扩展原来的列表）

4

list.index(obj)

从列表中找出某个值第一个匹配项的索引位置

5

list.insert(index, obj)

将对象插入列表

6

list.pop([index=-1])

移除列表中的一个元素（默认最后一个元素），并且返回该元素的值

7

list.remove(obj)

移除列表中某个值的第一个匹配项

8

list.reverse()

反向列表中元素

9

list.sort( key=None, reverse=False)

对原列表进行排序

10

list.clear()

清空列表

11

list.copy()

复制列表

Python3 & 浅拷贝与深拷贝

在Python中对象的赋值（=）其实就是对象的引用。即：当创建一个对象，把它赋值给另一个变量时，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。

Python中对象的拷贝分为：浅拷贝(copy)和深拷贝(deepcopy)。

浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，将原对象在内存中引用地址拷贝过来，然后让新的对象指向这个地址。可以使用“=”或列表自带的copy()函数(如list.copy()），或使用copy模块的copy()函数。

深拷贝：外围和内部元素都进行了拷贝对象本身，而不是引用。即把对象复制一遍，并且该对象中引用的其他对象也同时复制，完全得到一个新的一模一样的对象，对新对象里的值进行修改不会影响原有对象，新对象和原对象完全分离开。深拷贝只能使用copy模块中deepcopy()函数，使用前要导入：from copy import deepcopy。

Python中对象分为不可变对象 、可变对象。

不可变对象：一旦创建就不可修改的对象，例如：字符串、元组、数字

可变对象：可以修改的对象，例如：列表、字典。

其中Python中的切片可以应用于：列表、元组、字符串，但不能应用于字典。

而深浅拷贝，可应用于序列（列表、元组、字符串），也可应用于字典。

其中不可变对象，不管是深拷贝还是浅拷贝，地址值在拷贝后的值都是一样的。

以下以元组（不可变类型）为例

从上述示例可以看出：

不可变对象类型，没有被拷贝的说法，即便是用深拷贝，查看id的话也是一样的，如果对其重新赋值，也只是新创建一个对象，替换掉旧的而已。

所以不可变类型，不管是深拷贝还是浅拷贝，地址值和拷贝后的值都是一样的。

以下以列表（可变类型）为例

第一种方法：使用=号浅拷贝

输出结果：

第二种方法：使用copy浅拷贝

输出结果：

第三种方法：使用deepcopy深拷贝

输出结果：

从上述示例可以看出：

=浅拷贝：值相等，地址相等

copy浅拷贝：值相等，地址不相等

deepcopy深拷贝：值相等，地址不相等

总结：

1，深浅拷贝都是对源对象的复制，占用不同的内存空间。

2，不可变类型的对象，对于深浅拷贝毫无影响，最终的地址值和值都是相等的。

3，可变类型的对象，使用=浅拷贝时， 值相等，地址相等，对新对象里的值进行修改同时会影响原有对象;使用copy浅拷贝时值相等，地址不相等;使用deepcopy深拷贝时值相等，地址不相等。可以看出针对可变类型copy浅拷贝和deepcopy深拷贝，对新对象里的值进行修改不会影响原有对象。

网页标题：python列表复制函数 python怎么复制列表
本文链接：http://scpingwu.com/article/hjijhg.html