将文本数据分组，并一次放入不同文件

发表于： 2019-07-27 分类于：编程语言

字数： 1185 阅读：≈ 3分钟

场景

现在手头有这样的一个任务：

一个文本文件内，每一行有一串 16进制数字，一共有577行；
某程序会用到这些16进制数字，但是只能一次从一个文本文件中，读取100行，才能保证稳定和效率；
保证数据没有重复，并且按照降序排列；
所以，我们需要把这些数字，分组放置到多个个文件中去，这样程序才能正确的处理；

要处理的577行数据

ffffffffffff
000000000000
a0a1a2a3a4a5
b0b1b2b3b4b5
c0c1c2c3c4c5
d0d1d2d3d4d5
--- skip ---
d3f7d3f7d3f7
5a1b85fce20a
714c5c886e97
587ee5f9350f
... ...

思路

也就是说，每一个新的文本文件内，只含有100行数据接下来，我们需要让 python 脚本作如下的事情

打开要处理的文件，先把内容用 readlines()，数据被组织成列表，去重排序；
创建新的文件,用到 open(“file”, ‘w’)；
文件名称的最后，加上不同的数字，按顺序增加；
每创建一个新文件，写入100行；然后把在列表中，删除掉已经写入的部分；

代码实例

① 将要处理的数据，读取出来；

#!python3
with open("stds.keys") as file: 
	all_keys = file.readlines()

② 根据任务需要，我要先去除重复数据,降序排列，再交给接下来的函数去写入不同的新文件；

tmp = list(sorted(set(all_keys), reverse=True))
>>> 交给写好的 separate() 函数去处理，
separate(tmp, 100)

③ 函数中的代码，会根据列表的中的数据多少，每个文件写入多少数据，生成合理新文件数量；

>>> 这里我用了logging模块来调试
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s - [%(levelname)s] - %(message)s")
#logging.disable(logging.CRITICAL)
def separate(key_list, write_key_num):
	logging.info("开始处理")
	logging.debug("密钥数量： %d " % (len(key_list)))

	>>>  根据密钥总数 / 每个文件写入的行数，向上取整，得到生成文件的数量 num
    >>> 现在 num = 6
	num = math.ceil(len((key_list)) / write_key_num)
    logging.debug("生成文件数量: %d" % (num))
	for fileNum in range(num):
		with open("extend_%s.keys" % (fileNum + 1), 'w') as key_file:
			key_file.write("#keys\n")
			
			for key in key_list[:99]:
				key_file.write(key)

			try:
				del key_list[:99]
				logging.debug("剩余 %d 密钥未写入文件", len(key_list))
			except Exception as e:
				raise e

这里需要注意的是，range(num) 会生成 0~5 的数字所以，会依次生成 6 个新文件，为了保证文件名的不同每个新文件名字里，都加入了一个序号

with open(“extend_%s.keys” % (fileNum + 1), ‘w’) as key_file:

要记得给 fileNum + 1 ，不然文件名的后缀，就会从 0 开始，一直到 5，而我们需要的是 6.

最后整理&效果

#!python3
#filter.py - 把文件中的内容分割，然后分别保存到几个文件中

import logging
import math
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s - [%(levelname)s] - %(message)s")
#logging.disable(logging.CRITICAL)

def separate(key_list, write_key_num):
	logging.info("开始处理")
	logging.debug("密钥数量： %d " % (len(key_list)))
	
	num = math.ceil(len((key_list)) / write_key_num)
	logging.debug("生成文件数量: %d" % (num))
	for fileNum in range(num):
		with open("extend_%s.keys" % (fileNum + 1), 'w') as key_file:
			key_file.write("#keys\n")

			for key in key_list[:99]:
				key_file.write(key)
			try:
				del key_list[:99]
				logging.debug("剩余 %d 密钥未写入文件", len(key_list))
			except Exception as e:
				raise e
			
	logging.info("Done!")
def main():
	#打开要处理的文件
	with open("stds.keys") as file:
		#到 all_keys 
		all_keys = file.readlines()
	tmp = list(sorted(set(all_keys), reverse=True))

	#交给函数处理，根据密钥数量，保存到多个文件中
	separate(tmp, 100)
	print("处理完成！")

if __name__ == '__main__':
	main()

好了，数据组织好了。 最然真实的数据不会这么整齐，简单；我主要的总结的方法，是如何一次生成多个文件，并且保证文件名有序也许还可以把文件名，放到一个列表中，然后用 random 模块，随机命名在某些场景下也许用的到。