Python可变数据类型list填坑一则

前提概要

最近写业务代码时遇到一个列表的坑，在此记录一下。

需求

现在有一个普通的rule列表：

rule = [["ID",">",0]]

在其他地方经过计算得到一个id_lst的列表：

id_lst = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]

使用小范围的数模拟一下真实的业务场景：我需要再在前面的rule的基础上新加另外一个规则列表，但是id_lst的长度不能超过5。

还是看最终拼接的效果吧：

ret = [
　　　　  [['ID', '>', 0], ['ID', 'in', [1, 2, 3, 4, 5]]], 
         [['ID', '>', 0], ['ID', 'in', [6, 7, 8, 9, 10]]], 
　　      [['ID', '>', 0], ['ID', 'in', [11, 12, 13, 14, 15]]], 
         [['ID', '>', 0], ['ID', 'in', [16, 17, 18, 19,20]]]
　　　　]

也就是说，我需要吧id_lst中的数按照5位基数进行分割，放在新的规则列表中，然后与之前的rule组成新的规则...以此类推，把“新组装成的规则”再放到新的列表ret中。

—— 抛开业务场景，这个问题其实可以模拟成一个小问题：条件是rule与id_lst，需要得到ret那种样式的结果。

错误的解决方法

看到这种问题，那肯定得遍历呗，所以第一版年轻的程序诞生了：

# -*- coding:utf-8 -*-
rule = [["ID",">",0]]
id_lst = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
append_lst = []
ret = []

for i in range(len(id_lst)//5 + 1):
    ll = id_lst[i*5:(i+1)*5]
    # print("ll:",ll)
    append_rule = []
    if len(ll) != 0:
        append_rule = ["ID","in",ll]
    append_lst.append(append_rule)

print("append_lst:",append_lst)
# [['ID', 'in', [1, 2, 3, 4, 5]], ['ID', 'in', [6, 7, 8, 9, 10]], ['ID', 'in', [11, 12, 13, 14, 15]], ['ID', 'in', [16, 17, 18, 19, 20]], []]

if len(append_lst) == 1:
    rule += append_lst
    ret.append(rule)
else:
    for i in append_lst:
        # 排除空值的干扰
        if i == []:
            append_lst.pop(append_lst.index(i))
            continue
        rule.append(i)
        ret.append(rule)
        rule.pop()
print(">>>>>ret:",ret)
# [[['ID', '>', 0]], [['ID', '>', 0]], [['ID', '>', 0]], [['ID', '>', 0]]]

结果竟然不是自己想的辣样！

当时我还以为是for循环遍历的“姿势”不对，于是乎试图使用“堆栈”的方式解决：

# -*- coding:utf-8 -*-
rule = [["ID",">",0]]
id_lst = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
append_lst = []
ret = []

for i in range(len(id_lst)//5 + 1):
    ll = id_lst[i*5:(i+1)*5]
    # print("ll:",ll)
    append_rule = []
    if len(ll) != 0:
        append_rule = ["ID","in",ll]
    append_lst.append(append_rule)

print("append_lst:",append_lst)
# [['ID', 'in', [1, 2, 3, 4, 5]], ['ID', 'in', [6, 7, 8, 9, 10]], ['ID', 'in', [11, 12, 13, 14, 15]], ['ID', 'in', [16, 17, 18, 19, 20]], []]
# 堆栈的方式解决
while append_lst:
    a_l = append_lst.pop(0)
    # 排除空列表做一下判断
    if a_l:
        rule.append(a_l)
        ret.append(rule)
        rule.pop()

print(">>>>>ret:",ret)
# [[['ID', '>', 0]], [['ID', '>', 0]], [['ID', '>', 0]], [['ID', '>', 0]]]

问题分析

其实细看下来，用for循环遍历与用堆栈的方式解决的思路是一样的：遍历的每一次把append_lst中的每一个列表元素加到rule列表中，然后把新得到的这个rule列表加在ret中！最后因为我们要“重复利用rule列表，”为了防止“重复”数据，将之前append到rule列表中的元素pop出去，然后再进行新一轮的操作。

于是乎自己用Pycharm来debug了一下，终于发现了问题：原来每一次append到ret列表中的那个rule列表，跟原来的rule列表其实是同一个列表！（惊不惊喜，意不意外0-0）—— ret.append(rule)这个操作应该只是将rule列表的引用传递进去了，最后那个rule.pop()操作改变了rule本身的值，同样也改变了ret中之前append进去的rule！

下面是我debug的过程，大家仔细看倒数第二行ret的值的变化过程：

问题解决

既然放在ret中的rule列表与原rule列表是一样的，那么可以使用deepcopy将临时生成的列表放在ret中，这样在rule.pop()后就不会改变之前append到ret中的那个列表了：

# -*- coding:utf-8 -*-
from copy import deepcopy

rule = [["ID",">",0]]
id_lst = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
append_lst = []
ret = []

for i in range(len(id_lst)//5 + 1):
    ll = id_lst[i*5:(i+1)*5]
    # print("ll:",ll)
    append_rule = []
    if len(ll) != 0:
        append_rule = ["ID","in",ll]
    append_lst.append(append_rule)

print("append_lst:",append_lst)
# [['ID', 'in', [1, 2, 3, 4, 5]], ['ID', 'in', [6, 7, 8, 9, 10]], ['ID', 'in', [11, 12, 13, 14, 15]], ['ID', 'in', [16, 17, 18, 19]]]
# append_lst等于1不用切割，这里为了后期容易维护我把不分割与分割的情况分开写了
if len(append_lst) == 1:
    rule += append_lst
    ret.append(rule)
else:
    for i in append_lst:
        if i == []:
            append_lst.pop(append_lst.index(i))
            continue
        rule.append(i)
        current_lst = deepcopy(rule)
        ret.append(current_lst)
        rule.pop()
print(">>>>>ret:",ret)
# [[['ID', '>', 0], ['ID', 'in', [1, 2, 3, 4, 5]]], [['ID', '>', 0], ['ID', 'in', [6, 7, 8, 9, 10]]], [['ID', '>', 0], ['ID', 'in', [11, 12, 13, 14, 15]]], [['ID', '>', 0], ['ID', 'in', [16, 17, 18, 19, 20]]]]
for i in ret:
    print(i)
"""
[['ID', '>', 0], ['ID', 'in', [1, 2, 3, 4, 5]]]
[['ID', '>', 0], ['ID', 'in', [6, 7, 8, 9, 10]]]
[['ID', '>', 0], ['ID', 'in', [11, 12, 13, 14, 15]]]
[['ID', '>', 0], ['ID', 'in', [16, 17, 18, 19, 20]]]
"""

存在问题

关于Python中赋值与拷贝问题我之前总结过一篇博客：Python3中的赋值操作、浅拷贝与深拷贝

也许经验丰富的你从上面的代码中也看出了问题：如果实际中id_lst中的数据非常大（几十万甚至更多），而且我们以万为基数进行分割的话，deepcopy出来的这个current_lst会占用比较大的空间！

如果聪明的你有更好的解决方式的话，欢迎在下方留言，一起交流探讨。