pycharm tips

批量更改变量名，就在该变量名上shift+f6

../data

两个点，就是上一级目录，一个点就是当前目录

unhashable type: 'list'

使用set进行去重

a = [1,2,2,3,4]

set(a)是可以的

可是如果a = [[1,2],2,2]就不行，set 进行哈希的时候，需要每个元素都是可哈希的，

可变类型的数据不可哈希，如list，字典：同值不同址，不同值同址

数值、字母、字符串、数字、元组不可变：同值同址，不同值不同址

类变量的值将在这个类的所有实例之间共享。

类的方法与普通的函数只有一个特别的区别——它们必须有一个额外的第一个参数名称, 按照惯例它的名称是 self

q = [(1,2),(2,3)]
df = pd.DataFrame(q,columns=['id','question'])

# data = DataFrame(np.arange(16).reshape(4,4), index=['Ohio', 'Colorado', 'Utah', 'New York'], columns=['one', 'two', 'three', 'four'])

print(df.loc[:1])

df = pd.DataFrame([[1,2,3,4,5]], columns=['标准问题id','标准问题','相似问题','答案','相似问题ID'])
df1 = pd.DataFrame([[1,2,3,4,6]], columns=['标准问题id','标准问题','相似问题','答案','相似问题ID'])
df.append(df1)
print(df.append(df1))

df.append之后，不会像list一样直接加进去，必须使用
df = df.append()

import numpy as np
vec = np.zeros(10)

import random
random_list = np.random.randint(0,10,4)
print(random_list)
vec[random_list] = 1
print(vec)

生成一个随机位置为1，其他位置为0的矩阵

def contrast_enhance(vec1,vec2):

    vec1[1]= 1
    vec2[1] = 3

arr1 = [1,2,3,4]
arr2 = [2,2,2]
contrast_enhance(arr1,arr2)

print(arr1)
print(arr2)

如何得到np.array里非0元素个数？
使用

count1 = np.sum(vec1!=0)
count2 = np.sum(vec2!=0)
count = count1+count2
print(count)
dist = count**0.5
sim = 1.0 / (1.0 + dist)
return sim

如果要使用array.nonzero()，这个函数是返回下标的，不能用sum，应该用array.size   

vec1_temp = np.array([1,2,3,4,5,6])
print(np.sum(vec1_temp!=0))
vec = vec1_temp.nonzero()     #会返回一个tuple   tuple[0]是array, tuple[1]是类型
print(vec)
print(vec[0].size)

如果用len(array)，返回的是行数

交集

a = set(['我','爱','北','京'])
b = set(['爱','北','京'])
c = a&b
print(c)

判断集合为空

if {}:
    print(1)
else:
    print(0)

select * from pospal_kf.similarquestion where questionid in(1820,1531)

time8 = time.time()
print('time8-time7')
print(time8-time7)
result = list(set(result))
simi_q_list = sorted(result, key=lambda tup: tup[3], reverse=True)
time9 = time.time()
print('time9-time8')
print(time9-time8)

python 中，sorted函数的速度非常非常快，具体原因要问一下。

a = np.random.randint(1,100,10000000)
time1 = time.time()
count = np.sum(a!=0)
time2 = time.time()
print(time2-time1)
len(a.nonzero()[0])
time3 = time.time()
print(time3-time2)

0.014009952545166016
0.04614996910095215

事实证明，使用np.sum的方法比较快

pandas  去除空行

df = pd.read_excel('答案书写.xlsx', sheet_name = 'Sheet1')

print(df.dropna(subset=['答案']))

阈值thres =

维度 axis,

subset 是一个list，如果按行去除，这个list的元素就是非空的column