Python学习的第五天，主要学习数据的过滤。
1. 转录组差异分析数据的过滤
Cuffcompare软件进行了转录组表达量的比较和统计，至少存在于3个生物学重复中的两个样本的转录本才被留下，否则被过滤掉。
转录组差异分析
我们将处理流程图中的transcripts.tracking文件。
tracking = open('transcripts.tracking', 'r')
out_file = open('transcripts-filtered.tracking', 'w')
for track in tracking:
# split tab-separated columns
columns = track.strip().split('\t') #以tab符为分隔符
wildtype = columns[4:7].count('-') #野生型是第4-6列，统计"-"数量
treatment = columns[7:10].count('-') #野生型是第7-9列，统计"-"数量
if wildtype < 2 or treatment < 2: #如果"-"数量 小于2，则将该行写入输入文件中
out_file.write(track)
tracking.close()
out_file.close()
####使用for/if语句处理这个问题，代码更容易理解，但代码比较冗长。
output_file = open('transcripts-filtered2.tracking', 'w')
for track in open('transcripts.tracking'):
columns = track.strip().split('\t')
length = len(columns)
wt = 0
t = 0
if columns[4] != '-':
wt += 1
if columns[5] != '-':
wt += 1
if columns[6] != '-':
wt += 1
if length >= 8:
if columns[7] != '-':
t += 1
if length >= 9:
if columns[8] != '-':
t += 1
if length >= 10:
if columns[9] != '-':
t += 1
if wt > 1 or t > 1:
output_file.write(track)
output_file.close()
2. 比较两个数据列表
data_a = [1, 2, 3, 4, 5, 6]
data_b = [1, 5, 7, 8, 9]
a_and_b = []
for num in data_a:
if num in data_b:
a_and_b.append(num) #既在data_a中也存在于data_b中的数字写入a_and_b文件中
print(a_and_b)
[1, 5]
######两个集合数据的交集
data_a = set([1, 2, 3, 4, 5, 6])
data_b = set([1, 5, 7, 8, 9])
a_and_b = data_a.intersection(data_b) #直接使用intersection（）函数获得两个数据列表的交集。
print(a_and_b)
{1, 5}
######两组数据列表的的差异
data_a = [1, 2, 3, 4, 5, 6]
data_b = [1, 5, 7, 8, 9]
a_not_b = []
b_not_a = []
for num in data_a:
if num not in data_b:
a_not_b.append(num)
for num in data_b:
if num not in data_a:
b_not_a.append(num)
print(a_not_b)
[2, 3, 4, 6]
print(b_not_a)
[7, 8, 9]
#####两个集合数据的差异
data_a = set([1, 2, 3, 4, 5, 6])
data_b = set([1, 5, 7, 8, 9])
a_not_b = data_a.difference(data_b)
b_not_a = data_b.difference(data_a)
print(a_not_b)
{2, 3, 4, 6}
print(b_not_a)
{8, 9, 7}
####两个数据的并集
a_or_b = data_a.union(data_b)
print(a_or_b)
{1, 2, 3, 4, 5, 6, 7, 8, 9}
####两个数据的的补集
a_xor_b = data_a.symmetric_difference(data_b)
print(a_xor_b)
{2, 3, 4, 6, 7, 8, 9}
3. 移除列表，字典以及文件中的元素
#####移除列表中的数字
data = [1,2,3,6,2,3,5,7]
data.pop(0) #使用pop()函数移除指定位置的数字
Out[49]: 1
data
Out[50]: [2, 3, 6, 2, 3, 5, 7]
#####使用del()函数删除列表中指定位置的数字
data = [1,2,3,6,2,3,5,7]
del(data[0])
data
Out[53]: [2, 3, 6, 2, 3, 5, 7]
#####使用remove()函数删除列表中指定的数字
data = [1, 2, 3, 6, 2, 3, 5, 7]
data.remove(3)
data
Out[59]: [1, 2, 6, 2, 3, 5, 7] #结果显示remove()函数只移除了第一3，第二3依然存在于列表中
####移除列表中所有的数字3
data = [1, 2, 3, 6, 2, 3, 5, 7]
data = [x for x in data if x != 3] #使用for/if语句将列表中的数字3都移除
data
Out[62]: [1, 2, 6, 2, 5, 7]
#使用slicing切片移除移除数字3
data = [1, 2, 3, 6, 2, 3, 5, 7]
data2 = data[:2] + data[3:]
data2
Out[65]: [1, 2, 6, 2, 3, 5, 7]
#####移除字典中的元素
#使用pop()函数
d = {'a':1, 'b':2, 'c':3} #移除的时候是指定字典中的key而不是value。
d.pop('a')
Out[70]: 1
d
Out[71]: {'b': 2, 'c': 3}
#使用del函数
d = {'a':1, 'b':2, 'c':3}
del d['a']
d
Out[74]: {'b': 2, 'c': 3}
#####移除文件中的指定行
in_file = open('text.txt')
out_file = open('new.txt', 'w')
index = 0
indices_to_remove = [1,2,5,6] #需要移除的行
for line in in_file:
index = index + 1
if index not in indices_to_remove: #如果index不在indices_to_remove中，则将剩下的写入输入文件中
out_file.write(line)
in_file.close()
out_file.close()
###除去文件中的重复行
input_file = open('UniprotID.txt')
output_file = open('UniprotID-unique.txt','w')
unique = set(input_file) #set()函数是构建一个含有无序但唯一元素的集合。
for line in input_file:
unique.add(line)
for line in unique:
output_file.write(line)
4. 处理数据集合
reduce()函数将triple_set中的第1和第2个元素传递给set.intersection函数进行数据集合求交集的操作，得到的结果与第3个元素用set.intersection函数继续进行操作，这样历遍triple_set中的元素得到最后的结果。
###查找3个集合数据的交集
from functools import reduce
a = set((1, 2, 3, 4, 5))
b = set((2, 4, 6, 7, 1))
c = set((1, 4, 5, 9))
treiple_set = [a,b,c]
common = reduce(set.intersection, triple_set)
print(common)
{1, 4}
5. 比较或更新数据库集合的变化
假设你有两个Uniprot数据集合，你想知道哪一个数据集合是新的，两个数据集合有什么变化差异。
old_db = set()
for line in open("list_old.txt"): #读取旧的数据集合
accession = line.strip()
old_db.add(accession)
new_db = set()
for line in open("list_new.txt"): #读取新的数据集集合
accession = line.strip()
new_db.add(accession)
new_entries = new_db.difference(old_db) #相较于旧数据库，新数据库的更新的内容
print("new entries", list(new_entries))
new entries ['s', 'm', 'o', 'n', 'q', 'r', 'p']
old_entries = old_db.difference(new_db)
print("deprecated entries", list(old_entries)) #相较于新数据库，旧数据库的过时的数据内容
deprecated entries ['c']
unique_entries = new_db.symmetric_difference(old_db) #新旧数据库各种特有的数据内容
print("unique entries", list(unique_entries))
unique entries ['s', 'r', 'm', 'o', 'c', 'n', 'q', 'p']
