Python数据清洗：提取爬虫文本中的电话号码

步骤索引

• 效果展示
• 注意事项
• 代码

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：101677771

效果展示

• 原始数据
  

• 清洗数据
  

注意事项

每个号码前面带‘+’，而原始文本中有些号码带Fax前缀，为传真号码，需要剔除掉

• 剔除方法
  首先将文本全部转换为小写，再将’ fax’（注意fax前有空格）转换成’ Fax’，则只要遇到大写F就说明紧接着的号码是传真号码。
  接下来我们设置一个传真标志FaxFlg，默认值：0，遍历所有字符，一旦遇到了’F’，就将标志打开，表示下一个遇到的‘+’后面的号码我们需要舍弃掉，舍弃后又重新见FaxFlg设为0，继续遍历。

代码

# -*- coding: utf-8 -*-
"""
Created on Tue Aug 18 09:46:30 2020

@author: Songyou Han
"""

import os
import csv

# 获取cvs文件列表函数
def file_name(file_dir):
    files = []
    for root, dirs, file in os.walk(file_dir):
        files = file #当前路径下所有非目录子文件
    return files

# 电话号码提取函数
def ExtractRawData(source='raw_datas',destination='extract_phone'):
    files = file_name(source)
    dict = {}
    for filename in files:
        file = source+"/"+filename
        datas = csv.reader(open(file,'r',encoding = "utf-8"))
        data_list = []
        for item in datas:
            data_list.append(item[0])
        dict.update({filename:data_list})
    return dict

def ExtractPhoneNumber(rawData):
    PhoneNumbersDict = {}
    for key,value in rawData.items():
        PhoneNumbersList = []
        for row in value:
            row = row.lower().replace(" fax"," Fax").replace(" ","")
            IndexList = []
            FaxFlg = 0
            for i in range(len(row)):
                if row[i] in ['F']:
                    FaxFlg = 1
                    continue
                if row[i] in ['+']:
                    if FaxFlg == 0:
                        IndexList.append(i)
                    else:
                        FaxFlg = 0

            PhoneNumbers = []
            for index in IndexList:
                i = index
                PhoneNumber = '+' # 存放单个电话号码的盒子
                while row[i+1] in ['0','1','2','3','4','5','6','7','8','9']:
                    PhoneNumber = PhoneNumber + row[i+1]
                    i += 1
                if PhoneNumber not in PhoneNumbers:
                    PhoneNumbersList.append(PhoneNumber)
                    PhoneNumbers.append(PhoneNumber)
            print("从以下文本中提取到号码（已去重）："+str(PhoneNumbers))
            print("........................")
            print(row)
            print("========================")
        PhoneNumbersDict.update({key:PhoneNumbersList})
    return PhoneNumbersDict

def WritePhone(FileName,PhoneNumbersList):
    f = open('extract_phone/(号码抽取)'+FileName,'w+')
    for phone in PhoneNumbersList:
        f.write("'"+phone+"'")
        f.write("\n")
    f.close()

rawData = ExtractRawData('raw_datas','extract_phone')
PhoneNumbersDict = ExtractPhoneNumber(rawData)
print("\n\n小伙子，你的电话号码提取完了，现在开始存入extract_phone文件夹中。。。。。。\n")
for key,value in PhoneNumbersDict.items():
    WritePhone(key,value)
    print("存入文件：\t(号码抽取)"+str(key))
print("\n存好了！！！")