filelist_prepare_cmn.py

# coding: utf-8

# This is for converting Pinyins in filelist to IPAs
# SSB00090212|kai1 che1 % man4 man4 % qian2 xing2 $|1       (1 at the end is the speaker id)
# ---------->
# SB00090212|$kʰˈaɪʈʂʰˈɤ mˈanmˈan tɕʰˈjɛnɕˈiŋ$|X1111111111 44444444 22222222222X|1


import argparse
import shutil

pinyin_mapper = {
    'ba': 'pˈa',
    'bo': 'pˈwɔ',
    'bai': 'pˈaɪ',
    'bei': 'pˈeɪ',
    'bao': 'pˈaʊ',
    'ban': 'pˈan',
    'ben': 'pˈən',
    'bang': 'pˈɑŋ',
    'beng': 'pˈəŋ',
    'bi': 'pˈi',
    'biao': 'pˈjaʊ',
    'bie': 'pˈjɛ',
    'bian': 'pˈjɛn',
    'bin': 'pˈin',
    'bing': 'pˈiŋ',
    'bu': 'pˈu',
    'pa': 'pʰˈa',
    'po': 'pʰˈwɔ',
    'pai': 'pʰˈaɪ',
    'pei': 'pʰˈeɪ',
    'pao': 'pʰˈaʊ',
    'pou': 'pʰˈoʊ',
    'pan': 'pʰˈan',
    'pen': 'pʰˈən',
    'pang': 'pʰˈɑŋ',
    'peng': 'pʰˈəŋ',
    'pi': 'pʰˈi',
    'piao': 'pʰˈjaʊ',
    'pie': 'pʰˈjɛ',
    'pian': 'pʰˈjɛn',
    'pin': 'pʰˈin',
    'ping': 'pʰˈiŋ',
    'pingr': 'pʰˈiŋɹ',
    'pu': 'pʰˈu',
    'ma': 'mˈa',
    'me': 'mˈɤ',
    'mo': 'mˈwɔ',
    'mai': 'mˈaɪ',
    'mei': 'mˈeɪ',
    'mao': 'mˈaʊ',
    'mou': 'mˈoʊ',
    'man': 'mˈan',
    'men': 'mˈən',
    'mang': 'mˈɑŋ',
    'meng': 'mˈəŋ',
    'mi': 'mˈi',
    'miao': 'mˈjaʊ',
    'mie': 'mˈjɛ',
    'miu': 'mˈju',
    'mian': 'mˈjɛn',
    'min': 'mˈin',
    'ming': 'mˈiŋ',
    'mu': 'mˈu',
    'fa': 'fˈa',
    'fo': 'fˈwɔ',
    'fei': 'fˈeɪ',
    'fou': 'fˈoʊ',
    'fan': 'fˈan',
    'fen': 'fˈən',
    'fang': 'fˈɑŋ',
    'feng': 'fˈəŋ',
    'fu': 'fˈu',
    'da': 'tˈa',
    'de': 'tˈɤ',
    'dai': 'tˈaɪ',
    'dei': 'tˈeɪ',
    'dao': 'tˈaʊ',
    'dou': 'tˈoʊ',
    'dan': 'tˈan',
    'danr': 'tˈanɹ',  # added
    'dang': 'tˈɑŋ',
    'deng': 'tˈəŋ',
    'dong': 'tˈʊŋ',
    'di': 'tˈi',
    'diao': 'tˈjaʊ',
    'die': 'tˈjɛ',
    'diu': 'tˈjoʊ',
    'dian': 'tˈjɛn',
    'din': 'tˈin',  # added
    'ding': 'tˈiŋ',
    'du': 'tˈu',
    'duo': 'tˈwɔ',
    'dui': 'tˈweɪ',
    'duan': 'tˈwan',
    'dun': 'tˈwən',
    'ta': 'tʰˈa',
    'te': 'tʰˈɤ',
    'tai': 'tʰˈaɪ',
    'tao': 'tʰˈaʊ',
    'tou': 'tʰˈoʊ',
    'tan': 'tʰˈan',
    'tang': 'tʰˈɑŋ',
    'teng': 'tʰˈəŋ',
    'tong': 'tʰˈʊŋ',
    'ti': 'tʰˈi',
    'tiao': 'tʰˈjaʊ',
    'tie': 'tʰˈjɛ',
    'tian': 'tʰˈjɛn',
    'ting': 'tʰˈiŋ',
    'tu': 'tʰˈu',
    'tuo': 'tʰˈwɔ',
    'tui': 'tʰˈweɪ',
    'tuan': 'tʰˈwan',
    'tun': 'tʰˈwən',
    'na': 'nˈa',
    'ne': 'nˈɤ',
    'nai': 'nˈaɪ',
    'nei': 'nˈeɪ',
    'nao': 'nˈaʊ',
    'nou': 'nˈoʊ',
    'nan': 'nˈan',
    'nen': 'nˈən',
    'nang': 'nˈɑŋ',
    'neng': 'nˈəŋ',
    'nong': 'nˈʊŋ',
    'ni': 'nˈi',
    'nir': 'nˈjɚ',  # added
    'niao': 'nˈjaʊ',
    'nie': 'nˈjɛ',
    'niu': 'nˈjoʊ',
    'nian': 'nˈjɛn',
    'nin': 'nˈin',
    'niang': 'nˈiɑŋ',
    'niangr': 'nˈiɑŋɹ',  # added
    'ning': 'nˈiŋ',
    'nu': 'nˈu',
    'nuo': 'nˈwɔ',
    'nuan': 'nˈwan',
    'nü': 'nˈy',
    'nv': 'nˈy',
    'nüe': 'nˈyɛ',
    'nve': 'nˈyɛ',
    'la': 'lˈa',
    'le': 'lˈɤ',
    'ler': 'lˈɚ',  # added
    'lai': 'lˈaɪ',
    'lei': 'lˈeɪ',
    'lao': 'lˈaʊ',
    'lou': 'lˈoʊ',
    'lan': 'lˈan',
    'lanr': 'lˈanɹ',  # added
    'lang': 'lˈɑŋ',
    'leng': 'lˈəŋ',
    'long': 'lˈʊŋ',
    'li': 'lˈi',
    'lia': 'lˈja',
    'liao': 'lˈjaʊ',
    'lie': 'lˈjɛ',
    'liu': 'lˈjoʊ',
    'lian': 'lˈjɛn',
    'lin': 'lˈin',
    'liang': 'lˈiɑŋ',
    'ling': 'lˈiŋ',
    'lu': 'lˈu',
    'luo': 'lˈwɔ',
    'luan': 'lˈwan',
    'lun': 'lˈwən',
    'lü': 'lˈy',
    'lv': 'lˈy',  # added
    'lüe': 'lˈyɛ',
    'lve': 'lˈyɛ',  # added
    'za': 'tsˈa',
    'ze': 'tsˈɤ',
    'zi': 'tsˈɹ',
    'zai': 'tsˈaɪ',
    'zei': 'tsˈeɪ',
    'zao': 'tsˈaʊ',
    'zou': 'tsˈoʊ',
    'zan': 'tsˈan',
    'zen': 'tsˈən',
    'zang': 'tsˈɑŋ',
    'zeng': 'tsˈəŋ',
    'zong': 'tsˈʊŋ',
    'zu': 'tsˈu',
    'zuo': 'tsˈwɔ',
    'zui': 'tsˈweɪ',
    'zuan': 'tsˈwan',
    'zun': 'tsˈwən',
    'ca': 'tsʰˈa',
    'ce': 'tsʰˈɤ',
    'ci': 'tsʰˈɹ',
    'cai': 'tsʰˈaɪ',
    'cao': 'tsʰˈaʊ',
    'caor': 'tsʰˈaʊɹ',  # added
    'cou': 'tsʰˈoʊ',
    'can': 'tsʰˈan',
    'cen': 'tsʰˈən',
    'cang': 'tsʰˈɑŋ',
    'ceng': 'tsʰˈəŋ',
    'cong': 'tsʰˈʊŋ',
    'cu': 'tsʰˈu',
    'cuo': 'tsʰˈwɔ',
    'cui': 'tsʰˈweɪ',
    'cuan': 'tsʰˈwan',
    'cun': 'tsʰˈwən',
    'sa': 'sˈa',
    'se': 'sˈɤ',
    'si': 'sˈɹ',
    'sai': 'sˈaɪ',
    'sao': 'sˈaʊ',
    'sou': 'sˈoʊ',
    'san': 'sˈan',
    'sen': 'sˈən',
    'sang': 'sˈɑŋ',
    'seng': 'sˈeŋ',
    'song': 'sˈʊŋ',
    'su': 'sˈu',
    'suo': 'sˈwɔ',
    'sui': 'sˈweɪ',
    'suan': 'sˈwan',
    'sun': 'sˈwən',
    'zha': 'ʈʂˈa',
    'zhe': 'ʈʂˈɤ',
    'zhi': 'ʈʂˈʐ',
    'zhai': 'ʈʂˈaɪ',
    'zhei': 'ʈʂˈeɪ',
    'zhao': 'ʈʂˈaʊ',
    'zhou': 'ʈʂˈoʊ',
    'zhan': 'ʈʂˈan',
    'zhen': 'ʈʂˈən',
    'zhang': 'ʈʂˈɑŋ',
    'zheng': 'ʈʂˈəŋ',
    'zhong': 'ʈʂˈʊŋ',
    'zhu': 'ʈʂˈu',
    'zhua': 'ʈʂˈwa',
    'zhuo': 'ʈʂˈwɔ',
    'zhuai': 'ʈʂˈwaɪ',
    'zhui': 'ʈʂˈweɪ',
    'zhuan': 'ʈʂˈwan',
    'zhun': 'ʈʂˈwən',
    'zhuang': 'ʈʂˈwɑŋ',
    'cha': 'ʈʂʰˈa',
    'che': 'ʈʂʰˈɤ',
    'chi': 'ʈʂʰˈʐ',
    'chai': 'ʈʂʰˈaɪ',
    'chao': 'ʈʂʰˈaʊ',
    'chou': 'ʈʂʰˈoʊ',
    'chan': 'ʈʂʰˈan',
    'chen': 'ʈʂʰˈən',
    'chang': 'ʈʂʰˈɑŋ',
    'cheng': 'ʈʂʰˈəŋ',
    'chong': 'ʈʂʰˈʊŋ',
    'chu': 'ʈʂʰˈu',
    'chua': 'ʈʂʰˈwa',
    'chuo': 'ʈʂʰˈwɔ',
    'chuai': 'ʈʂʰˈwaɪ',
    'chui': 'ʈʂʰˈweɪ',
    'chuan': 'ʈʂʰˈwan',
    'chun': 'ʈʂʰˈwən',
    'chunr': 'ʈʂʰˈwənɹ',  # added
    'chuang': 'ʈʂʰˈwɑŋ',
    'sha': 'ʂˈa',
    'she': 'ʂˈɤ',
    'shi': 'ʂˈʐ',
    'shai': 'ʂˈaɪ',
    'shei': 'ʂˈeɪ',
    'shao': 'ʂˈaʊ',
    'shou': 'ʂˈoʊ',
    'shan': 'ʂˈan',
    'shen': 'ʂˈən',
    'shang': 'ʂˈɑŋ',
    'sheng': 'ʂˈəŋ',
    'shengr': 'ʂˈəŋɹ',  # added
    'shu': 'ʂˈu',
    'shua': 'ʂˈwa',
    'shuo': 'ʂˈwɔ',
    'shuai': 'ʂˈwaɪ',
    'shui': 'ʂˈweɪ',
    'shuan': 'ʂˈwan',
    'shun': 'ʂˈwən',
    'shuang': 'ʂˈwɑŋ',
    're': 'ɹˈɤ',
    'ri': 'ɹˈʐ',
    'rao': 'ɹˈaʊ',
    'rou': 'ɹˈoʊ',
    'ran': 'ɹˈan',
    'ren': 'ɹˈən',
    'rang': 'ɹˈɑŋ',
    'reng': 'ɹˈəŋ',
    'rong': 'ɹˈʊŋ',
    'ru': 'ɹˈu',
    'ruo': 'ɹˈwɔ',
    'rui': 'ɹˈweɪ',
    'ruan': 'ɹˈwan',
    'run': 'ɹˈwən',
    'ji': 'tɕˈi',
    'jia': 'tɕˈja',
    'jiao': 'tɕˈjaʊ',
    'jie': 'tɕˈjɛ',
    'jiu': 'tɕˈjoʊ',
    'jian': 'tɕˈjɛn',
    'jin': 'tɕˈin',
    'jiang': 'tɕˈiɑŋ',
    'jing': 'tɕˈiŋ',
    'jiong': 'tɕˈjʊŋ',
    'ju': 'tɕˈy',
    'jv': 'tɕˈy',  # added
    'jue': 'tɕˈyɛ',
    'juan': 'tɕˈyɛn',
    'jun': 'tɕˈyn',
    'qi': 'tɕʰˈi',
    'qia': 'tɕʰˈja',
    'qiao': 'tɕʰˈjaʊ',
    'qie': 'tɕʰˈjɛ',
    'qiu': 'tɕʰˈjoʊ',
    'qiur': 'tɕʰˈjoʊɹ',  # added
    'qian': 'tɕʰˈjɛn',
    'qin': 'tɕʰˈin',
    'qiang': 'tɕʰˈjɑŋ',
    'qing': 'tɕʰˈiŋ',
    'qiong': 'tɕʰˈjʊŋ',
    'qu': 'tɕʰˈy',
    'que': 'tɕʰˈyɛ',
    'quan': 'tɕʰˈyɛn',
    'qun': 'tɕʰˈyn',
    'xi': 'ɕˈi',
    'xia': 'ɕˈja',
    'xiao': 'ɕˈjaʊ',
    'xie': 'ɕˈjɛ',
    'xiu': 'ɕˈjoʊ',
    'xian': 'ɕˈjɛn',
    'xin': 'ɕˈin',
    'xiang': 'ɕˈiɑŋ',
    'xing': 'ɕˈiŋ',
    'xiong': 'ɕˈjʊŋ',
    'xu': 'ɕˈy',
    'xue': 'ɕˈyɛ',
    'xuan': 'ɕˈyɛn',
    'xun': 'ɕˈyn',
    'ga': 'kˈa',
    'ge': 'kˈɤ',
    'gai': 'kˈaɪ',
    'gei': 'kˈeɪ',
    'gao': 'kˈaʊ',
    'gou': 'kˈoʊ',
    'gan': 'kˈan',
    'gen': 'kˈən',
    'gang': 'kˈɑŋ',
    'geng': 'kˈəŋ',
    'gong': 'kˈʊŋ',
    'gu': 'kˈu',
    'gua': 'kˈwa',
    'guar': 'kˈwaɹ',  # added
    'guo': 'kˈwɔ',
    'guai': 'kˈwaɪ',
    'gui': 'kˈweɪ',
    'guan': 'kˈwan',
    'gun': 'kˈwən',
    'guang': 'kˈwɑŋ',
    'ka': 'kʰˈa',
    'ke': 'kʰˈɤ',
    'kai': 'kʰˈaɪ',
    'kei': 'kʰˈeɪ',
    'kao': 'kʰˈaʊ',
    'kou': 'kʰˈoʊ',
    'kan': 'kʰˈan',
    'ken': 'kʰˈən',
    'kang': 'kʰˈɑŋ',
    'keng': 'kʰˈəŋ',
    'kong': 'kʰˈʊŋ',
    'ku': 'kʰˈu',
    'kua': 'kʰˈwa',
    'kuo': 'kʰˈwɔ',
    'kuai': 'kʰˈwaɪ',
    'kui': 'kʰˈweɪ',
    'kuan': 'kʰˈwan',
    'kun': 'kʰˈwən',
    'kuang': 'kʰˈwɑŋ',
    'ha': 'xˈa',
    'he': 'xˈɤ',
    'hai': 'xˈaɪ',
    'hei': 'xˈeɪ',
    'hao': 'xˈaʊ',
    'hou': 'xˈoʊ',
    'han': 'xˈan',
    'hen': 'xˈən',
    'hang': 'xˈɑŋ',
    'heng': 'xˈəŋ',
    'hong': 'xˈʊŋ',
    'hu': 'xˈu',
    'hua': 'xˈwa',
    'huo': 'xˈwɔ',
    'huai': 'xˈwaɪ',
    'hui': 'xˈweɪ',
    'huan': 'xˈwan',
    'hun': 'xˈwən',
    'huang': 'xˈwɑŋ',
    'a': 'ˈa',
    'o': 'ˈo',
    'e': 'ˈɤ',
    'er': 'ˈɚ',
    'ai': 'ˈaɪ',
    'ei': 'ˈeɪ',
    'ao': 'ˈaʊ',
    'ou': 'ˈoʊ',
    'an': 'ˈan',
    'en': 'ˈən',
    'ang': 'ˈɑŋ',
    'eng': 'ˈəŋ',
    'yi': 'ˈi',
    'ya': 'jˈa',
    'yao': 'jˈaʊ',
    'ye': 'jˈɛ',
    'yer': 'jˈɚ',
    'you': 'jˈoʊ',
    'yan': 'jˈɛn',
    'yin': 'ˈin',
    'yang': 'jˈɑŋ',
    'ying': 'ˈiŋ',
    'yong': 'ˈjʊŋ',
    'yongr': 'ˈjʊŋɹ',
    'wu': 'ˈu',
    'wur': 'ˈuɹ',  # added
    'wa': 'wˈa',
    'wo': 'wˈɔ',
    'wai': 'wˈaɪ',
    'wei': 'wˈeɪ',
    'wan': 'wˈan',
    'wen': 'wˈən',
    'wang': 'wˈɑŋ',
    'weng': 'wˈəŋ',
    'yu': 'ˈy',
    'yue': 'ɥˈɛ',
    'yuan': 'ɥˈɛn',
    'yun': 'ɥˈn',
    'hair': 'xˈaɹ',
    'dianr': 'tˈjaɹ',
    'tanr': 'tʰˈanɹ',  # added
    'bangr': 'pˈɑŋɹ',  # added
    'wanr': 'wˈaɹ',
    'nar': 'nˈaɹ',
    'yanr': 'jˈaɹ',
    'huor': 'xˈwɔɹ',
    'duanr': 'tˈwaɹ',
    'lir': 'lˈjɚ',
    'huir': 'xˈwjɚ',
    'zher': 'ʈʂˈɚ',
    'dour': 'xˈɔɹ',
    'weir': 'wˈɚ',
    'kuair': 'kʰˈwaɹ',
    'guanr': 'gˈwɐʴ',
    'shir': 'ʂˈɚ',
    'yuanr': 'ɥˈɚ',
    'jianr': 'tɕˈjɚ',
    'her': 'xˈɚ',
    'bor': 'pˈwɔɹ',
    'xir': 'ɕˈɚ',
    'bianr': 'pˈjɚ',
    'fenr': 'fˈɚ',
    'wenr': 'wˈɚ',
    'der': 'tˈɚ',
    'por': 'pʰˈwɔɹ',
    'yuer': 'ɥˈɚ',
    'mingr': 'mˈjɚ',
    'char': 'ʈʂʰˈaɹ',
    'xingr': 'ɕˈjɚ',
    'zhour': 'ʈʂˈoʊɹ',
    'shour': 'ʂˈoʊɹ',
    'ter': 'tʰˈɚ',
    'yingr': 'ˈjɚ',
    'paor': 'pʰˈaɹ',
    'fangr': 'fˈɑɹ',
    'jingr': 'tɕˈjɚ',
    'shur': 'ʂˈuɹ',
    'qunr': 'tɕʰˈyɹ',
    'hur': 'xˈuɹ',
    'miaor': 'mˈjaʊɹ',
    'biaor': 'pˈjaʊɹ',
    'zhengr': 'ʈʂˈɚ',
    'gour': 'kˈoʊɹ',
    'pair': 'pʰˈaɹ',
    'renr': 'ɹˈɚ',
    'gaor': 'kˈaʊɹ',
    'lo': 'lˈoʊ',
    'tuir': 'tʰˈwɚ',
    'huanr': 'xˈwaɹ',
    'genr': 'kˈɚ',
    'nvr': 'nˈyɹ',
    'qianr': 'tɕʰˈjɚ',
    'hangr': 'xˈɑɹ',
    'chenr': 'ʈʂʰˈɚ',
    'den': 'tˈɚ',
    'lar': 'lˈaɹ',
    'niur': 'nˈjoʊɹ',
    'liur': 'lˈjoʊɹ',
    'tunr': 'tʰˈwɚ',
    'lunr': 'lˈwɚ',
    'tour': 'tʰˈoʊɹ',
    'hour': 'xˈoʊɹ',
    'tianr': 'tʰˈjɚ',
    'mianr': 'mˈjɚ',
    'mar': 'mˈaɹ',
    'pianr': 'pʰˈjɚ',
    'maor': 'mˈaʊɹ',
    'cair': 'tsʰˈɚ',
    'far': 'fˈaɹ',
    'shuor': 'ʂˈwɔɹ',
    'kanr': 'kʰˈaɹ',
    'banr': 'pˈaɹ',
    'ger': 'kˈɚ',
    'sher': 'ʂˈɚ',
    'gunr': 'kˈwɚ',
    'beir': 'pˈɚ',
    'chuanr': 'ʈʂʰˈwɚ',
    'bar': 'pˈaɹ',
    'cunr': 'tsʰˈwɚ',
    'tiaor': 'tʰˈjaʊɹ',
    'shuar': 'ʂˈwaɹ',
    'tur': 'tʰˈuɹ',
    'zhaor': 'ʈʂˈaʊɹ',
    'cher': 'ʈʂʰˈɚ',
    'menr': 'mˈɚ',
    'qingr': 'tɕʰˈjɚ',
    'shanr': 'ʂˈaɹ',
    'mor': 'mˈwɔɹ',
    'zhur': 'ʈʂˈuɹ',
    'wangr': 'wˈɑɹ',
    'zhunr': 'ʈʂˈwɚ',
    'zhir': 'ʈʂˈɚ',
    'haor': 'xˈaʊɹ',
    'shuir': 'ʂˈwɚ',
    'guor': 'kˈwɔɹ',
    'zaor': 'tsˈaʊɹ',
    'juanr': 'tɕˈyɚ',
    'jiar': 'tɕˈjaɹ',
    'xiaor': 'ɕˈjaʊɹ',
    'suor': 'sˈwɔɹ',
    'shaor': 'ʂˈaʊɹ',
    'yir': 'ˈɚ',
    'dir': 'tˈɚ',
    'ganr': 'kˈaɹ',
    'duir': 'tˈwɚ',
    'taor': 'tʰˈaʊɹ',
    'lianr': 'lˈjɚ',
    'benr': 'pˈɚ',
    'fanr': 'fˈaɹ',
    'xuer': 'ɕˈyɚ',
    'pur': 'pʰˈuɹ',
    'jinr': 'tɕˈɚ',
    'kour': 'kʰˈoʊɹ',
    'ker': 'kʰˈɚ',
    'mur': 'mˈuɹ',
    'liaor': 'lˈjaʊɹ',
    'juer': 'tɕˈyɚ',
    'your': 'jˈoʊɹ',
    'xianr': 'ɕˈjɚ',
    'quanr': 'tɕʰˈyɚ',
    'yo': 'jˈoʊ',
    'sanr': 'sˈaɹ',
    'zhuor': 'ʈʂˈwɔɹ',
    'tuor': 'tʰˈwɔɹ',
    'naor': 'nˈaʊɹ',
    'dar': 'tˈaɹ',
    'fur': 'fˈuɹ',
    'dunr': 'tˈwɚ',
    'langr': 'lˈɑɹ',
    'dair': 'tˈaɹ',
    'huar': 'xˈwaɹ',
    'yangr': 'jˈɑɹ'
}

aishell3_spkid_mapper = {
    'SSB0005': '0',
    'SSB0009': '1',
    'SSB0011': '2',
    'SSB0012': '3',
    'SSB0016': '4',
    'SSB0018': '5',
    'SSB0033': '6',
    'SSB0038': '7',
    'SSB0043': '8',
    'SSB0057': '9',
    'SSB0073': '10',
    'SSB0080': '11',
    'SSB0112': '12',
    'SSB0122': '13',
    'SSB0133': '14',
    'SSB0139': '15',
    'SSB0145': '16',
    'SSB0149': '17',
    'SSB0193': '18',
    'SSB0197': '19',
    'SSB0200': '20',
    'SSB0241': '21',
    'SSB0246': '22',
    'SSB0261': '23',
    'SSB0267': '24',
    'SSB0273': '25',
    'SSB0287': '26',
    'SSB0288': '27',
    'SSB0299': '28',
    'SSB0307': '29',
    'SSB0309': '30',
    'SSB0315': '31',
    'SSB0316': '32',
    'SSB0323': '33',
    'SSB0338': '34',
    'SSB0339': '35',
    'SSB0341': '36',
    'SSB0342': '37',
    'SSB0354': '38',
    'SSB0366': '39',
    'SSB0375': '40',
    'SSB0379': '41',
    'SSB0380': '42',
    'SSB0382': '43',
    'SSB0385': '44',
    'SSB0393': '45',
    'SSB0394': '46',
    'SSB0395': '47',
    'SSB0407': '48',
    'SSB0415': '49',
    'SSB0426': '50',
    'SSB0427': '51',
    'SSB0434': '52',
    'SSB0435': '53',
    'SSB0470': '54',
    'SSB0482': '55',
    'SSB0502': '56',
    'SSB0534': '57',
    'SSB0535': '58',
    'SSB0539': '59',
    'SSB0544': '60',
    'SSB0565': '61',
    'SSB0570': '62',
    'SSB0578': '63',
    'SSB0588': '64',
    'SSB0590': '65',
    'SSB0594': '66',
    'SSB0599': '67',
    'SSB0601': '68',
    'SSB0603': '69',
    'SSB0606': '70',
    'SSB0607': '71',
    'SSB0609': '72',
    'SSB0614': '73',
    'SSB0623': '74',
    'SSB0629': '75',
    'SSB0631': '76',
    'SSB0632': '77',
    'SSB0666': '78',
    'SSB0668': '79',
    'SSB0671': '80',
    'SSB0686': '81',
    'SSB0700': '82',
    'SSB0710': '83',
    'SSB0720': '84',
    'SSB0723': '85',
    'SSB0737': '86',
    'SSB0746': '87',
    'SSB0748': '88',
    'SSB0751': '89',
    'SSB0758': '90',
    'SSB0760': '91',
    'SSB0762': '92',
    'SSB0778': '93',
    'SSB0780': '94',
    'SSB0784': '95',
    'SSB0786': '96',
    'SSB0794': '97',
    'SSB0817': '98',
    'SSB0851': '99',
    'SSB0863': '100',
    'SSB0871': '101',
    'SSB0887': '102',
    'SSB0913': '103',
    'SSB0915': '104',
    'SSB0919': '105',
    'SSB0935': '106',
    'SSB0966': '107',
    'SSB0987': '108',
    'SSB1008': '109',
    'SSB1020': '110',
    'SSB1024': '111',
    'SSB1050': '112',
    'SSB1055': '113',
    'SSB1056': '114',
    'SSB1064': '115',
    'SSB1072': '116',
    'SSB1091': '117',
    'SSB1096': '118',
    'SSB1100': '119',
    'SSB1108': '120',
    'SSB1115': '121',
    'SSB1125': '122',
    'SSB1131': '123',
    'SSB1136': '124',
    'SSB1138': '125',
    'SSB1161': '126',
    'SSB1203': '127',
    'SSB1204': '128',
    'SSB1218': '129',
    'SSB1221': '130',
    'SSB1253': '131',
    'SSB1320': '132',
    'SSB1341': '133',
    'SSB1366': '134',
    'SSB1377': '135',
    'SSB1383': '136',
    'SSB1385': '137',
    'SSB1392': '138',
    'SSB1393': '139',
    'SSB1408': '140',
    'SSB1431': '141',
    'SSB1437': '142',
    'SSB1448': '143',
    'SSB1555': '144',
    'SSB1563': '145',
    'SSB1567': '146',
    'SSB1575': '147',
    'SSB1585': '148',
    'SSB1593': '149',
    'SSB1607': '150',
    'SSB1624': '151',
    'SSB1625': '152',
    'SSB1630': '153',
    'SSB1650': '154',
    'SSB1670': '155',
    'SSB1684': '156',
    'SSB1686': '157',
    'SSB1699': '158',
    'SSB1711': '159',
    'SSB1759': '160',
    'SSB1806': '161',
    'SSB1828': '162',
    'SSB1831': '163',
    'SSB1832': '164',
    'SSB1837': '165',
    'SSB1846': '166',
    'SSB1863': '167',
    'SSB1878': '168',
    'SSB1891': '169',
    'SSB1918': '170',
    'SSB1935': '171',
    'SSB1939': '172',
    'SSB1956': '173',
    'SSB0693': '174',
    'SSB0711': '175',
    'SSB0716': '176',
    'SSB0717': '177',
    'SSB0736': '178',
    'SSB0749': '179',
    'SSB0809': '180',
    'SSB0702': '181',
    'SSB0822': '182',
    'SSB1110': '183',
    'SSB1215': '184',
    'SSB1399': '185',
    'SSB1728': '186',
    'SSB0993': '187',
    'SSB0997': '188',
    'SSB1000': '189',
    'SSB1001': '190',
    'SSB1002': '191',
    'SSB1126': '192',
    'SSB1135': '193',
    'SSB1176': '194',
    'SSB1187': '195',
    'SSB1197': '196',
    'SSB1216': '197',
    'SSB1219': '198',
    'SSB1239': '199',
    'SSB1274': '200',
    'SSB1302': '201',
    'SSB1322': '202',
    'SSB1328': '203',
    'SSB1340': '204',
    'SSB1365': '205',
    'SSB1382': '206',
    'SSB1402': '207',
    'SSB1452': '208',
    'SSB1457': '209',
    'SSB1739': '210',
    'SSB1745': '211',
    'SSB1781': '212',
    'SSB1782': '213',
    'SSB1809': '214',
    'SSB1810': '215',
    'SSB1872': '216',
    'SSB1902': '217'
}


def pinyin2IPA(text):
    ipa_items = []
    tmp_strs = text.split(' ')
    for tmp_str in tmp_strs:
        if tmp_str == '$':
            continue
        if tmp_str == '%':
            ipa_items.append([' ', ' '])
            continue
        if not tmp_str[-1].isdigit():
            tmp_str = tmp_str + '5'  # add tone 5 for soft tone if missing in pinyin
        tone = tmp_str[-1]
        pinyin = tmp_str[:-1]
        ipa = pinyin_mapper[pinyin]
        ipa_items.append([ipa, tone * len(ipa)])  # repeated tones for ipa
    return ipa_items


def line_process(line, autoid=False):
    filepath, text, *spk_id = line.split('|')
    #filepath = filepath.split('.')[0]
    if filepath[-4:] != '.wav': filepath += '.wav'  # add .wav file extension if missing
    if autoid:
        spk_id = aishell3_spkid_mapper[filepath[-15:-8]]
    ipa_items = pinyin2IPA(text)
    ipa_str = ''
    tone_str = ''
    for ipa, tone in ipa_items:
        ipa_str += ipa
        tone_str += tone
    new_line = filepath + '|$' + ipa_str + '$|X' + tone_str + 'X|' + spk_id
    return new_line


def load_lines(filename):
    with open(filename, encoding='utf-8') as f:
        lines = [line.strip() for line in f]
    return lines

def str2bool(v):
    if isinstance(v, bool):
        return v
    if v.lower() in ('yes', 'true', 't', 'y', '1'):
        return True
    elif v.lower() in ('no', 'false', 'f', 'n', '0'):
        return False
    else:
        raise argparse.ArgumentTypeError('Boolean value expected.')

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('-f', '--filelists', nargs='+', default=['Data/train_list_raw.txt', 'Data/val_list_raw.txt'],)
    parser.add_argument('-a', '--autoid', type=str2bool, default=False, help='whether to auto generate spekaer ids for aishell dataset')
    args = parser.parse_args()

    for filelist in args.filelists:
        shutil.copy(filelist, filelist + '.bak')  # make a backup copy of the file
        print('START: ', filelist)

        org_lines = load_lines(filelist)
        new_lines = []

        for i in range(len(org_lines)):
            new_lines.append(line_process(org_lines[i], args.autoid))

        with open(filelist, 'w', encoding='utf-8') as f:
            f.writelines('\n'.join(new_lines))

        print('COMPLETE: ', filelist)