persian_normalizer.go

package main

func persianNormalizer(r rune) rune {
	if val, ok := persianReplaceMap[r]; ok {
		return val
	}
	return r
}

var persianReplaceMap = map[rune]rune{
	// Arabic characters
	'ي': 'ی',
	'ك': 'ک',
	'ئ': 'ی',
	'ة': 'ه',
	'أ': 'ا',
	'إ': 'ا',
	'ؤ': 'و',
	'ء': 'ی',
	'آ': 'ا',
	'ۀ': 'ه',
	'‌': ' ',

	// lower case english characters
	'A': 'a',
	'B': 'b',
	'C': 'c',
	'D': 'd',
	'E': 'e',
	'F': 'f',
	'G': 'g',
	'H': 'h',
	'I': 'i',
	'J': 'j',
	'K': 'k',
	'L': 'l',
	'M': 'm',
	'N': 'n',
	'O': 'o',
	'P': 'p',
	'Q': 'q',
	'R': 'r',
	'S': 's',
	'T': 't',
	'U': 'u',
	'V': 'v',
	'W': 'w',
	'X': 'x',
	'Y': 'y',
	'Z': 'z',

	// replace split characters with space for tokenizing
	'\n': ' ',
	'\t': ' ',
	'،':  ' ',
	'؛':  ' ',
	'(':  ' ',
	')':  ' ',
	'[':  ' ',
	']':  ' ',
	'{':  ' ',
	'}':  ' ',
	'|':  ' ',
	';':  ' ',
	'"':  ' ',
	'\'': ' ',
	',':  ' ',
	'.':  ' ',
	':':  ' ',
	'«':  ' ',
	'»':  ' ',

	// remove all non-alphanumeric characters
	'ـ': -1,
	'َ': -1,
	'ُ': -1,
	'ِ': -1,
	'ّ': -1,
	'ً': -1,
	'ٌ': -1,
	'ٍ': -1,
	'ٓ': -1,
	'ٔ': -1,
	'ٖ': -1,
	'ٗ': -1,
	'٘': -1,
	'ٙ': -1,
	'ٚ': -1,
	'ٛ': -1,
	'ٜ': -1,
	'ٝ': -1,
	'ٞ': -1,
	'ٟ': -1,
	'ۖ': -1,
	'ۗ': -1,
	'ۘ': -1,
	'ۙ': -1,
	'ۚ': -1,
	'ۛ': -1,
	'ۜ': -1,
	'۝': -1,
	'۞': -1,
	'۟': -1,
	'۠': -1,
	'ۡ': -1,
	'ۢ': -1,
	'ۣ': -1,
	'ۤ': -1,
	'ۥ': -1,
	'ۦ': -1,
	'ۧ': -1,
	'ۨ': -1,
	'۩': -1,
	'۪': -1,
	'۫': -1,
	'۬': -1,
	'ۭ': -1,

	'۰':  -1,
	'!':  -1,
	'@':  -1,
	'#':  -1,
	'$':  -1,
	'%':  -1,
	'^':  -1,
	'&':  -1,
	'*':  -1,
	'~':  -1,
	'?':  -1,
	'؟':  -1,
	'+':  -1,
	'=':  -1,
	'/':  -1,
	'\\': -1,

	// remove all digits
	'0': -1,
	'1': -1,
	'2': -1,
	'3': -1,
	'4': -1,
	'5': -1,
	'6': -1,
	'7': -1,
	'8': -1,
	'9': -1,
	'۱': -1,
	'۲': -1,
	'۳': -1,
	'۴': -1,
	'۵': -1,
	'۶': -1,
	'۷': -1,
	'۸': -1,
	'۹': -1,
}