Skip to content

Commit

Permalink
Polish merged stopwords
Browse files Browse the repository at this point in the history
  • Loading branch information
valeriansaliou committed Jul 22, 2024
1 parent c21a3b8 commit a2bf0c5
Show file tree
Hide file tree
Showing 2 changed files with 108 additions and 108 deletions.
3 changes: 2 additions & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -267,14 +267,15 @@ Sonic supports a wide range of languages in its lexing system. If a language is
* 🏳 Latin
* 🇱🇻 Latvian
* 🇱🇹 Lithuanian
* 🇮🇳 Malayalam
* 🇮🇳 Marathi
* 🇳🇵 Nepali
* 🇮🇷 Persian
* 🇵🇱 Polish
* 🇵🇹 Portuguese
* 🇮🇳 Punjabi
* 🇷🇺 Russian
* 🇷🇸 Serbian (latin)
* 🇷🇸 Serbian
* 🇸🇰 Slovak
* 🇸🇮 Slovene
* 🇪🇸 Spanish
Expand Down
213 changes: 106 additions & 107 deletions src/stopwords/mal.rs
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,6 @@
// Copyright: 2019, Valerian Saliou <valerian@valeriansaliou.name>
// License: Mozilla Public License v2.0 (MPL v2.0)

// Notice: we do not have stopwords for this language yet.
pub static STOPWORDS_MAL: &[&str] = &[
"കാണാന്‍",
"നിന്ന്",
Expand All @@ -15,110 +14,110 @@ pub static STOPWORDS_MAL: &[&str] = &[
"ഈ",
"കൂടുതല്‍",
"താങ്കള്‍",
"എന്നാല്",
"അതിനു",
"ശേഷം",
"ചെയ്യുന്നു",
"ഇവിടത്തെ",
"വേണ്ടി",
"ഏറ്റവും",
"ഇതില്",
"വേണ്ടിയും",
"ആണ്",
"സ്ഥിതിചെയ്യുന്നു",
"സ്ഥിതി",
"സ്ഥിതിചെയ്യുന്ന",
"ചെയ്യണം",
"നമ്മുടെ",
"ഇപ്പോള്",
"ഒരു",
"തന്റെ",
"ചെയ്യുന്ന",
"എന്ന",
"ചെയ്യുന്നത്",
"ഉണ്ട്",
"മുന്‍പ്",
"മുമ്പ്",
"കൂടെ",
"ചേര്‍ത്തു",
"ഇപ്രകാരം",
"എന്നിവയുടെ",
"കഴിയും",
"എന്നീ",
"ഇതാണ്",
"വളരെ",
"കാരണം",
"ഇവിടത്തെ",
"എപ്പോഴും",
"കൊണ്ട്",
"നല്ല",
"ധാരാളം",
"എപ്പോഴും",
"ഇവ",
"കാരണം",
"ഇതു",
"മാത്രമല്ല",
"മറ്റു",
"എന്നിവ",
"കൂടിയാണ്",
"ഇടയില്",
"ഇല്ല",
"എന്നാണ്",
"എന്നു",
"കുറച്ച്",
"അതായത്",
"എന്തെന്നാല്",
"എന്നറിയപ്പെടുന്നു",
"കിടക്കുന്ന",
"പോയാല്",
"ഇത്",
"എല്ലാ",
"വേണ്ടി",
"ഇവിടെ",
"വരുന്നു",
"പോലുള്ള",
"വലിയ",
"പറഞ്ഞ്",
"ഇതിനെ",
"കൊടുത്തിട്ടും",
"എന്ന്",
"വേണം",
"ഒരുപോലെ",
"ഒരു പോലെ",
"കാര്യമാണ്",
"കഴിയുന്നു",
"വളരെ",
"അധികം",
"വളരെ അധികം",
"വളരെയധികം",
"പോയി",
"ഉണ്ടാകുന്നുണ്ട്",
"പക്ഷേ",
"അതേ",
"കൊണ്ട്",
"ഏത്",
"നിന്നും",
"എത്താന്‍",
"അടുത്ത്",
"ആയി",
"എന്നു പറയുന്നു",
"ഇപ്പോൾ",
"ഏകദേശം",
"എന്നുപറയുന്നു",
"കാണാൻ",
"ആ",
"വിവിധ",
"ഇതിന്റെ",
"നിന്നു",
"ഇതിന്",
"അടുത്ത",
"അടുത്തുള്ള",
"പല",
"പ്രധാന",
"നിലനിൽക്കുന്ന",
"നിലനിൽക്കുന്നത്",
"മുതലായവ",
"മുതലായവക്ക്",
"വേണ്ട",
"പ്രാധാന്യം"
"എന്നാല്",
"അതിനു",
"ശേഷം",
"ചെയ്യുന്നു",
"ഇവിടത്തെ",
"വേണ്ടി",
"ഏറ്റവും",
"ഇതില്",
"വേണ്ടിയും",
"ആണ്",
"സ്ഥിതിചെയ്യുന്നു",
"സ്ഥിതി",
"സ്ഥിതിചെയ്യുന്ന",
"ചെയ്യണം",
"നമ്മുടെ",
"ഇപ്പോള്",
"ഒരു",
"തന്റെ",
"ചെയ്യുന്ന",
"എന്ന",
"ചെയ്യുന്നത്",
"ഉണ്ട്",
"മുന്‍പ്",
"മുമ്പ്",
"കൂടെ",
"ചേര്‍ത്തു",
"ഇപ്രകാരം",
"എന്നിവയുടെ",
"കഴിയും",
"എന്നീ",
"ഇതാണ്",
"വളരെ",
"കാരണം",
"ഇവിടത്തെ",
"എപ്പോഴും",
"കൊണ്ട്",
"നല്ല",
"ധാരാളം",
"എപ്പോഴും",
"ഇവ",
"കാരണം",
"ഇതു",
"മാത്രമല്ല",
"മറ്റു",
"എന്നിവ",
"കൂടിയാണ്",
"ഇടയില്",
"ഇല്ല",
"എന്നാണ്",
"എന്നു",
"കുറച്ച്",
"അതായത്",
"എന്തെന്നാല്",
"എന്നറിയപ്പെടുന്നു",
"കിടക്കുന്ന",
"പോയാല്",
"ഇത്",
"എല്ലാ",
"വേണ്ടി",
"ഇവിടെ",
"വരുന്നു",
"പോലുള്ള",
"വലിയ",
"പറഞ്ഞ്",
"ഇതിനെ",
"കൊടുത്തിട്ടും",
"എന്ന്",
"വേണം",
"ഒരുപോലെ",
"ഒരു പോലെ",
"കാര്യമാണ്",
"കഴിയുന്നു",
"വളരെ",
"അധികം",
"വളരെ അധികം",
"വളരെയധികം",
"പോയി",
"ഉണ്ടാകുന്നുണ്ട്",
"പക്ഷേ",
"അതേ",
"കൊണ്ട്",
"ഏത്",
"നിന്നും",
"എത്താന്‍",
"അടുത്ത്",
"ആയി",
"എന്നു പറയുന്നു",
"ഇപ്പോൾ",
"ഏകദേശം",
"എന്നുപറയുന്നു",
"കാണാൻ",
"ആ",
"വിവിധ",
"ഇതിന്റെ",
"നിന്നു",
"ഇതിന്",
"അടുത്ത",
"അടുത്തുള്ള",
"പല",
"പ്രധാന",
"നിലനിൽക്കുന്ന",
"നിലനിൽക്കുന്നത്",
"മുതലായവ",
"മുതലായവക്ക്",
"വേണ്ട",
"പ്രാധാന്യം",
];

0 comments on commit a2bf0c5

Please sign in to comment.