Properly split synonyms

CHANGELOG.md

@@ -10,6 +10,7 @@ Breaking:
 New features:
 
 * Add `pronunciation_audio_url` property #183 by @mundanevision20
+* Synonyms are now properly split #195
 
 Bugfixes:
 

docs/usage.md

@@ -36,7 +36,7 @@ This example showcases the most useful functions of the `DudenWord` class.
 'barmherziges Wesen, Verhalten'
 
 > w.synonyms
-'[Engels]güte, Milde, Nachsicht, Nachsichtigkeit; (gehoben) Herzensgüte, Mildtätigkeit, Seelengüte; (bildungssprachlich) Humanität, Indulgenz; (veraltend) Wohltätigkeit; (Religion) Gnade'
+['[Engels]güte', 'Milde', 'Nachsicht', 'Nachsichtigkeit']
 
 > w.origin
 'mittelhochdeutsch barmherzekeit, barmherze, althochdeutsch armherzi, nach (kirchen)lateinisch misericordia'

duden/word.py

@@ -239,16 +239,17 @@ def synonyms(self):
         """
         Return the structure with word synonyms
         """
-        try:
-            section = self.soup.find("div", id="synonyme")
-            section = copy.copy(section)
-            if section.header:
-                section.header.extract()
-            return recursively_extract(
-                section, maxdepth=2, exfun=lambda x: x.text.strip()
-            )
-        except AttributeError:
+        section = self.soup.find("div", id="synonyme")
+        if section is None:
             return None
+        section = copy.copy(section)
+        if section.header:
+            section.header.extract()
+        more_nav = section.find("nav", class_="more")
+        if more_nav:
+            more_nav.extract()
+
+        return split_synonyms(section.text.strip())
 
     @property
     def origin(self):
@@ -430,3 +431,34 @@ def alternative_spellings(self):
             return None
 
         return [spelling.get_text() for spelling in alternative_spellings]
+
+
+def split_synonyms(text):
+    """
+    Properly split strings like
+
+    meaning1, (commonly) meaning2; (formal, distant) meaning3
+    """
+    # split by ',' and ';'
+    comma_splits = text.split(",")
+    fine_splits = []
+    for split in comma_splits:
+        fine_splits.extend(split.split(";"))
+
+    # now join back parts which are inside of parentheses
+    final_splits = []
+    inside_parens = False
+    for split in fine_splits:
+        if inside_parens:
+            final_splits[-1] = final_splits[-1] + "," + split
+        else:
+            final_splits.append(split)
+
+        if "(" in split and ")" in split:
+            inside_parens = split.index("(") > split.index("(")
+        elif "(" in split:
+            inside_parens = True
+        elif ")" in split:
+            inside_parens = False
+
+    return [split.strip() for split in final_splits]

tests/test_data/Barmherzigkeit.yaml

@@ -16,7 +16,10 @@ origin: mittelhochdeutsch barmherzekeit, barmherze, althochdeutsch armherzi, nac
 grammar_overview: 'die Barmherzigkeit; Genitiv: der Barmherzigkeit'
 compounds: null
 synonyms:
-- '[Engels]güte, Milde, Nachsicht, Nachsichtigkeit'
+- '[Engels]güte'
+- Milde
+- Nachsicht
+- Nachsichtigkeit
 words_before:
 - barmen
 - Barmen

tests/test_data/Feiertag.yaml

@@ -43,7 +43,9 @@ compounds:
   - verbringen
   - öffnen
 synonyms:
-- Festtag, Gedenktag, Ehrentag
+- Festtag
+- Gedenktag
+- Ehrentag
 words_before:
 - Feierlichkeit
 - Feiermodus

tests/test_data/Kragen.yaml

@@ -21,7 +21,8 @@ grammar_overview: 'der Kragen; Genitiv: des Kragens, Plural: die Kragen, süddeu
   österreichisch, schweizerisch: Krägen'
 compounds: null
 synonyms:
-- Gurgel, Kehle
+- Gurgel
+- Kehle
 words_before:
 - Kraftwerksbetreiberin
 - Kraftwort

tests/test_data/Petersilie.yaml

@@ -17,8 +17,9 @@ origin: mittelhochdeutsch pētersil(je), althochdeutsch petersilie, petrasile <
 grammar_overview: 'die Petersilie; Genitiv: der Petersilie, Plural: die Petersilien'
 compounds: null
 synonyms:
-- (schweizerisch) Peterli; (bayrisch, österreichisch umgangssprachlich) Petersil;
-  (südwestdeutsch und schweizerisch mundartlich) Peterle
+- (schweizerisch) Peterli
+- (bayrisch, österreichisch umgangssprachlich) Petersil
+- (südwestdeutsch und schweizerisch mundartlich) Peterle
 words_before:
 - Peter-Paul-Kirche
 - Petersburg

tests/test_data/einfach.yaml

@@ -45,7 +45,10 @@ compounds:
   - stimmen
   - werden
 synonyms:
-- einmal, nicht doppelt, nicht mehrfach, bequem
+- einmal
+- nicht doppelt
+- nicht mehrfach
+- bequem
 words_before:
 - Eineuromünze
 - Eineurostück

tests/test_data/laufen.yaml

@@ -63,7 +63,10 @@ compounds:
   - Vertrag
   - Vorbereitung
 synonyms:
-- eilen, fegen, hetzen, jagen
+- eilen
+- fegen
+- hetzen
+- jagen
 words_before:
 - Laufbekleidung
 - Laufbrett

tests/test_word.py

@@ -0,0 +1,12 @@
+"""Test word functions"""
+
+from duden.word import split_synonyms
+
+
+def test_split_synonyms():
+    """Test one-line list splitting"""
+    assert split_synonyms("") == [""]
+    assert split_synonyms("a, b ,c") == ["a", "b", "c"]
+
+    expected = ["a", "b (b, c)", "d (d, e, f) g", "h"]
+    assert split_synonyms("a, b (b, c); d (d; e, f) g, h") == expected