Словарь концептуальных терминов

[audetv]

Есть новая задача для желающих помочь в развитии без знания программирования.

Лингвисты и филологи,
А также их родители
Словарь концептуальный нам
Составить не хотите ли?
#72 (comment)

• Концептуальный словарь
• dictionary.txt

[iprst]

Надо примерно описать задачу хотя бы в общих чертах.

Сейчас поиски по словам ДТСП, демон и демонический дадут разные результаты, однако очевидно, что если не сказано обратного, подразумевается одна и та же сущность — определённый тип строя психики.

Поэтому в базе требуется создать «концептуальный словарь» в котором будет выполнено приравнивание понятий и обеспечена взаимозаменяемость концептуальной терминологии, так, чтобы при поиске «демона» искались и «демонические» и «ДТСП», а например, точное слово «демон» искалось бы только при выборе точного соотвествия запросу. Так же с веганами, вегетарианцами, веганянами и прочими веганствующими и «мясоедами» — их нужно позволить искать по одному запросу. Аббревиатура ТСП должна быть равна типу строя психики, строю психики, психическому строю и тому подобным формам. Но в данный момент не существует словаря, в котором эти формы привязаны, поскольку это термины, устойчивые только в концептуальной среде. Вот для чего нужен словарь концептуальных терминов — он реализует равнозначность понятий, которую можно будет использовать для значительного улучшения поиска.

Сейчас на сайте используется стандартный поисковый движок в свободном доступе, и теперь его надо допилить напильником до нужных форм, в нем много возможностей в коробке, надо настраивать. Некоторые технические детали непосредственной реализации сервиса: https://manual.manticoresearch.com/Creating_a_table/NLP_and_tokenization/Wordforms

И далее
Exceptions
Morphology

Также полезно изучить раздел «токенизация данных»:
https://manual.manticoresearch.com/Creating_a_table/NLP_and_tokenization/Data_tokenization

И познакомиться со статьёй на русском языке, описывающей то, как работает поиск.
https://procodings.ru/dev-ru/formy-slova-protiv-isklyucheniy-v-manticore-search/

В общем, чтобы добавить словарь, его нужно сначала составить.

Итак, нужно теперь описать, что такое СЛОВАРЬ.

[iprst]

Нужно составить концептуальный словарь, это, в первую очередь, словарь синонимов концептуальных терминов, которые могут употребляться в разной форме.

Словарь может выглядеть как список, где в одной строчке записаны синонимы — слова или словосочетания, разделённые запятыми. Каждая новая строка — новая группа синонимов. Под синонимами понимается ряд употребительных терминов, которые соответствуют одному и тому же понятию. Например:

ДТСП, демон, демонический, демонизм
веган, вегетарианцы, вегане, веганствующий, мясоеды
ТСП, тип строя психики, строй психики, психический строй, психострой, психотип

[audetv]

Сделал репозиторий, в который можно добавлять слова https://github.com/audetv/conceptual-dictionary

[audetv]

Да, можно так сделать, протестировать, для этого не надо полный словарь, согласен. Я разберусь с багом #70, надо закончить и приступлю к настройке словаря, надо документацию почитать как прикреплять словарь технически и сервис настроить.

[iprst]

Я там по мелочи пока добавляю, как вспоминаю что-то. Для удобства можно пробежаться по вики-коб и использовать этот список как первичный набор понятий
https://wiki-kob.ru/Служебная:Все_статьи

Также имеет смысл наверное разобрать момент: мы здесь делаем не столько официальный словарь концепции, сколько поисковый словарь синонимов, которые внутри концепции и во внешнем мире могут и не быть синонимами, но при поиске полезно подтягивать результаты по такому-то слову к такому-то запросу. Например мясоед = вегетарианство, эти слова при поиске должны приравниваться, хотя это выдуманные антонимы. И так далее. В общем, нужно будет набросать первую версию, попользоваться, а потом её почистить и улучшить.

[iprst]

Добавил ещё несколько позиций входа в СЛОВАРЬ, а также приписал ниже уже готового словаря список готовых к сортировке понятий, которые не были использованы.

[Redd-devel]

"Полная функция управления" вижу в словаре синонимов. А ежели поискать по предикату ПФУ, то что будет найдено? Иногда используется ПФУ с обозначением этапа, например это может выглядеть так: ПФУ1, ПФУ-2. Возможно ли выдать в результате поиска информацию только по первому и/или второму этапу ПФУ?

[iprst]

По ПФУ будет найдены вхождение ПФУ, включая все ПФУ-# но не будут найдены ПФУ# без дефиса. Поиск по ПФУ-# даёт упоминания ПФУ с искомым номером, поиск можно ужесточить, выбрав «по соответствию фразе». Практически нет упоминаний слитного написания без дефиса.

ПС. Добавил ПФУ в словарь.

[grigorovsckaya-sandra]

приветствую, коллеги )

я добавила несколько синонимов в Словарь, вообще-то, уже пару-тройку раз делала одну и ту же работу, но не умела сохранить ))
метод тыка продолжает работать (кажется, получилось на третий раз ))

так же там же написала комментарий, но сейчас тоже не могу его найти, поэтому повторюсь:

в п.п. 20 и 21, по-моему, имеет место дублирование понятий, исключение "эволюция",
эволюция, хотя и является частью Божьего Промысла, но она лишь его часть, как и революция, не так ли?

"эволюция" рассматривается обычно в другой плоскости, как то: естественный отбор, изменение, постепенное развитие, рост, приспособление к условиям жизни, история развития,

Т.о.,
п. 20 : Богодержавие, Вседержительность, Божий Промысел
п. 21 : Эволюция (и т.п.)

ещё у меня вопрос по п. 39: слово Macht - это ведь немецкий? "Власть"?
почему на немецком? ведь оно весьма нечасто используется в таком виде, по крайней мере, я не встречала ни на ФКТ, ни в теории КОБ... мало читала?..
для Власти у меня синонимы: способность управлять, бирка на дверях кабинета, произвол, самодержавие, государственный аппарат, государственная машина, диктатура, правительство, ветви власти, концептуальная власть, идеологическая власть, законодательная власть, исполнительная власть, судебная власть...

ну и последнее на текущий момент: наверняка в списке будут дубли, - это как-то будет исправляться? или сразу в ручном режиме указывать на повторы? или так и останется?

[iprst]

Александра, вам нужно подписаться на все репозитории, где пишете и куда вас пригласили, чтобы вам прилетали уведомления о пополнениях этих репозиториев. Кнопка WATCH, выбрать All activity

[Redd-devel]

По поводу усатых выродков: их же двое Лукашенко и Эрдоган. По текущему словарю синонимов по запросу "усатый таракан" отобразится информация только по первому, а если ищущий имел ввиду второго? В качестве решения можно сделать выдачу инфомации, допустим, по Лукашенко, просто потому что он раньше встречается в словаре и вывести информационное сообщение-вопрос а-ля google: "может быть вы имели ввиду усатый таракан Эрдоган?

[iprst]

В моём представлении — по запросу «усатый» поисковик пусть тянет в выдачу обоих, далее пользователь разберётся, либо его это устраивает (это то что он искал) либо ему нужно точное вхождение слова «усатый» или фамилию персонажа.

[iprst]

@Redd-devel вы с ФКТ?

[Redd-devel]

Да, с ФКТ

[grigorovsckaya-sandra]

приветствую, коллеги!
я вчера добавила синонимы на ещё две буквы (В и Г), но опять заблудилась, так как не знаю, как делать запрос на вытягивание )

может, мне, не мудрствуя лукаво, выкладывать мои предложения здесь, а коллеги их подправят и используют по назначению по мере поступления?

система гитхаба для меня пока что слишком непривычная, я ещё не освоилась даже методом тыка, советы гитхаба "создать вилку" снова ставят перед проблемой - а как это сделать? ) где находится базовая ветвь, а где головная? ну и т.п.

вот мой вчерашний "труд":

Ваххабизм, исторически сложившийся ислам, сунниты, иррегулярное войско сша, моджахеды, джихад, шариат

Веды, ведическая культура, знахарство, Индия, рамаяна, махабхарата, древняя русь, язычество

Вера, суеверие, религия, конфессия, вера богу, вера в бога, вероучения, лжеучения, идолопоклонство, культ, канонический ислам

Верноподданность, толпа, толпо-элитаризм, виды социального идиотизма, бездумное следование авторитету, калоед

Вероятностная предопределённость, вероятность осуществления события, статистика прошлого, вероятностные характеристики, статистические модели

Взаимопонимание, тандем, сходные образы, мировоззрение, миропонимание, восприятие, понятия

Власть, способность управлять, бирка на дверях кабинета, произвол, самодержавие, диктатура, правительство, пять ветвей власти, концептуальная власть, идеологическая власть, законодательная власть, исполнительная власть, судебная власть

Внешняя политика, мид, дипломатия, международная политика, глобальная политика

Внутренне ненапряжённые системы общественной деятельности, тандемный режим, свободная воля, соборность, русский мир

Внутренний Предиктор СССР, ВП, ВП СССР, КОБ, концептуал, русская цивилизация

Внутренняя политика, конституция, закон, благосостояние, население, воспитание и образование, здравоохранение, промышленность и сельское хозяйство, продовольственная база

Война, шесть приоритетов, средства ведения войны по шести приоритетам, захват ресурсов, противник, враг, неприятель

Воля, свобода, свобода воли, волеизъявление, произволение, независимость

Вседержительность, Иерархически Наивысшее Всеобъемлющее Управление (см. п.п. 21 и 22)

Вседозволенность, безответственность, беспредел, сатанизм, я-центризм, фашизм

Гарвардский проект, секретный проект, развал СССР, центр русских исследований, гарвардский университет, корпорация Карнеги, холодная война, война на высших приоритетах

Гедонизм, наслаждение жизнью, роскошь и удовольствия, праздность

Генетически обусловленный потенциал, ГОП, потенциал развития, при зачатии, демографически обусловленные потребности, ДОП

Гитлеризм, “Майн кампф”, нацизм, германский фашизм, обрезание сухих ветвей, "раса господ"

Глобализация, процесс объективный, антиглобалисты, интеграция производительных сил, библейский проект глобализации, цку, центр концентрации управления, китайский проект глобализации, пояс и путь

Глобальная политика, ГП, глобальный предиктор, внутренний предиктор, ВП СССР

Глобальный предиктор, субъект глобальной политики, надгосударственные структуры, оккультная верхушка, хозяева ростовщической банковской системы, ТНК

Господь, бог, БК, библия, библейский проект, библейская концепция

Государственность, государственный аппарат, управление делами общественной в целом значимости, осуществление функций государственной власти, режим

Государство, держава, законы, конституция, территория, стейт, граница

=== добавление к Пескову: Кремль

=== жду ОС, продолжать ли мне в том же духе

[iprst]

в том, что вы делаете там, я полнейший дудук, натуральный армянский заунывный ))

Дудук прекрасен, он проникновенно звучит. Лично знаком с товарищем Аргишти.

В геоматрицу нужно понемногу въезжать. Не обязательно в подкапотные технологии, но в суть сущностей. Мы из этого сделаем публичный сервис.

[grigorovsckaya-sandra]

Если есть реальная проблема с терминами, когда кажется что это важно, то можно создать специальный issue по этому вопросу разбора терминологии, и пытаться его решить, как-бы параллельно словарю.

у меня возникают сомнения, что мои синонимы релевантны, вообще отбор слов по статьям вики-коб требует иногда многословного цитирования (определения в 4+ слов), т.е. это не выдача синонимов (их порой невозможно подобрать), а целые отрывки... оставляю конечное решение за вами, а так же, уверена, можно ещё что-то добавить, что я упустила, или, наоборот, сократить

[iprst]

можно ещё что-то добавить, что я упустила, или, наоборот, сократить

Это не критично, в процессе разработки и эксплуатации детали уточняются, что-то правится по ходу текущего момента, и тд. Можно посмотреть, что попадает в словарь, а что затем превращается в wordforms, техническую версию словаря. Также @audetv публикует проблемы, возникающие при разработке, что позволяет ориентироваться при пополнении словаря на конкретные данные из получаемого опыта работы с ним. Также есть обсуждение с багами и косяками, откуда тоже возникает понимание, что надо делать со словарём, а что нет.

у меня возникают сомнения, что мои синонимы релевантны, вообще отбор слов по статьям вики-коб требует иногда многословного цитирования (определения в 4+ слов), т.е. это не выдача синонимов (их порой невозможно подобрать), а целые отрывки...

1. Забудьте про вики-коб, список с этого сайта приведён чисто как список слов, а статьи могут быть полезны, могут быть бесполезны в вопросе формирования словаря.
2. Основная суть словаря в обслуживании следующего сценария — представьте, что вы ищете, скажем, слово ИНВОУ в комментариях, что это означает? Это означает что вам либо нужно найти упоминание точного термина ИНВОУ, либо вам нужно найти «всё» что думают об ИНВОУ посетители сайта. Если это первый вариант, то всё просто, достаточно поиска по-умолчанию либо уточнения «по соответствию фразе». Если же вам требуется второй вариант, то вот как раз тут вступает в игру концептуальный словарь, поскольку «обычный поисковик» никоим образом не свяжет запрос «инвоу» с «бог» или «аллах» — а между тем подразумевается именно это! Вот какой сценарий должен быть в голове, когда составляется словарь — представьте, что вы ищете не просто упоминание слова из запроса, а все паралелльные формы этого слова и вероятные «синонимы» и «несинонимы», которые могут не содержать самого слова или его «синонима», но с точки зрения концептуального рассмотрения скорее всего комментарии упоминающие «несиноним» релевантен запросу. В такой выдаче может быть небольшое количество нерелевантного мусора, но зато в ней будет большое количество релевантного. И уже оценив то, что в выдаче есть, можно уточнить запрос.

[grigorovsckaya-sandra]

в принципе, я так и составляла словарь - как запросную строку, поэтому старалась как можно более кратко, но, с другой стороны - с лихвой, на выбор, пока не стала сталкиваться с концептуально-концептуальными понятиями, которых, возможно, даже и не бывало в обсуждениях в том виде, в каком представлены в списке,
правда, была у меня приличная пауза в участии на фкт, года на полтора, поэтому я не уверена в этом последнем )
кстати, для ИНВОУ придётся дополнить строчку ) хотя, слова Бог, Аллах - отдельные строчки уже есть, это как раз то самое дублирование, о котором я уже писала (у вас с Алексеем это задвоением называется)

[iprst]

с лихвой, на выбор, пока не стала сталкиваться с концептуально-концептуальными понятиями, которых, возможно, даже и не бывало в обсуждениях в том виде, в каком представлены в списке

Можно проверять, попадаются ли в поиске такие понятия, возможно в комментариях они не употреблялись.

кстати, для ИНВОУ придётся дополнить строчку ) хотя, слова Бог, Аллах - отдельные строчки уже есть, это как раз то самое дублирование, о котором я уже писала (у вас с Алексеем это задвоением называется)

Можно смотреть в wordforms как это сделано там на текущий момент:

иерархически наивысшее всеобъемлющее управление > инвоу
~Бог > инвоу
~господь > инвоу
~вседержитель > инвоу
~творец > инвоу
~Аллах > инвоу
надмирная реальность > инвоу

Все запросы параллелятся на форму «инвоу», таким образом в концепутальном поиске запрос «Аллах» и «Бог» должны дать один набор комментариев:

[grigorovsckaya-sandra]

ещё один закономерный вопрос возник: только ли синонимы должны находиться в строке поиска? ведь часто идёт речь о некоторых понятиях, связанных с их противоположными значениями, нпр., духовность - бездуховность, Добро - Зло и т.п.,
тогда отпадёт необходимость в отдельной строчке,
я к тому, чтобы "не множить сущее без необходимости" ) конечно же, необходимость как таковая не отрицается...
ваше мнение?

[iprst]

только ли синонимы должны находиться в строке поиска?

Уже предвосхищая вопрос отвечал на него пару раз. Нет, синонимы не обязательны.

Также имеет смысл наверное разобрать момент: мы здесь делаем не столько официальный словарь концепции, сколько поисковый словарь синонимов, которые внутри концепции и во внешнем мире могут и не быть синонимами, но при поиске полезно подтягивать результаты по такому-то слову к такому-то запросу. Например мясоед = вегетарианство, эти слова при поиске должны приравниваться, хотя это выдуманные антонимы. И так далее. В общем, нужно будет набросать первую версию, попользоваться, а потом её почистить и улучшить.

[iprst]

я к тому, чтобы "не множить сущее без необходимости" ) конечно же, необходимость как таковая не отрицается...
ваше мнение?

Всё верно, эта логика и преследуется. Пока что вижу ситуацию так — мы наполняем словарь как подразумеваются его задачи, а Алексей на тестовом отрывке словаря изобретает, как его можно имплементировать, и что нужно будет поправить. Сейчас словарь это просто список того, что вспомнили, но это и есть текущая итерация задачи, вспомнить как и что называется и обзывается в комментариях, и что иногда подразумевается под тем или иным понятием. То, что будет полезно выдавать на запрос.

[audetv]

Кому хутор и хуторок отдадим? Соловьёву? я в v0.1.0 версии добавил к Симонян, а сегодня обратил внимание, что хутор и у Соловьёва тоже. Надо выбрать одно значение. Я за Соловьёв.

[iprst]

Разумеется Соловьёв. Он ведущий передачи «хутор», «хуторок», «посиделки» и «постоялки».

[grigorovsckaya-sandra]

коллеги, приветствую!
я начала чистить то, что до сих пор выкладывала в словаре - оказалось, там полно лишнего, а кое-чего недостаёт,
думаю, у вас совсем нет времени на такую работу, поэтому взялась сама,
такая работа поможет мне в дальнейшем при продолжении списка, уже с учётом опыта, "сына ошибок трудных" ))

Примечание: слово Бытие (как и Жизнь) выдаёт в поиске нечто совсем неадекватное, даже без выделения этих слов
(при этом я была убеждена, что результатом должно было быть 100500 комментариев...)

[grigorovsckaya-sandra]

Странно, я вас даже в паре комментариев упоминал с символом собачки — @grigorovsckaya-sandra
ну да, такие комментарии я видела,
"Плюс этот показатель, скорее всего будет меняться с течением времени, поскольку описания будут редактироваться по типу того, как это делает @grigorovsckaya-sandra с записями «этот день в истории». Отчасти поэтому я подумал, что всё текстовое описание под UUID вынести в отдельные таблицы, в которых можно будет менять данные регулярно с пользовательской стороны."

но, честно признаться, неясно, прозвучала ли критика или, наоборот... и - какие мои действия? я, как вы уже могли заметить, добросовестный исполнитель, мне нужно руководство хотя бы на начальном этапе )

[iprst]

прозвучала ли критика или, наоборот...

Где именно? В целом не было критики, не подразумевалась. В упоминании это как пример ваших комментариев по схеме «день в истории» — в действительности эти комментарии и есть по факту часть геоматрицы, даже если вы их и не пишете с такой целью. Просто вы «схлопываете» события в измерении времени по дате, а в геоматрице «схлопывание» идёт либо по пресловутой ±2 недели (приблизительно), либо вообще без учёта времени как такового (пока что).

Здесь я написал про то что в репозитории люди не пишут комментарии чисто как пример, что это видимо нормальное течение дел, возможно что-то не отражается в уведомлениях, а возможно заняты, не понятно, и так далее. Ваши коммиты в словарь как оказалось не видно, если специально не зайти в файл или репозиторий и не посмотреть в истории. Это по всей видимости происходит тогда, когда коммит делается прямо кнопкой из редактора файла здесь на сайте, и делается сразу в main branch, основную ветку. По всей видимости этот сценарий не ведёт к созданию уведомления, и потому на такие коммиты никто не обращает внимания — их не видно.

[audetv]

Репозиторий пока приватный, но всем кого я вручную добавил должно прилетать — Алексею видимо прилетает, он отвечает в темах.

Мне из «геоматрицы» приходят уведомления о новых issue, комментариях и обновлениях файлов. О загрузке наборов, об изменениях файлов. Т.е. я так понимаю, по всей активности получаю уведомления. Ничего боле не настраивал, просто подписался на всю активность в репозитории, как обычно во всех репозиториях.

[audetv]

Мне не приходят оповещения из словаря, вот опять пару часов назад @grigorovsckaya-sandra сделала коммит, но оповещение не пришло, я там ответил в комментарии, в целом я этот репозиторий отслеживаю и без оповещений, будем следить и выгрузим на неделе обновления на сервер. Выпущу версию., на версию я так понимаю, всем придет оповещение. проверим.

[iprst]

Я в словаре сделал проверку как спросила @grigorovsckaya-sandra добавил немного, исправил опечатку и тп, и присоединил пулл-реквестом, чтобы было видно.

Александра, вследствие того, что изнутри файла почему-то не прилетают уведомления, можно делать через пулл-реквест, это на пару кликов больше, зато создаётся уведомление, и что ещё полезно, к пулл-реквесту можно добавить ревизора: