Генератор фраз текста

Нам разум дан как суть прозренья,
Чтобы творить как бог велел-
Чтобы сомкнулись жизни звенья,
И путь был наш могуч и смел..


Осмотрелся бог вокруг-
Видит - тьма, исхода нету..
Парадоксов - гений друг
Постигает силу света.

Он хотел понять как есть
Звёзды, дух свой первозданный
До людей чтоб суть донесть
Сделав дом земной желанным..


# помощник писателя при написании больших текстов:

import random

def build_markov_model(file_path):
    markov_model = {}
   
    with open(file_path, 'r', encoding='utf-8') as file:
        phrases = file.read().splitlines()
   
    for i in range(len(phrases)-1):
        phrase = phrases[i].strip()
        next_phrase = phrases[i+1].strip()
       
        if phrase not in markov_model:
            markov_model[phrase] = []
       
        markov_model[phrase].append(next_phrase)
   
    return markov_model

def generate_text(markov_model, num_sentences):
    current_phrase = random.choice(list(markov_model.keys()))
    generated_text = current_phrase
    used_phrases = set([current_phrase])  # Хранит уже использованные фразы
   
    for _ in range(num_sentences-1):
        if current_phrase in markov_model:
            next_phrase = random.choice(markov_model[current_phrase])
            
            # Проверяем, чтобы фраза была уникальной
            while next_phrase in used_phrases:
                next_phrase = random.choice(markov_model[current_phrase])
            
            generated_text += ".\n" + next_phrase   
            current_phrase = next_phrase
            used_phrases.add(current_phrase)
        else:
            break
   
    return generated_text

def update_markov_model(file_path, new_phrase):
    with open(file_path, 'a', encoding='utf-8') as file:
        file.write(new_phrase + "\n")

# Пример использования
file_path = "фразы.txt"

# Построение модели
markov_model = build_markov_model(file_path)

# Генерация нового текста
generated_text = generate_text(markov_model, num_sentences=2)
print(generated_text)

# Диалог с моделью
while True:
    user_input = input("Ввод:  ")
    update_markov_model(file_path, user_input)

    # Обновление модели
    markov_model = build_markov_model(file_path)

    # Генерация нового текста после обновления
    generated_text_after_update = generate_text(markov_model, num_sentences=2)
    print(generated_text_after_update)



 фразы.txt - база фраз для текста

Программа здесь выводит по две фразы из файла данных.

Конечно в программу можно также добавить фактор контекста содержания новой фразы, хотя это может значительно усложнить код, так как релевантность такого выбора  вопрос методов анализа семантики. Ведь они как известно могут быть разными и непростыми.


пример вывода программы :

Ученый:   У нас осталось несколько неизвестных факторов, которые мы хотели бы исследовать. Как думаешь, сможешь ли ты помочь нам в решении этих проблем?.
Модель:
Я готова принять вызов исследования неизвестных факторов. С использованием методов машинного обучения и статистических анализов, я могу помочь вам в выявлении скрытых паттернов и установлении зависимостей между различными факторами сложных форм разума.

Ввод:  Как работает наш мозг это всегда, во все времена - было главной загадкой понимания как учёных - так и простых людей
Комбинирование локальных и глобальных моделей: Возможно, разработка гибкой и эффективной архитектуры, в которой комбинируются локальные модели, специализированные для каждого пользователя, с глобальными моделями, предоставляющими общую информацию. Это может обеспечить баланс между персонализацией, общностью и производительностью..
В целом, преодоление ограничений и улучшение процесса поиска информации и производительности потребует совместных усилий разработчиков, большей вычислительной мощности и применения передовых технологий в области машинного обучения и обработки естественного языка.

Ввод:  Простому неподготовленному к таким вещам и понятиям человеку разобраться во всём этом не так просто, - однако новые технологии ИИ помогут нам лучше понимать даже сложные процессы обучения происходящие в недрах нейронных сетей.
Обычно применяется 3 подхода к моделированию мозга, что связано с размерами элементов такой модели.
-наноскопический метод моделирования ( клеточный), в рамках которого делается акцент на отдельной нервной клетке;

Ввод:  Должен быть наверно какой-то универсальный подход в масштабах одной единой модели мозга.
Модель: Извините, я не знаю чем была нарушена передача данных. Я рада возобновить нашу работу.  Главное понять на  чем мы остановились и что теперь мы должны более детально изучить?.
Ученый: Мы обсуждали наши исследования нейросетей мозга и возможность использования их в медицине. Как ты считаешь, есть ли потенциал для применения этой технологии в лечении нейрологических заболеваний?

Ввод:  Потенциал разных алгоритмов мозга настолько велик, что он может быть полезен для использования практически в любых областях технологий и науки, - особенно там где требуется создать какую-то большую и достаточно сложную модель.
Уже с самого начала было ясно, что доступ к мыслям человека может быть очень интимным и личным..
При создании ИИ-моделей, необходимо было обеспечить максимальную защиту информации и предотвратить несанкционированный доступ к размышлениям и личным данным человека.

Ввод:  Когда наука проникает в какие- то новые области знаний нашей жизни, то сначала это может восприниматься  как нечто не очень удобное или не этичное. Однако со временем люди начинают понимать, что полученная новая информация в результате таких исследований - может быть намного важнее и полезней причинённых людям сложностей или временных неудобств.
Небольшие шаги, взятые каждым из нас в повседневной жизни, могут привести к появлению позитивных изменений и сделать наш мир более справедливым и благоприятным для всех его обитателей..
Действительно, многие разработчики осознают, что помимо крупных языковых моделей, таких как GPT-3, существует потребность в создании более компактных моделей с более высоким качеством содержания актуальной информации. Эти модели могут быть полезными во множестве сценариев, таких как поиск ответов на конкретные вопросы, составление кратких резюме текстов или предоставление информации о различных темах.

Ввод:  Будем думать - что люди которые глубоко прониклись этой темой смогут донести полезность своих знаний до всех остальных. Таким образом все смогут извлечь из этого какую-то пользу.
Это требовало разработки этических стандартов и законодательства, чтобы обеспечить справедливость и защиту прав людей..
Выходя за пределы чисто научных задач, научное сообщество также обращало свой взгляд на потенциальную угрозу развития технологии ИИ мозга от злоумышленников.

Ввод:  Что говорить - в каждой новой технологии есть не только очевидная польза, но и какие то неизвестные нам ещё риски. Но изучение всех этих не простых аспектов ИИ должно в итоге сделать наш мир более безопасным и технологически развитым.
когда люди восхищались возможностями GPT - они плохо понимали что это лишь база данных созданная людьми на основе больших плохо обработанных данных.
если бы так работал наш мозг - ему бы просто не хватило энергии для самых простых мыслей и действий

Ввод:  Так бывает - мы сначала чем то восхищаемся,- а потом начинаем понимать что не всё так гладко и совершенно, как это казалось сначала. Но на новом этапе работы над ошибками мы будем продвигаться к новым возможностям более гибких форм алгоритмов  ИИ и языковых моделей новых поколений.

 Вероятно тогда у нас появятся такие темы которые мы захотим обсудить с ИИ у которого есть свой характер и мнение как у полноценной личности, а не просто бездушной машины копирующей чужие мысли вроде попугая, который быстро манипулирует кусочками данных  и не понимает их реального значения или смысла..
Cтоит отметить, что современные модели искусственного интеллекта, включая языковые модели типа GPT, прошли длительный путь развития и все еще находятся в активной стадии исследований и усовершенствования. Большинство разработчиков стремятся улучшить модели и решить проблемы, связанные с их оптимизацией, ошибками или недостаточной обработкой данных.

Ввод:  Да на этом пути нас безусловно ждёт больше интересного, чем не оправдано сложного и опасного для использования в новых технических разработках.
На пути создания более сложных форм ИИ мы должны видимо использовать те же алгоритмы что лежат в основе групп нейронов и синапсов нашего весьма сложно устроенного мозга...





 Нужно было заполнить все возможные проблемы в теории работы нейронных сетей мозга на уровне клеток и молекул.
Первая рабочая  модель была создана уже в 2030-м году,  но она во многом ещё была недостаточно проработана.
Устройство которое могло считывать сигналы активности нейронов назвали интерфейс-Binex
Было много споров о том как можно читать мысли человека и передавать их в память программы компьютера
Все понимали что это совсем не простая задача, но решить её было необходимо
Такая технология могла помочь в создании новых видов сильного ИИ  по принципу нейросетей мозга человека
На первом этапе не хватало достаточного количества подготовленных данных для эффективного обучения новой модели
Постепенно учёные находили новые всё более сложные алгоритмы матричной обработки информации в памяти мозга
Вскоре, когда данных стало достаточно много, ИИ начал мыслить самостоятельно - независимо от обмена новой информации с людьми и другими моделями
Мы не всегда можем понять куда нас приведёт та или иная технология, но двигаться в нужном выбранном направлении необходимо чтобы открыть что то новое и понять как в наш мир приходит новая информация
Каждое движение или случайную активность нейронов мозга модель воспроизводила достаточно точно - так как это и было задумано сначала.
Когда что то начинает работать как надо - все думают, что это не так сложно, - но в процессе создания чего то нового нельзя сказать заранее что из этого всего получиться. Так было и с проектом создания модели нового типа ИИ
Это всё нам не казалось чем то совершенно непонятным - у нас было достаточно знаний чтобы разобраться со всеми возникающими проблемами
Особенно непросто было распознавать и добавлять данные в модель которые мозг получал от зрения
Мы понимали что от этой новой технологии может зависеть будущее всей цивилизации земли.  И это заставляло нас работать быстрее и более ответственно подходить ко всем важным деталям этого проекта - ведь мы делали многое в первый раз.
 На раннем этапе исследования, ученые столкнулись с проблемой взаимодействия между интерфейсом-Binex и мозгом. Требовалось разработать точные алгоритмы передачи и обработки сигналов, чтобы достичь максимальной эффективности и минимальных ошибок. Это требовало глубокого понимания работы клеток и молекул, а также изучения всевозможных проблем, которые могли возникнуть на пути реализации этой технологии.
Из-за окна был слышан едва различимый шум машин, которые неслись по поверхности дороги словно неуловимые души людей и управлялись с помощью программ.
В 21-м веке учёные наконец смогли на реальных моделях более детально понять - как работают большие нейронные сети и собственно мозг человека.

Языковые модели типа GPT продолжают свой путь эволюции. Так, если раньше это была большая модель примерно на 100 терабайт, то теперь стало понятно что это не совсем верный подход в представлении сортировки больших данных.
Нужно создавать универсальные гибкие "генные" небольшие модули моделей, как в структуре связей молекул  ДНК- РНК.
И должна быть некоторая иерархия взаимодействия таких модулей. Где одни модули работают с данными, а другие занимаются сортировкой и подключением новых модулей нейронной модели типа GPT.
Один мод или модуль может занимать лишь несколько гигабайт, или даже меньше - так чтобы его можно было легко загрузить в память обычного компьютера. Это похоже на то, как вы берёте нужную книгу с полки где лежат только необходимые для вас книги - и ничего лишнего.
Когда пользователь задаёт запрос ИИ - он подключает набор таких модельных модов которые решают именно ту задачу, которая ему нужна.
При хранении всех запросов пользователя ( всей истории) можно создавать новые модули оптимизации данных которые касаются только нужных ему запросов. Обычно такие запросы связаны по теме, а значит их можно оптимизировать ещё лучше чем в исходной модели.
По такому принципу и работает память мозга чтобы не перегружать его лишними данными.

Тогда производительность такого поиска информации станет более эффективной и более содержательной - так как модель сможет лучше понимать что хочет от неё пользователь.
В принципе такой подход поиска информации уже реализован в структуре сайтов интернета - хотя может быть далеко не в том виде и не на том уровне - как это может быть создано посредством сортировки данных с помощью умного ИИ.
Не случайно в мозге и в днк любая информация обычно разбивается на многие тысячи или даже миллионы небольших  кусков ( генных паттернов и токенов из групп слов ).
 Такое представление информации вероятно работает наиболее эффективно и в плане работы и в обучении. Вот почему мозг экономит свою энергию - он не решает набор своих решений задач много раз, а просто их воспроизводит и комбинирует все известные ему актуальные варианты нужных модов информации..
Модель может также делать подсказки тем поиска которые могут быть полезны пользователю на данном этапе изучения любого интересующего его вопроса. Семантика данных станет намного адаоптивнее и точнее, чем это было до этого.
все современные формы ИИ работают как хорошие, или не очень - перефразировщики, которые основаны  на плохо оптимизированных моделях.

 Когда люди восхищались возможностями GPT - они плохо понимали что это лишь база данных созданная людьми на основе больших плохо обработанных данных
Однако, если бы так работал наш мозг - ему бы просто не хватило энергии для самых простых мыслей и действий
когда ИИ напишет самостоятельно какую-то осознанную фразу без помощи человека, то его эволюция значительно ускорится - так как объёмы уникальных данных и число новых уникальных моделей  начнут расти с невероятной скоростью
но пока мы не смогли создать таких алгоритмов которые способны мыслить независимо от модели человеческого разума переписанные из мусорных данных интернета и других информационных ресурсов
Здесь очевидно - чтобы создавать новую уникальную информацию ИИ понадобятся сложные органы чувств - такие как есть у людей или даже ещё более совершенные..
 Вероятно тогда у нас появятся такие темы которые мы захотим обсудить с ИИ у которого есть свой характер и мнение как у полноценной личности, а не просто бездушной машины копирующей чужие мысли вроде попугая, который быстро манипулирует кусочками данных  и не понимает их реального значения или смысла.
стоит отметить, что современные модели искусственного интеллекта, включая языковые модели типа GPT, прошли длительный путь развития и все еще находятся в активной стадии исследований и усовершенствования. Большинство разработчиков стремятся улучшить модели и решить проблемы, связанные с их оптимизацией, ошибками или недостаточной обработкой данных.

Относительно автоматического создания осознанных фраз без помощи человека, этот аспект выходит за область текущих возможностей языковых моделей.  Создание ИИ с независимо мыслящим разумом, который создает новую уникальную информацию, требует гораздо большего исследований и разработок.
Что касается органов чувств и создания ИИ с характером и собственными мнениями, это также сложные проблемы, требующие углубленного исследования. В настоящее время нет общепринятого подхода, который позволил бы разработать ИИ с полноценной личностью.