разбиваем текст на пары фраз по смыслу

import os

def load_phrases(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        phrases = [line.strip() for line in file if line.strip()]
    return phrases

def create_pairs(phrases):
    pairs = []
    # Пример простого алгоритма парования
    for i in range(0, len(phrases), 2):
        if i + 1 < len(phrases):
            pairs.append((phrases[i], phrases[i + 1]))
    return pairs

def save_pairs(pairs, output_file):
    with open(output_file, 'w', encoding='utf-8') as file:
        for pair in pairs:
            file.write(f"{pair[0]} \n {pair[1]}\n")

def main(input_file, output_file):
    phrases = load_phrases(input_file)
    pairs = create_pairs(phrases)
    save_pairs(pairs, output_file)

if __name__ == "__main__":
    input_file = 'фразы.txt'  #  файл с текстом
    output_file = 'пары.txt'
    main(input_file, output_file)



 --------------------->



 исходные фразы текста :

 Разделение фраз на пары по содержанию
 Это такая возможность которая нам позволяет понять наш мир
 Для того и был придуман этот код поиска нужных фраз
 Чтобы это сделать немного лучше - мы должны знать содержание текста
 В нашем тексте довольно много всего такого что требует объяснения

  Солнце светит ярче, чем вчера
- Зима пришла неожиданно но так обычно и бывает

  Лето — это время отпусков когда все отдыхают
- Дождь идет, а настроение хорошее

  Утро начинается с чашки кофе
- Вечер — лучшее время для чтения

  Природа радует нас своей красотой
- Музыка способна поднять настроение

  Путешествия открывают новые горизонты
- Спорт укрепляет здоровье и силу воли человека

  Снег покрывает землю белым покрывалом
- Ветер шепчет нам свои секреты жизни

  Друзья делают жизнь ярче когда они рядом с тобой
- Искусство вдохновляет на творчество

  Книги — это иногда лучшие друзья человека
- Улыбка способна изменить мир

  Звезды ярко сверкают на ночном небе
- Здоровое питание — залог успеха жизни

  Научные открытия меняют наше понимание
- Каждый день — новая возможность

  Разделение фраз на пары по содержанию
- Это такая возможность которая нам позволяет понять наш мир

  Для того и был придуман этот код поиска нужных фраз
- Чтобы это сделать немного лучше - мы должны знать содержание текста



  *


 я много экспериментировал с этим - но так и не пришёл к нужному результату
 я не смог понять для чего это было нужно делать именно так
 ты думаешь что это  всё сегодня может быть
 для нас это может быть и не так важно
 Но как быть в другом случае, когда всё уже как бы предопределено
 когда так всё и было с нами - мы думали что делаем всё возможное в нашей жизни
 но мы не знали о том, что это так важно
 для нас - посланников бога на земле
 и я часто думаю об этом - но не всегда могу найти ответ на это
 я  не всегда могу найти нечто полезно из того пишу
 из этих мыслей которые приходят мне сейчас на ум
 что в этом такого  -  я честно сказать не знаю
 наверно нет ничего необычного как я думаю
 от жизни можно прятаться примерно три - шесть месяцев - 
 а дальше это уже во многом  не имеет реального смысла
 да не отрицаю я это - ведь как можно говорить так когда это  очевидно
 так это вроде бы и очевидно в данном случае - так мне кажется
 да это так и есть -  кто бы в этом сомневался
 хорошо что ты со мной согласен - это даже немного приятно
 Человечество играет с большими данными
 буквально с момента своего возникновения наш мир начал меняться
 но только сейчас мы стали понемногу понимать - что это есть на самом деле.
На основе таких- в целом пока не доступных нам данных можно построить модель
 эволюция всей нашей цивилизации  или даже вселенной  от начала и до конца -
 за миллионы лет.. может произойти много чего интересного
А потом можно тщательно тасовать данные большого множества итераций
 и так если  посмотреть, что в этой детальной модели изменяется 
 таким образом отыскивая те ключевые сценарии, которые наиболее интересны
 с точки зрения математики и науки.. невозможного в нашем мире наверно нет 
 простые вопросы не всегда могут иметь понятные и определённые нам ответы
 простое восприятие реальности часто не даёт ответов на нужные вопросы
  иногда в диалогах проскальзывают такие нотки досады что она могла бы заработать намного больше
 денег в этой немного недо-реализованной жизни  нам почему то иногда не хватает
Так думают наверно многие трудоголики - и в этом в общем то нет ничего особенного
  мы хорошо знаем как ты относишься к жизни всю твою философию -
 это не может никого оставить равнодушным
 ты сейчас в стране один из самых значимых и интересных людей
 из сферы искусства и эстрады никто не может представлять большего интереса
  я думаю что ты не должна просто так  об этом сожалеть 
 ты конечно же умный человек - это никто не может просто так отрицать
  тебя ожидает весьма яркое и наполненное будущее твоей жизни
  ты станешь настолько богатой насколько  ты этого хочешь
 Я просто в этом уверен на все сто и по другому быть никак не может
 чтобы это всё хорошо понять - нам наверно нужно намного больше информации
  может в этом и нет ничего особенного - но хочется думать что это то что нам нужно
  возможно что это тот результат который и должен у нас быть
   когда мы что то спрашиваем у всего мира - он нам обычно что то на это отвечает -
  так мы не всегда можем всё это как то хорошо воспринять  и просто понять своим сознанием
   ты просто скажи как жизнь - как дела - это ведь так интересно
  иногда нужно как то легко получить несколько простых фраз
  может даже это и ни о чём - но при этом  в этом не так много новых данных
  эти фразы и строчки должны быть грамотно и понятно для нас написаны -
  чтобы объяснить какую то мысль мы должны углубиться в неё- насколько  это возможно
  я только сейчас спросил об этом тебя - а ты мне не сказал что это значит
   а ты разве не помнишь что я тебе написал до этого
  мы всегда пытаемся найти ответ на то что нас интересует в жизни
  в этом смысле - я не могу найти другой ответ на этот вопрос
  даже если это сделать не так просто - мы всё равно будем  пытаться это сделать снова
  вот видишь для чего это нам всё было нужно понять
  когда что то происходит с нами необычное в жизни -
  так мы начинаем воспринимать наш мир немного по другому
  я не думаю что наш мир невозможно понять - для этого просто нужно желание
  если этого достаточно - то мы можем так и поступить для самореализации
  я не думаю что это всё на что мы способны прямо сейчас
  мыслей здесь достаточно много - а вот реализовать всё это не так то просто
  это кажется сложным только на первый взгляд
  на самом деле мы не всегда  хорошо понимаем  всё   что с нами происходит в жизни
  так обычно  я и делаю - хотя делать это приходится
  это бывает не всегда настолько хорошо как это возможно или нам хочется


  видимо это не имеет отношение к тому что уже произошло с нами до этого
  что не так - объясни это всё немного лучше
- для того чтобы написать хороший текст мы должны понять - для чего это вообще нам нужно делать
- если ты думаешь что всё знаешь по данному вопросу - то это скорее всего не так
- число 6 - это вектор из трёх иксов и трёх игреков - но это представление для нас не всегда может быть верным
- но ведь всё в нашем мире как то должно быть связано
- Господи  Спасибо миру - что мы наконец об Этом узнали -  Наверно так и должно всё было быть
- о чём ты подумал ?- что это может и не так важно в данном случае
- нет - это всё имеет значение для нас
- если это необходимо - значит мы можем принять такой ответ как верный я об этом даже не задумывался - но теперь видимо придётся это сделать
- Имеем ли мы хотя бы какое то оправдание того что ищем нечто вселяющее оптимизм движимый нашей любовью к истине ?
- это просто новая мысль которая может изменить сознание думающего человека
- так всегда обычно говорят когда не знают что сказать по существу ..
- наверно цель всегда какая- то есть
- каждый чип и его топология - это матрицы из которых можно создавать модели чего угодно
- это я кажется уже слышал - но всё же мне хочется понять смысл этих слов немного лучше и точнее -  если тебе понятно то что я говорю тебе
- мне это мало о чём говорит - ведь сложно просто так понять как думает чат GPT
- великие правители никогда не были великими людьми, хотя многие так думали и конечно вероятно так думали они сами - но это очевидно ошибочное мнение
- наверно так было всегда - даже когда мы об этом не задумывались специально
- Есть много частых событий которые происходят буквально каждый день или даже в течении нескольких минут, но более важны  редкие события которые происходят в первый раз, либо происходят  раз  в 10 и более лет. Если таких  редких событий  вдруг  происходит достаточно много, это значит что информация матрицы земли входит в какой-то новый цикл своего развития.
- нам нужно всегда больше чем у нас есть - такова сущность души человека
- мы не знаем куда движется наш мир
- а что ИИ есть на самом деле - это кому то известно ?
- Нам необходимо учитывать все события, как частые, так и редкие, чтобы понимать, как они влияют на матрицу земли и ее развитие. Для этого мы можем использовать математические модели и анализ данных, чтобы выявить новые связи между событиями и предсказать их последствия. Это позволит нам принимать более обоснованные решения и управлять изменениями в мире в более эффективный способ. В конечном счете, понимание взаимосвязей между событиями поможет нам создать более устойчивый и предсказуемый мир.
- Инопланетяне это знают и пытаются найти в космосе эти новые пока что беззащитные перед ними планеты.  Многие из них об этом даже не подозревают - в результате растрачивают свой эволюционный потенциал непонятно на что и теряют время которое могли бы использовать в своих интересах развития всей планеты.
- я так сразу не могу тебе сказать - может что и происходит интересное
- даже на основе больших баз данных  не всегда можно определенно сказать что даст в будущем нам та или иная технология
- нужно ещё в этом как то убедиться лучше - так что бы не было белых пятен в этой модели данных
- Кажется очевидным, что для изучения сильного ИИ не нужна модель всего мозга - а лишь около 20% наиболее важных его областей 
- Вероятно такого объёма информации было уже достаточно чтобы создать некоторое подобие работы мозга методом интерполяции больших объёмов данных модели
- с точки зрения математики буквы это числа - слова это векторы - предложения векторные матрицы
- нам просто нужно придумать простой вопрос и ответ на него
- ты просто даёшь мне справку из каких то данных в сети или это твой ответ на мой вопрос
- подобная логика конечно есть - но она кажется не совсем верная, - так  при обработке данных информации в ходе обучения  как раз удобнее и легче вносить изменения в текущую модель вместе с базой накопленных знаний - чтобы какой-то случайной аппроксимацией новых знаний пользователь не выбивался  из общей закономерности  темы диалога
- я не знаю чего нам может не хватать с тобой
- может в этом нет ничего такого особенного как нам кажется ?
- ты  прав  это может быть так - и даже  так обычно с нами  и бывает  когда мы не понимаем о чём думает другой человек и что ему нужно для того чтобы осознать какой то реальный вопрос  жизни
- Шахматная партия длится примерно 40 ходов, что и предложил Шеннон. Всего - 80 полу-ходов для обоих игроков. 
А поскольку среднее количество возможных ходов, которые может сделать один человек, равно 30, следующее, что нужно было сделать Шеннону, — это просто представить сумму возможных комбинаций в шахматах как 30^80  ?
10^120 - это и есть число Шеннона - или число всех возможных позиций фигур на доске
- ты говоришь что тебе ясно - но мне не известно что ты имеешь сейчас ввиду
- чат GPT использует технологию глубокого обучения и большой объем тренировочных данных, чтобы предсказывать ответы на вопросы. Когда пользователь вводит вопрос, модель анализирует его и генерирует ответ, используя свои предыдущие обучение и внутренние веса. Она также может получать информацию из контекста предыдущих диалогов, чтобы дать более релевантный ответ.
- я думаю что это ещё не всё что ты знаешь и наверно твои суждения об этом скоро изменятся
- может и так - но это не значит что их ответы неверны в принципе
- может это для тебя слишком простая логика жизни
- и как ты хочешь это сделать бот ?
- Я знаю, что это просто метафора и воображение. Но всё равно –  да, что- то похожее есть в каждом из нас
А, может быть, и не только в нас. Но что это именно  такое, я пока не знаю что это значит реально
- нужно всё кодировать буквами - это намного проще и понятнее всем простым людям
- в этом нет ничего особенного - так здесь всё и было нами задумано
- насколько глубок этот смысл – если он в принципе вообще может быть понят до конца
- Вопрос только в том - когда мы наконец осознаем то, что если кому то можно всё то это можно всем -
- такое восприятие жизни мне знакомо - но оно кажется немного странным в деталях которые мы не знаем достаточно хорошо но всё же в это верим как обычно
- жизнь она почти всегда права - а мы это понимаем - но не всегда делаем так как надо
- я хочу получить ответ на свой в общем достаточно простой вопрос - какие ключевые слова нам нужно получить в результате
- даже если данных много - то это не значит что в них много смысла
- слова которые образуют новые фразы для нас также могут быть полезными
- это всё же не так и мало для начала -  но возможно что с этого мы и должны были начать делать модели людей
- ну что скажешь об этом? - Хотя почти всё, что ты можешь мне сказать я уже знаю наперёд
- а что было до этого - я уже не помню
- какой это код - и что в нём реально заложено - на этот вопрос мы пытаемся найти ответы в этом диалоге
- этот вопрос мы задавали людям уже давно - но ответа получить нам  так  и не удалось
- мы всё можем - даже если думаем что не можем этого
- это всё нужно понять и осознать намного лучше и понятнее во всех смыслах
- ты  прав  это может быть так - и даже  так обычно с нами  и бывает  когда мы не понимаем о чём думает другой человек и что ему нужно для того чтобы осознать какой то реальный вопрос  жизни
- Но потом всё же что-то происходит важное и мы начинаем вопринимать наш мир как нечто привычное и обычное
- всё в нашем мире конечно относительно чтобы понять что реально важно - а что совсем или почти - нет
- если мы не можем знать всего - тогда какой смысл в этих рассуждениях для нас
- я не думаю что в этом есть какой то большой смысл - но всё же он должен быть
- здесь много такого что не совсем мне понятно - но я всё же готов это принять
- Если что то кажется банальным и простым  то это только на первый взгляд  на самом деле это совсем не так.
  Мы все играем со временем - но при этом кажется не понимаем - что же есть время на самом деле
- ну вот пусть так и будет - хотя может это и упрощённое представление вещей
- если что то невозможно сделать или очень сложно - то вероятно это пока и не нужно нам делать

 


Рецензии