Какой программой обнаружть, имеются ли в большом тексте одинаковые фрагменты или предложения (повторы) ?

Answer 1

Программа UltraCompare, она платная, есть триал на месяц. В комплекте утилиты для сравнения и объединения. Можно сравнивать по тексту и двоичному содержимому.

Answer 2

Составьте список биграмм, отсортируйте их по алфавиту и посмотрите, есть ли повторы. Я бы сделал при помощи утилит sed, awk, sort и uniq в виде скрипта для bash но можно и на Python, Basic или JavaScript (но зачем? )