Интернет-археологи: как зарождалась "www"
29-09-2011
Многие из нас порождают больше данных, чем способны контролировать: руки никак не дойдут до того, чтобы разложить все эти бесконечные фотографии по альбомам; содержимое жестких дисков в жутком беспорядке; Интернет с его бессистемностью и анонимностью выглядит не лучше.
Все эти HTML, MP3- и JPEG-файлы, составляющие основу современной Всемирной паутины, вероятно, останутся читаемыми в течение очень долгого времени. Но определение их первоначального происхождения и подлинности — незаурядная задача, так как данные часто дублируется, редактируются, аннотируются и изменяются.
Чтобы защитить наши файлы, мы, как правило, создаем резервные копии, отправляем их сами себе по электронной почте или размещаем в Интернете.
Файлы также проходят через «руки» многих людей. Все эти действия вносят в них изменения, не видимые невооруженным глазом. Интернет-археологам они сослужат двойную службу: с одной стороны, тем самым они получат ценную информацию о том, как распространялись данные; с другой — будет практически невозможно установить, кто создал тот или иной файл.
Один из возможных способов выявления истины — хеширование (hashing): этот математический метод позволяет представить крупный массив данных в виде небольшого («хеш-значение»), что облегчает сравнение файлов. Однако, даже незначительные изменения в исходных данных приводят к появлению совсем другого хеш-значения, так что связь между копиями увидеть трудно.
Можно разбить файлы на сегменты и присвоить каждому отдельное хеш-значение — тогда станет ясно, что если два файла состоят в основном из одинаковых сегментов, то они связаны между собой. Увы, в случае некоторых типов файлов этот метод работает не очень хорошо. Например, небольшое сжатие изображения не сильно повлияет на его внешний вид, но хеш-значение изменится существенно.
А как быть с текстами? Интернет переполнен анонимными комментариями, обновлениями статуса и сообщениями в блогах — как найти авторов? Прежде всего можно воспользоваться старым добрым способом: проанализировать словарный запас, длину предложений, грамматические структуры, ошибки. Исследователи из Национального института вычислительной техники и автоматизации в Гренобле (Франция) утверждают, что можно определить пользователя по одним только его никам.
С наиболее простой системой анализа можно ознакомиться на специальных сайтах — и заодно выяснить, стиль какого писателя напоминает ваша манера изъясняться. Правда, есть проблема: если вы введете текст известного литератора, машина за редким исключением не сможет угадать, чьему перу он принадлежит.
Другой подход — семантический анализ. Например, этим занимается Аарон Цинман из Массачусетского технологического института (США). Он разработал программу Defuse, которая определяет, насколько запись в анонимном блоге соответствует общественным ценностям. Разумеется, это всего лишь попытка оценки, и у разных программ результаты будут совершенно разными.
Так как же быть историкам будущего? Вероятно, следует признать, что, несмотря на обилие информации, специалистам предстоит все так же собирать нашу жизнь по кусочкам и обрывкам.
Источник:
