Robots txt синтаксис. Как редактировать файл robots txt

Фраза «основатель интернета» зачастую используется в отношении людей вроде Бенджамина франклина, Томаса Джефферсона и Джорджа Вашингтона. Поразмыслим же над ней с более глобальной точки зрения. А что может быть глобальнее, чем Веб?

Поэтому сегодня мы познакомимся с 10 людьми, которые помогли всемирной сети распространиться по нашей планете и прийти к тому состоянию, в котором мы видим ее сейчас.

Читая этот топ, вы познакомитесь с несколькими наиболее влиятельными людьми, создавшими и развившими идеи и технологии, которые сегодня являются ведущими в глобальной паутине. И также узнаете, собственно, где придумали интернет.

1. Так кто изобрел интернет? - Тим Бернерс-Ли (Tim Berners-Lee)

Этот человек выделился тем, что он стал инвестором интернета. Физик по образованию, Бернерс-Ли и его команда создали первый в мире интернет-браузер «WorldWideWeb» , а также язык гипертекстовой разметки — HTML .

Бернерс-Ли основал и в настоящее время возглавляет Консорциум Всемирной Паутины (W3C), организацию, которая разрабатывает и внедряет стандарты для всемирной паутины. Хотя и можно считать датой рождения интернет 1969 год, именно Бернерс-Ли стал первым человеком, который сумел объединить концепцию Интернет с гипертекстом, что стало основополагающим моментом для нынешней всемирной паутины.

Благодаря тому, что CERN (Европейская Организация Ядерных Исследований) не закрыла доступа к своей разработке под названием Всемирная Сеть (World Wide Web), а также никогда не заявляла на нее свои права, протоколы этой разработки нашли широчайшее применение.

2. Марк Андреессен (Marc Andreessen)

Несмотря на то, что «Mosaic» не был первым графическим веб-браузером, он стал первым браузером, на который обратили серьезное внимание. Он также был первым браузером, который отображал изображения внутри текста.

После создания «Mosaic», Андреессен стал сооснователем компании «Netscape Communications». Флагманский продукт компании — браузер «Netscape Navigator» оказал огромное влияние на развитие всемирной сети, позволяя донести ее преимущества до простых пользователей. В 1998 году «Netscape» раскрыла исходный код «Netscape Communicator’а» под открытой лицензией. Этот проект, известный под названием «Mozilla», стал основанием для развития программы, известной нам под названием «Firefox».

3. Брайан Белендорф (Brian Behlendorf)

В чем значимость этого человека: Брайан Белендорф был ведущим разработчиком веб-сервера Apache , а также одним из основателей Apache Group. Работая в качестве вебмастера над вебсайтом Wired Magazine под названием HotWired, Белендорф заметил, что делает множество изменений и исправлений в коде HTTP-сервера, изначально разработанного в NSCA, в Университете штата Иллинойс на территории академгородка Урбана Шампейн (Urbana Champaign). После того, как он обнаружил еще несколько групп людей, делающих такие исправления, он организовал мейлинг-лист для координации работы на сервером.

К февралю 1995 года проект обрел имя — Apache — а оригинальный код сервера от NCSA был полностью переписан и заново оптимизирован. Настоящим достижением Apache, помимо того, что он был бесплатен и поставлялся с открытым исходным кодом, стало то, что он являлся расширяемым решением. Это означало, что хостинг-провайдеры могли с легкостью добавлять свои расширения или плагины для более качественной оптимизации сервера, позволяя на одном компьютере размещать сотни сайтов. Apache и к настоящему времени остается самым популярным веб-сервером в сети.

4, 5, 6. Расмус Лердорф, Энди Гутманс и Зеев Сураски (Rasmus Lerdorf, Andi Gutmans and Zeev Suraski)

Лердорф, Гутманс и Сураски стали родителями того, что известно нам под названием PHP , скриптового языка, который остается одним из наиболее используемых языков в веб-разработке при создании динамических веб-страниц. Расмус Лердорф разработал этот язык в 1995 году и стал ведущим разработчиком проекта в его первых двух версиях.

В 1997 году Гутманс и Сураски решили расширить PHP, переписав парсер и создав его третью версию. После этого они оба занялись переписанием ядра языка с нуля, назвав его Zend Engine, доведя его до выпуска версии под номером 4. Гутманс и Сураски, после выпуска этой версии, основали компанию Zend Technologies, которая продолжает вносить огромный вклад в развитие PHP.

В то время как язык Perl Ларри Уолла (Larry Wall) был одним из первых скриптовых языков общего назначения, которые позволили развиться вебу, простота и легкость внедрения PHP стали основополагающими в том, что де-факто именно его «P» стала включаться в аббревиатуру LAMP (набор компонентов для построения веб-приложений)

7. Брэд Фитзпатрик (Brad Fitzpatrick)

Создатель LiveJournal , во многом являющегося социальной сетью, автор оригинального memcached и протокола аутентификации OpenID .

Фитзпатрик создал LiveJournal во время обучения в колледже для того, чтобы он и его друзья имели возможность делиться своими занятиями и впечатлениями. Позднее проект перерос в огромное блоггерское сообщество, а также обрел множество нововведений, вроде Френдлистов, возможности создания голосований, поддержку блог-клиентов, возможность отправки пользователям текстовых сообщений, возможность написания постов с телефона, публикации записей через E-mail, создания пользовательских блогов и многих других, которые впоследствии стали стандратом для создания таких сетей, как Facebook, Tumblr, MySpace, WordPress.com и Posterous.

Поскольку LiveJournal разрастался и стал потреблять все большие и большие объемы ресурсов, Фитзпатрик запустил свой проект под названием memcached, направленный на ускорение динамических веб-приложений и снижение нагрузки на базы данных. Это происходит за счет четкого и централизованного распределения оперативной памяти веб-серверов, на которых размещено приложение, что позволяет с легкостью разрастаться крупным проектам. Memcached используется Википедией, Flickr, Facebook, WordPress, Twitter, Craigslist и многими другими.

Этот человек стал создателем JavaScript и в настоящее время является главным инженером Mozilla Corporation . Айх создал JavaScript во времена своей работы в Netscape, назвав его сначала Mocha, позднее переименовав проект в LiveScript, а затем — в JavaScript. Официальная дата запуска JavaScript — декабрь 1995 года.

JavaScript за короткий промежуток времени стал одним из наиболее популярных языков для веб-разработки. По истечении времени и с развитием библиотек и фреймворков JavaScript совместно с мощью Ajax сделали его интегральной частью веб-стандартов.

Джон Резиг — создатель и ведущий разработчик jQuery , самой популярной JavaScript-библиотеки в интернете. Несмотря на то, что другие JavaScript-библиотеки предшествовали jQuery, например Prototype Сэма Стивенсона, достижением этой библиотеки стала кроссбраузерность, выделяющая ее среди многих.

За последние два года, внимание к jQuery значительно возросло, и сейчас эта библиотека используется 31 процентом из 10 000 наиболее посещаемых веб-сайтов в мире. Ее расширяемость и jQuery UI также позволили адаптировать библиотеку jQuery к использованию в разработке корпоративных приложений. Любая JavaScript-библиотека, которая позволяет совершить переход веб-раработчиков в нишу производителей корпоративных приложений, является настоящей находкой.

JavaScript продолжает удерживать ветвь перевенства в стандартизированном вебе, и jQuery играет в этом немаловажную роль.

10. Джонатан Гай (Jonathan Gay)

Он основал FutureWave Software и в течение более десяти лет был ведущим разработчиком и вдохновителем технологии под названием Flash .

Несмотря на то, что не всем нравится Adobe Flash, стоит вспомнить, насколько влиятельной и важной была эта технология в течение последних 15 лет. Гай создал программу для создания векторных изображений под названием SmartSketch для операционной системы PenPoint в 1993 году, а после ухода с рынка этой операционной системы, технология SmartSketch была предложена для создания и воспроизведения анимации для веб-страниц.

Этот продукт, переименованный в FutureSplash Animator, был поглощен компанией Macromedia в 1996 году и получил название Flash. После поглощения Гай стал Вице президентом отдела разработки Macromedia и возглавил управление отдела разработки Flash. Спустя годы его команда включила в Flash новые элементы, одним из которых является ActionScript.

Однако, верхом достижений Гая стало создание командой, которую он возглавлял, того, технологии, известной нам как Flash Communication Server (сейчас — Flash Media Server), что позволило Flash Player’у использовать RTMP протокол для воспроизведения через веб потокового аудио и видео. По сути, эта технология позволила YouTube стать… YouTube’ом.

Сегодня сеть Интернет знакома большинству жителей земли. Каждый человек, так или иначе, встречался с этим понятием. Трудно представить себе современную жизнь без Интернета и тех удобств, которые он предоставляет человечеству. Но все же не всегда сеть находилась на таком уровне развития как в наше время и, вообще, возникла она, относительно, не так давно.

История возникновения интернета - М. Еременко

Официальная версия появления Интернета

Началось все в период «холодной войны» между СССР и США. В начале октября 1957 Советский Союз запустил в космос первый в мире искусственный спутник планеты. США отставало в научной деятельности от СССР, а после этого отрыв между государствами стал еще заметнее. Тогда президент США Дуайт Эйзенхауэр подписал приказ о создании Агентства по перспективным научным проектам и исследованиям, которое одержало название ARPA . Агентство работало в рамках министерства обороны страны. Оно должно было создать сеть, объединяющую главные центры.

Ученый Леонард Клейнорк выдвинул теорию пакетной коммуникации, что оказалось важных шагом вперед в развитии компьютерных сетей. Следующим важным этапом должно было стать реальное соединение между компьютерами. Такое взаимодействие было организовано между двумя компьютерами, один из которых находился в Массачусетсе, а другой в Калифорнии. Связь между ними осуществлялась благодаря коммутируемой телефонной линии. Вот так, было создано самую первую нелокальную сеть.

История Интернета

В недолгом времени после проведенного эксперимента

В 1967 году был основан ARPANET . В сеть было подсоединено четыре компьютера с единым протоколом передачи данных. Чуть позднее стала развиваться электронная почта. С самого начала предназначением созданной сети было использование ее в оборонных целях. Через электронную почту пересылались документы. Но сеть постоянно и быстро развивалась. В нее подключались все новые узлы. В сеть включались большие научные институты. В конце семидесятых здесь насчитывалось около сотни хостингов.

В это же время отдельно развивались другие сети. Каждая из них работала по-своему. Для того, что бы было возможно соединить их, необходимо было, что бы все они работали по единому сетевому протоколу.

В 1973 году началась интенсивная работа по созданию такого протокола. Был создан Internetting Project – проект, результатом которого должно было стать объединение разных сетей в одну. Главным руководителям проекта был назначен Роберт Канн. Протокол основывался на таких основных принципах:

1. При включении в сеть Интернет компьютерная сеть не должна внутренне перестраиваться;
2. Пакет информации должен быть обязательно доставлен в назначенное место;
3. Шлюзы и маршрутизаторы должны быть присущие для объединения сетей;
4. Глобальная сеть не должна управляться кем-то конкретно или общей системой.

Первое января 1983 года знаменательная дата в истории Интернета. Именно в этот день все компьютеры, которые раньше входили в сеть ARPANET, перешли на межсетевой протокол, разработанный командой Роберта Канна. Таким образом, установлен стандарт, по которому могла развиваться дальше сеть Интернет. И в наши дни она развивается по этому стандарту.

Первой российской сетью, которая была связанна с Интернетом

Стала сеть RELCOM . Ее создали ученые-физики для общения и совместных исследований со своими западными коллегами в 1990 году. Изначально сеть Интернет в России развивалась в университетах и научных учреждениях. В 1995 году начала свою работу государственная научная сеть под названием RUNNet. Постепенно ее пользователями ставали простые граждане крупных городов. В Интернет многие заходили из интереса.

В недолгом времени в сеть приходили все новые пользователи. Но пользоваться Интернетом в это время было не очень удобно, из-за его неприспособленности к обычным посетителям. В связи с такой популярностью через год появился первый поисковый робот – рамблер. Еще через год начал свое существование яндекс. В этом самом году появилась аська. А еще за два года было проведено первый денежный перевод через сеть Интернет. С этого времени начала развиваться электронная коммерция.

Первые компьютерные сети ориентировались на передачу информации, документов, точнее текста. В это время Интернет был уделом избранных, так как через него, в основном, проходила деловая документация или научные тексты. Но со стремительным развитием Интернета в начале девяностых встала проблема с отображением графики. Группа американских ученых из штата Иллинойс разработала первый браузер – мозаика. Это еще больше привлекало к пользованию всемирной паутиной все новых частных пользователей.

С каждым годом доступ в сеть Интернет упрощался

А пользователей становилось все больше. В 2000 году в Интернете насчитывалось около двадцати миллионов сайтов. В 2003 году их количество увеличилось в пять раз – более ста тысяч. Количество пользователей сети увеличивается в геометрической прогрессии и по сегодняшний день.

Интернет занимает огромное место в развитии общества и жизни людей. Люди развивают сеть Интернет, а она в свою очередь развивает знания человека. Из Интернета можно вынуть много полезной и нужной в данный момент информации. Многие люди в наше время в Интернете зарабатывают, развлекаются, знакомятся и общаются. С помощью Интернет программ на подобие скайпа близкие люди, которых разделяют сотни километров, могут увидеть друг друга (пусть даже на мониторе) и пообщаться.

Интернет предоставляет колоссальные возможности людям, которые болеют и не могут покидать самостоятельно дом. Ведь здесь можно получить образование, найти работу и, даже, покупать необходимые вещи. При условии, что человек находится в зоне действия сети. Таким образом, ХХІ столетие новый информативный век, которые предоставляет многие возможности, благодаря Интернету.

С рождением интернета на нашей планете связывают многие имена, однако родиной интернета, так или иначе, остается далекая Америка. История всемирной паутины началась еще в 1961 году. Хотя прошли чуть более пятидесяти лет, интернет не кажется слаборазвитой или начинающей системой. Стремительное распространение и высокая популярность сделали интернет, чуть ли не самой необходимой частью человеческого существования. Домохозяйка, индивидуальный предприниматель, владелец средней величины бизнеса, крупные холдинги, научно-исследовательские центры и военные структуры - все являются пользователями интернет-ресурсов.

Современные потребители тысяч мегабайт информации должны быть благодарны сотрудникам министерства обороны США. Ведь именно необходимость объединить несколько компьютеров в общую сеть стала толчком для создания первых протоколов TCP/IP (протокол соединенной сети). Пол Бэран стал первым разработчиком теоретического знания об объединении сетей с помощью общего статуса для них. Это было в 1961 году, а уже в 1974 году была опубликована статья Винта Серфа и Боба Кана о межсетевом протоколе передачи пакетных данных. В 1982 году протокол стал реальностью, который стал рабочим инструментом для всех военных сетей и компьютеров министерства обороны Америки.

Начиная с 1984 года, сеть сумела перешагнуть границы и вышла за рамки США. В 1987 году к сети подключились такие страны как Канада, Дания, Норвегия, Швеция, а годом позже к ним присоединились Япония, Германия, Великобритания, Австрия, Италия, Израиль. 1990 год - начало Интернета в России, российская сеть называлась Relcom, и пользовалась огромной популярностью в Москве.

Первым браузером стал Mosaic, его разработкой в 1993 году занималась группа студентов и программистов Иллинойского университета. Всего за год браузер стал настолько распространенным, что насчитывал более двух миллионов пользователей. Установка его на компьютер была бесплатной. Благодаря изобретению браузера стала доступной информация со всех возможных сайтов. Вслед за Mosaic, стали рождаться и другие новые браузеры, а в 1995 году Билл Гейтс и его корпорация Microsoft выпускает свой браузер Internet Explorer.

Сегодня число пользователей интернет перевалило за миллиард, ни один офис не обходится без подключения к всемирной сети, уже не перечесть количество сайтов, созданных в сети - реклама, торговля, инженерные технологии, услуги различных направлений - обо всем можно говорить в интернете. С помощью всемирной паутины происходят сделки международного уровня. Интернет стал помощником в переводах текстов на любой язык. Интернет предлагает массу возможностей заработать, не выходя из дома, благодаря внедренным технологиям, через интернет можно перевести и получить деньги, оплатить счета, не простаивая драгоценное время в пробках и очередях. Социальные сети, в которых люди делятся впечатлениями об отдыхе, общаются, знакомятся, находят единомышленников, стали очень популярными - и это тоже благодаря сети интернет.

Удобство общения, миллион возможностей, знакомство с мировыми новостями и самообразование - уже благодаря только этим причинам, интернет поистине можно считать одним из величайших изобретений в мире.

Возникновение интернета в России

Первый шаг к возникновению «рунета» был сделан в 1990 году, в то время, когда образовалась американская общественная организация под названием «Гласнет». Из названия понятно, что эти общественники преследовали цель сделать общество максимально открытым для информации. Они видели в этом глобальную просветительскую миссию.

Результатом стало то, что «Гласнет» стал одним из первых коммерческих провайдеров на Земле, а после ряда слияний и поглощений другими компаниями, появилось ООО «ТелеРосс».

Далее была образована компьютерная сеть «Релком» и своим появлением она во многом обязана сотрудникам Института имени Курчатова. Довольно скоро к этой системе подключились около тридцати научно-исследовательских центров, которые использовали то, что сегодня мы называем электронной почтой. В 1991 году, в феврале впервые применяется протокол TC/IP. 1 мая 1991 года объём интернет-трафика в России возрос настолько, что этот день вполне можно назвать днём рождения рунета.

В 1993 году основана компания-провайдер «Демос Он-Лайн», в дальнейшем ставшая одной из наиболее крупных в нашей стране фирмой по предоставлению телекоммуникационных услуг.

В 1994 году впервые был зарегистрирован сайт с доменом RU - это начало отсчёта развития русской зоны Интернета. Развивается структура для поддержания сетей институтов и университетов нашей страны на единой базе, то есть расширение компьютерных сетей. Этот процесс осуществлялся в рамках государственной программы «Университеты России». Появившаяся в результате сеть Runnet при помощи систем спутниковой связи охватила шесть регионов страны. В 1996 году сеть Runnet покрыла уже 15 регионов.

Институтом «Открытое общество» весной 1996 года был запущен проект «Университетские центры Интернет», который был рассчитан на пять лет. Правительство РФ способствовало развитию этой программы. На её осуществление ушло порядка 130 миллионов долларов, включая установку необходимого оборудования. Впервые в нашей стране появилась возможность передавать данные со скоростью 256 килобит в секунду. Получает свой размах поисковая система «Рамблер».

Радиовещание активно пользуется сетевым пространством. Одной из первых в этом направлении сделала шаг радиостанция «Серебряный дождь», вещая онлайн круглые сутки. Такими значительными явлениями и ознаменовались 1995-1996 годы.

В 1997 году отпраздновала первый «день рождения» система ICQ, Уже через шесть месяцев 130 тысяч россиян пользовались ей.

В феврале 1997 года в Интернете была запущена российская поисковая машина AltaVista, которая немного позднее была модернизирована.

Весной 97-го впервые был поднят вопрос об использовании Интернета в корпоративных сетях. Для этого был организован специальный интернет-форум, в котором участвовали представители нескольких сотен российских и иностранных компаний. В феврале того же года «Рамблер» запустил свою знаменитую рейтинговую систему, которая оценивала популярность веб-сайтов в различных категориях.

В сентябре 1997-го произошло поворотное событие в развитии интернет-коммуникаций России: зарегистрирована поисковая система «Яндекс», которая сделала возможным удобный поиск информации на русском языке. В этом году количество русских сайтов возросло в сотни раз. Таким образом именно последнее десятилетие «атомного века» стало задавать темп развитию русского Интернета.

В 1999 году, в центре Москвы рядом с Арбатом, создана и начала активно развиваться Сеть Комплат. Первые клиенты начали пользоваться услугами широкополосного доступа в Интернет. Спустя 15 лет число наших абонентов и скорость подключения выросли в тысячи раз.

Интернет можно сравнить с глобальным информационным пространством, это словно объединенная система компьютерных сетей. К интернету подключено неимоверное количество компьютеров во всем мире. И кто смог создать такую основу для некого "информационного общества"? Кто изобрел Интернет ?

Кто придумал интернет

Все началось с того, что Советский Союз в 1957 году запустил искусственный спутник Земли. Вследствие чего Америка решила обезопасить себя на случай войны и найти надежную систему передачи информации. Появилось предложение разработать компьютерную сеть. Ее разработку поручили сразу Калифорнийскому университету в Лос-Анжелесе, университету Юты, университету штата Калифорния в Санта-Барбаре и Стенфордскому исследовательскому центру. Вот кто придумал интернет, оказывается. Созданная компьютерная сеть получила название ARPANET. Такая аббревиатура с английского означает Advanced Research Projects Agency Network. И уже в 1969 году в сети объединились эти 4 научных учреждения. Финансирование проекта шло от Министерства обороны США. Первый сеанс связи был проведен между Калифорнийским университетом Лос-Анжелеса и Стенфордским исследовательским институтом, которые находились на расстоянии 640 км друг от друга. Первая попытка удалась не до конца, зато после восстановления связи в этот же день вторая попытка стала успешной! Если вас когда-нибудь спросят, в каком году придумали интернет. Можете смело называть дату его рождения: 29 октября 1969 года. Время первой попытки приходилось на 21:00, а второй - на 22:30.

Развитие компьютерной сети ARPANET распространялось уже на ученых разных областей науки. А в 1971 году была создана первая программа для передачи электронной почты по сети. Популярность такой программы сразу же возросла. В 1973 году ARPANET стал международным. 1983 год стал знаменательным. Был произведен переход ARPANET с протокола NCP на TCP/IP. Этот протокол используется до сих пор для объединения сетей. И именно в 1983 году придумали интернет как название сети ARPANT. Доменные имена ввели в обиход в 1984 году. Общаться в реальном времени в сети интернет в виде чата стало возможным в 1988 году, когда придумали протокол Internet Relay Chat (IRC).

И только в 1989 году в Европе появилась идея создания Всемирной паутины. Мы должны быть благодарны ученому Тим Бернерс-Ли, который позднее создал протокол HTTP, разработал язык HTML и URI. С этим ученым работал исследователь Роберт Каиллиалу, проект World Wide Web был в разработке. Общедоступным интернет стал в 1991 году. Известный браузер NCSA Mosaic появился в 1993 году. Открытые технические стандарты интернета делали его независимым от коммерческих компаний и бизнеса. В 1997 году можно было насчитать около 10 миллионов компьютеров, подключенных к интернету. Обмен информации через интернет стал очень пополярным.

Думали ли те, кто придумал интернет, что к настоящему моменту уже будет можно подключиться к сети через спутники связи, сотовые телефоны, телевизоры, радио-каналы, электропровода. Сейчас многие просто не представляют жизнь без интернета. На данный момент можно услышать термин Рунет, который является русскоязычной частью всемирной сети Интернет. То есть существуют национальные домены su, ru и рф. Современным российским сетям дали начало программисты и физики в 1990 году. Первый российский домен ru был зарегистрирован 7 апреля 1994 года. Кириллица, а именно домен рф впервые появился совсем недавно 12 мая 2010 года. К настоящему моменту существует множество браузеров, то есть веб-программ, с помощью которых мы выходим в Интернет. Сегодняшнюю сеть, конечно, не сравнить с тем, что было ранее, но многие из нас благодарны тем, кто придумал интернет.