год издания — 2006, кол-во страниц — 448, ISBN — 5-7163-0122-3, 0-596-00577-6, тираж — 3000, язык — русский, тип обложки — мягк., масса книги — 580 гр., издательство — СП ЭКОМ

цена: 1000.00 руб

Kevin Hemenway
Тага Calishain
SPIDERING HACKS
100 Industrial-Strength Tips & Tools

O'REILLY 2005

Пер. с англ.

Формат 70x100 1/16. Бумага офсетная. Печать офсетная

Книга представляет собой сборник профессиональных советов и сценариев, позволяющих повысить эффективность поиска и получения данных с веб-серверов и других ресурсов интернета. Рассматриваются следующие темы: создание и использование поисковых и сканирующих роботов (spiders и scrapers), расшифровка и обработка полученных данных, написание скриптов и шаблонов, создание мультимедийных библиотек, философия настоящих хакеров.

Книга рассчитана на разработчиков и администраторов веб-узлов и порталов, а также всех тех, кому приходится много времени проводить, перебирая данные в интернете.

Предисловие	15

Глава 1. Вступление	21

1. Ускоренный курс глобального поиска в интернете и сбора информации	21
2. Наилучшие советы для программиста и его поискового робота	24
3. Анатомия HTML-страницы	28
4. Регистрация нового поискового робота	32
5. Получение права на поиск	34
6. Осторожность при использовании поискового робота	37
7. Поиск образцов идентификаторов	41

Глава 2. Подбор комплекта инструментов	45

8. Инсталляция модулей Perl	48
9. Простая выборка с помощью LWP::Simple	51
10. Более сложные запросы с помощью LWP::UserAgent	53
11. Добавление HTTP-заголовков к запросу	55
12. Пересылка данных с помощью LWP	56
13. Идентификация, cookies и прокси	59
14. Обработка относительных и абсолютных URL	64
15. Защищённый доступ и атрибуты браузера	66
16. Ограничение пропускной способности	68
17. Файл robots.txt	72
18. Добавление индикаторов выполнения к пользовательским сценариям	73
19. Сбор данных с помощью HTML::TreeBuilder	79
20. Синтаксический анализ с помощью HTML::TokeParser	83
21. WWW-Mechanize 101	86
22. Сбор данных с помощью WWW::Mechanize	89
23. Во славу регулярным выражениям	94
24. Беспроблемный RSS с помощью Template::Extract	97
25. Введение в XPath	101
26. Загрузка с помощью curl и wget	106
27. Более расширенные методы wget	108
28. Использование конвейера для последовательности команд	110
29. Одновременное выполнение множества утилит	115
30. Использование Web Scraping Proxy	119
31. Предупреждайте возникновение проблем	123
32. Будьте готовы к реконструкции сайта	126

Глава 3. Сбор мультимедийных файлов	129

33. Детективное расследование: Newgrounds	129
34. Детективное расследование: iFilm	135
35. Загрузка фильмов из библиотеки конгресса	139
36. Загрузка изображений с Webshots	142
37. Загрузка комиксов с dailystrips	146
38. Архивирование изображения с веб-камер	149
39. News Wallpaper для своего сайта	153
40. Сохранение только РОРЗ вложений в электронной почте	157
41. Загрузка МРЗ из списка файлов для воспроизведения	164
42. Загрузка из Usenet с помощью nget	169

Глава 4. Сбор информации из баз данных	173

43. Архивирование Yahoo! с помощью yahoo2mbox	173
44. Архивирование групповых сообщений Yahoo! с помощью
WWW::Yahoo::Groups	175
45. Сбор Buzz из Yahoo!	180
46. Глобальный поиск в каталоге Yahoo!	183
47. Отслеживание добавлений к Yahoo!	190
48. Поиск вразброс с помощью Yahoo! и Google	193
49. Связь каталогов Yahoo! и Google	197
50. Результаты поиска в Google без учёта сетевых журналов	202
51. Глобальный поиск в интернете, Google и множественные домены	205
52. Сбор рецензий на продукты Amazon.com	210
53. Получение почтового предупреждения о недавно добавленных
рецензиях Amazon.com	212
54. Сбор клиентских советов Amazon.com	215
55. Публикация связанной с Amazon.com статистики	217
56. Сортировка отзывов Amazon.com по рейтингу	219
57. Связанные с Alexa продукты Amazon.com	222
58. Сбор данных Alexa с помощью Java	227
59. Обнаружение информации об альбомах с помощью FreeDB и Amazon.com	229
60. Расширение музыкальных предпочтений	239
61. Сохранение ежедневных гороскопов в пользовательском iPod	243
62. Графическое представление данных с помощью RRDTOOL	246
63. Сбор финансовых котировок	250
64. Поиск информации об авторе	254
65. Составление библиотечного каталога бестселлеров O'Reilly	270
66. Составление списка книг с помощью All Consuming	273
67. Отслеживание посылок FedEx	279
68. Проверка онлайновых журналов на наличие новых комментариев	282
69. Объединение RSS и отправки изменений по почте	287
70. Использование Link Cosmos в Technorati	295
71. Обнаружение связанных с RSS данных	298
72. Автоматический поиск представляющих интерес онлайновых журналов	311
73. Сбор программ телевизионных передач	314
74. Какая погода у посетителя сайта?	319
75. Определение местоположения хоста с помощью Geotaigeting	322
76. Определение наилучшего маршрута для путешествия поездом	329
77. Определение географического расстояния	332
78. Поиск слов	338
79. Поиск словарных ассоциаций с помощью Lexical Freenet	343
80. Переформатирование сообщений Bugtraq	347
81. Создание закладок в сети с помощью электронной почты	352
82. Публикация папки «Избранное» из Internet Explorer на сайте
пользователя	358
83. Поиск цен игр в Web GameStop.com	367
84. Осуществление сделок с помощью РНР	370
85. Объединение результатов нескольких поисковых серверов	376
86. Караоке-робот	381
87. Поиск компаний с определённым видом услуг	385
88. Поиск информации о санитарных инспекциях	389
89. Родительский контроль	392

Глава 5. Обслуживание личных коллекций	396

90. Использование утилиты cron для автоматизации выполнения задач	396
91. Планирование задач без использования cron	398
92. Зеркальное копирование сайтов с помощью wget и rsync	403
93. Накопление результатов поиска	408

Глава 6. Доступность личных ресурсов для других пользователей	412

94. Использование XML::RSS для переназначения данных	413
95. Размещение RSS-заголовков на нужном сайте	417
96. Доступ к вашим ресурсам с помощью регулярных выражений	420
97. Доступ к личным ресурсам с помощью интерфейса REST	428
98. Доступ к личным ресурсам с помощью XML-RPC	432
99. Создание интерфейса IM	436
100. Что дальше?	440

Указатель	443

Книги на ту же тему

Бизнес путь: Yahoo!. Секреты самой популярной в мире интернет-компании, Вламис Э., Смит Б., 2003
Головоломки на PHP для хакера, Кузнецов М. В., Симдянов И. В., 2006
Галактика Интернет: Размышления об Интернете, бизнесе и обществе, Кастельс М., 2004
Разработка приложений для электронной коммерции на Oracle8i и Java, Заккар М., 2000
Perl & XML. Библиотека программиста, Макинтош Д., Рэй Э. Т., 2003
Perl 6 и Parrot: справочник. — 2-е изд., Рэндал Э., Сугальски Д., Тёч Л., 2005
Perl: изучаем глубже. — 2-е изд., Шварц Р. Л., Фой Б., Феникс Т., 2007
CGI/Perl: Создание программ для Web, Пэтчетт К., Райт М., 1999
Perl для системного администрирования, Бланк-Эдельман Д. Н., 2001
Perl-отладчик. Карманный справочник, Фоули Р., 2005
Изучаем Perl, Шварц Р. Л., Кристиансен Т., 1999
CGI программирование на Perl, Гулич С., Гундаварам Ш., Бирзнекс Г., 2001
Регулярные выражения. 2-ое издание, Фридл Д., 2003
Регулярные выражения. Библиотека программиста, Фридл Д., 2001
Perl: Библиотека программиста, Кристиансен Т., Торкингтон Н., 2000
Программирование на Perl DBI, Декарт А., Банс Т., 2000
Регулярные выражения. Карманный справочник, Стаблибайн Т., 2004
Perl. Сборник рецептов. Для профессионалов. 2-е изд., Кристиансен Т., Торкингтон Н., 2004
Тюнинг веб-сервера. — 2-е изд., Киллелиа П., 2003
Создание защиты в Интернете, Цвики Э., Купер С., Чапмен Б., 2002
Анти-хакер. Средства защиты компьютерных сетей. Справочник профессионала, Джонс К. Д., Шема М., Джонсон Б. С., 2003
UNIX. Справочник, Роббинс А., 2007
UNIX. Практическое пособие администратора, Торчинский Ф., 2003
Linux и UNIX: программирование в shell. Руководство разработчика, Тейнсли Д., 2001
Программирование web-сервисов для .NET, Феррара А., Мак-Дональд М., 2003
Популярные Web-сервисы: практика использования, Айверсон У., 2005
PHP. Сборник рецептов, Скляр Д., Трахтенберг А., 2005
PHP 4. Разработка Web-приложений (+ CD-ROM), Ратшиллер Т., Геркен Т., 2001
Профессиональное PHP программирование, 2-е издание, 2003
PHP. Справочник, Хадсон П., 2006
Разработка программного обеспечения, Константайн Л., Локвуд Л., 2004
Управление проектом по созданию интернет-сайта, Курдюмов И., ред., 2001
Разработка приложений для электронной коммерции (+ CD - ROM), Джерк Н., 2001
Dynamic HTML, Айзекс С., 1998
Dynamic HTML: справочник, Хоумер А., Улмен К., 2000
HTML и XHTML. Подробное руководство, Муссиано Ч., Кеннеди Б., 2002
JavaScript и DHTML. Сборник рецептов. Для профессионалов, Гудман Д., 2004
Анализ информационно-поисковых систем, Мидоу Ч. Т., 1970
Искусство программирования на C. Фундаментальные алгоритмы, структуры данных и примеры приложений, Хэзфилд Р., Кирби Л., 2001

elapsed time 0.021 sec

/ИТ-книги/O'REILLY

ОГЛАВЛЕНИЕ

Книги на ту же тему