5 способов краулинга веб-сайта

Из Википедии веб-краулер или паук – бот, который с просматривает всемирную паутину, как правило, с целью индексации. Поисковики и другие веб-сайты используют краулеры для обновления своего содержимого или индексации содержимого других сайтов. Давайте начнем!! Metasploit Вспомогательный поисковый модуль Metasploit представляет собой модульный поисковый робот, который будет использоваться вместе с wmap или автономно. use auxiliary/crawler/msfcrawler msf […]

Ну вы и кадры: показываем, на ком держатся IT в 2020 году

Привет! В июле Хабр и «ЭКОПСИ» объявили о старте исследования IT-брендов работодателей. Мы собрали и обработали всё, что вы рассказали нам о российских IT-компаниях, подвели итоги и уже скоро назовём работодателей с самыми сильными IT-брендами этого года. Интересных данных у нас много, поэтому разделим их на несколько постов. В этом покажем, каким получился «средний российский […]

Самодельный гироскутер

Привет! В июле Хабр и «ЭКОПСИ» объявили о старте исследования IT-брендов работодателей. Мы собрали и обработали всё, что вы рассказали нам о российских IT-компаниях, подвели итоги и уже скоро назовём работодателей с самыми сильными IT-брендами этого года. Интересных данных у нас много, поэтому разделим их на несколько постов. В этом покажем, каким получился «средний российский […]

«Фарфоровый титаник» — в погоне за белым золотом

Привет! В июле Хабр и «ЭКОПСИ» объявили о старте исследования IT-брендов работодателей. Мы собрали и обработали всё, что вы рассказали нам о российских IT-компаниях, подвели итоги и уже скоро назовём работодателей с самыми сильными IT-брендами этого года. Интересных данных у нас много, поэтому разделим их на несколько постов. В этом покажем, каким получился «средний российский […]

Тимлид и здоровье его команды

Привет! В июле Хабр и «ЭКОПСИ» объявили о старте исследования IT-брендов работодателей. Мы собрали и обработали всё, что вы рассказали нам о российских IT-компаниях, подвели итоги и уже скоро назовём работодателей с самыми сильными IT-брендами этого года. Интересных данных у нас много, поэтому разделим их на несколько постов. В этом покажем, каким получился «средний российский […]

Умный помощник: разработан универсальный робот для ухода за садом

Разработан универсальный робот-помощник, который может поливать зеленые насаждения, подстригать газон, отпугивать насекомых и птиц, обрабатывать сорняки гербицидами, а также отстреливать нарушителей следить за безопасностью на участке. Работу над созданием устройства вела компания Whirly Max. По аналогии с роботами-пылесосами разработчики создают умных садовников. Эти роботы — помощники по уходу за территорией участка у загородного дома. Они […]

Семь паттернов пайплайнов непрерывной поставки

Разработан универсальный робот-помощник, который может поливать зеленые насаждения, подстригать газон, отпугивать насекомых и птиц, обрабатывать сорняки гербицидами, а также отстреливать нарушителей следить за безопасностью на участке. Работу над созданием устройства вела компания Whirly Max. По аналогии с роботами-пылесосами разработчики создают умных садовников. Эти роботы — помощники по уходу за территорией участка у загородного дома. Они […]

От стажера до основателя стартапа в Y Combinator

Джек Форбс — основатель Kopa (YC W19) рассказывает о том, как он подрабатывал стажером в HigherMe (YC W15), играл в футбол с другими основателями и партнерами из YC, и почему, несмотря на отказ, все-таки основал компанию и попал в Y Combinator. Вы можете присоединиться к Work at a Startup, чтобы найти новую работу в области […]

Как ролевые игры с драконом могут научить ИИ манипулировать и убеждать

Мастер подземелий Искусственный интеллект, который выполняет квесты в текстовой приключенческой игре, разговаривая с персонажами, научился не только действовать самостоятельно, но и заставлять других что-то делать. Такая система — это шаг к созданию машин, способных использовать естественный язык как способ достижения своих целей. Алгоритмы обработки естественных языковых моделей, такие как GPT-3, отлично имитируют написанные человеком предложения, […]

В России сохраняются проблемы с доступностью сайтов, но никто их не замечает

TL;DR: Из-за блокировок Роскомнадзора большое количество ресурсов, находящихся на Amazon CloudFront и Akamai, периодически становятся кратковременно недоступны. Проблема вызвана частой сменой (ротацией) IP-адресов на доменах, использующих эти сервисы, а также балансировками на основе геопризнака и EDNS Client Subnet: периодически DNS-серверы ресурсов выдают клиентам адреса, внесённые в Реестр запрещенных сайтов. Неосведомлённому человеку сложно определить причину проблемы, […]