Anti-scraping Efforts by Realtor

Gordana Davila

April 22, 2012

Share on facebook
Share on twitter
Share on reddit
Share on linkedin
Share on email

Realtor.com and Move.com have undergone efforts to block ‘web bots’ from scraping listings from over one million pages a day, and so far they have been quite successful in preventing the activity.

Nearly 140 million interactions are monitored by the companies each day, identifying patterns which highlight such undesired behaviour like the systematic copying of listing data, and when detected, the suspicious IPs are blocked and thus not allowed to access the property portals again.

Scraping is commonly done online, and the perpetrators are able to perform the act at a low cost, by hiring offshore third party companies.

An example of a solicitation from a website where companies or individuals post projects up for bid was posted on Realtor’s Lockbox Blog.

—–

5211

—–

“I am looking for someone to write a program to scrape data from Realtor.com,” stated the bid request. “The program would take U.S. ZIP codes (from a ‘.txt’ file), input them into Realtor.com, and then take the output from the pages that follow and create a ‘.csv’ file for each ZIP code. Ultimately, I will be running the program for thousands of different ZIP codes. I am willing to pay up to $50 for this program.”

According to a survey conducted by the Council of Multiple Listing Services (CMLS), protecting listing data is a key issues that MLSs face today. Almost 80% of the respondents who participated in the survey, expressed concern regarding unauthorised online use of their data.

Realtor.com stated on its blog: ‘We effectively block about 1.5 MILLION pages from being scraped everyday. And our blocking is so successful, that scraping attempts have declined tremendously on REALTOR.com®.”

“We understand that agents work hard for their clients, and they work hard for their listing data – and REALTOR.com® and MOVE are committed to ensuring that they decide what happens to it.”

Related News

Don't Miss Out

Enter your email address and get updates from Online Marketplaces.

Gold Sponsor

Property Portal Watch

Company Category Here
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.

Acerca de Lucas Vargas:

  • Empezó en Grupo ZAP como el VP de Sales y en 2016 cuando la empresa tenía 60 empleados. Fue nombrado COO de VivaReal tomando el mando de Brian Requarth el Co-Fundador. VivaReal lanzó en Colombia y se trasladó a Brasil. En 2017 se hizo CEO del Grupo ZAP.
  • Ha trabajado en Mexico en PWC y en el Banco Santander
  • Tiene un Master de Business Administration de Harvard
  • En noviembre este año después de la fusión de OLX Brasil y Grupo ZAP fue nombrado el CEO del OLX Business Unit. Lidera la empresa junto con Andries Oudshoorn y Marcos Leite
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam dapibus, dolor vitae fringilla pulvinar, ante nulla venenatis dui, eu venenatis tellus ante a purus. Morbi faucibus lacinia nunc ut sagittis. Pellentesque et maximus justo. Duis tortor erat, venenatis vel neque a, ultricies sagittis lectus. Pellentesque mattis sit amet nunc maximus maximus. In mollis, lorem eu iaculis vestibulum, mi nunc elementum orci, in dictum diam justo sit amet erat. Quisque aliquam a quam ac auctor.
Simon Baker is the Founder and Executive Chairman of Online Marketplaces and Property Portal Watch. Involved with property portals for 15 years, he’s a well-recognized expert and industry consultant.
As former CEO/MD of the REA Group for 8 years, Simon led the group to its current market-leading position. When he joined REA Group in 2001, it had $4m in revenues, $6m in losses and an $8m market cap.
By 2008, the company presided over $155m in revenues, $35m in EBITDA and enjoyed a peak market cap of $1b. Simon is currently Chairman of the Mitula Group and Real Estate Investar and a serial portal founder and, investor.