首页 > 模式 > 关键词 > 网页抓取最新资讯 > 正文

利用网页抓取数据赚钱的3个思路

2020-06-01 16:21 · 稿源:站长之家
文章目录

站长之家注:在大数据时代,如何有效获取数据已成为驱动业务决策的关键技能。分析市场趋势,监视竞争对手等都需要进行数据采集。而网页抓取则是数据采集的主要方法之一。

在本文中,Christopher Zita将和大家展示 3 种利用网络抓取赚钱的方法,全程只需几个小时就能学会,所用代码不到 50 行。

通过自动程序在Airbnb上花最少的钱住最好的酒店

自动程序可用于执行特定的操作,你可以将其出售给没有技术能力的人以获取收益。

为了展示如何创建和出售自动程序,Christopher Zita创建了一个Airbnb自动抓取程序。该程序允许用户输入位置,它将抓取Airbnb在该位置提供的所有房屋数据,包括价格、等级、允许入驻的客人数量等。所有的这些都是通过抓取Airbnb上的数据来完成的。

为了演示程序的实际运行,Christopher Zita在程序中输入了罗马,然后在几秒钟内获得了 272 个Airbnb的相关数据:

1.jpg

现在,查看所有房屋数据变得非常简单,过滤起来也容易得多。以Christopher Zita家为例,他们家有四口人,如果要去罗马,会在Airbnb上寻找价格合理且至少有 2 张床的酒店。而在得到这个表格中的数据后,excel可以非常轻松地进行过滤。从这 272 个结果中,找到了 7 个满足要求的酒店。

2.jpeg

在这 7 家酒店中,Christopher Zita选择了梵蒂冈圣彼得丹尼尔酒店。因为通过数据对比,可以看出,这家酒店评级很高,并且是 7 家酒店中最便宜的,每晚收费仅 61 美元。选择所需链接之后,只需复制这个链接到浏览器中然后预订即可。

3.jpg

外出旅游度假时,寻找酒店是一项艰巨的任务。为此,有人愿意通过付费来简化这一过程。有了这个自动程序,你只需要 5 分钟就能以低廉的价格预订到让你满意的房间。

抓取特定商品价格数据,在最低价时买入

网页抓取最常见的用途之一就是从网站上获得价格。通过创建程序抓取特定产品的价格数据,当价格下降到一定程度时,它会在产品售罄之前自动购买该产品。

4.jpg

接下来,Christopher Zita将向大家展示一个可以为大家节省很多钱同时还能赚钱的方法:

每个电商网站都会有限量特价商品,它们会显示商品的原始价格和打折后的价格,但一般不会显示在原价的基础上打了多少折扣。例如,一只手表最初的价格为 350 美元,而促销价格为 300 美元,您会认为 50 美元的折扣是一笔不小的数目,但实际上只有14.2%的折扣。而如果一件T恤最初的价格为 50 美元,而销售价格为 40 美元,你会觉得没便宜多少,但实际上它的折扣率比手表高出20%。因此,您可以通过购买折扣率最高的产品来省钱/赚钱。

下面以百货商店Hudson's'Bay为例,来进行数据抓取实验,通过获取所有商品的原始价格和折扣价格,来找出折扣率最高的商品。

5.jpg

抓取网站数据后,我们获得了 900 多种商品的数据,其中只有Perry Ellis纯色衬衫这 1 种商品的折扣率在50%以上。

6.jpg

由于是限时优惠,这件衬衫的价格很快将涨回 90 美元左右。因此,如果现在以 40 美元的价格购买它,并在限时优惠结束后以 60 美元的价格卖出,仍然可以赚 20 美元。

这是一种方法,如果你找到合适的利基市场,就有可能赚很多钱。

抓取公示数据,将其可视化

网络上有数百万个可供所有人免费使用的数据集,这些数据通常很容易收集。当然,还有一些数据不容易获得,且需要花费大量的时间将其可视化,销售数据就是这样演变而来。像天眼查、企查查这类的公司就是通过专注获取企业工商变更信息并将可视化,然后通过“购买会员可查”的形式销售给用户。

类似模式的还有这家体育数据网站BigDataBall,通过出售球员各项比赛数据以及其他统计信息,该网站一个赛季向用户收取 30 美元。他们定这个价并不是因为他们网站有这个数据,而是他们抓取数据后,将这些数据整理分类,然后以易于阅读且清晰的结构展示这些数据。

7.jpg

现在,Christopher Zita要做的是免费获取和BigDataBall相同的数据,然后将其放入结构化数据集中。BigDataBall并不是唯一拥有这些数据的网站,Basketball-Reference.com拥有相同的数据,然而该网站没有将数据结构化,用户难以过滤并下载所需的数据集。Christopher Zita利用网页抓取工具,抓取了Basketball-Reference.com网页中的所有球员数据。

8.jpg

所有NBA球员日志的结构化数据集

目前为止,他已经获得了本赛季超过 16000 个球员日志。通过网络抓取,在几分钟之内Christopher Zita获得了这些数据并节省了 30 美元。

当然,Christopher Zita也可以像BigDataBall一样利用网页抓取工具查找难以手动获取的数据,让计算机完成工作,然后将数据可视化并出售给对这些数据感兴趣的人。

总结

现如今,网页抓取已经成为一种非常独特且新颖的赚钱方式。如果在适当的情况下应用它,你可以很容易赚到钱。

注:原文编译自medium,原文标题《How To Make Money, Using Web Scraping》

每天一篇超实用创业案例,扫码关注【站长视界】↓↓↓

站长视界3.jpg

  • 相关推荐
  • 大家在看
  • 文思海辉金融统一监管数据集市获监管与合规优秀解决方案奖

    5 月 26 日,由北京软件和信息服务业协会、金科创新社联合发起的“第二届金融数据智能优秀解决方案”评选榜单揭晓,文思海辉金融“统一监管数据集市”荣获金融数据智能监管与合规优秀解决方案奖,依托大数据技术,从成本、效率、安全、规范等方面助力银行加强数据管理能力,为提升监管报送工作质量奠定了坚实基础。 近些年,人工智能、大数据、云计算、区块链等新技术日渐成熟,为银行强化自身的数字化能力提供了新动能,监管作为

  • 西瓜视频原创与非原创的区别

    为了更好的维护优质原创作者的权益,平台对视频原创声明标准进行了更新。相较于非原创作者,平台对视频原创作者在推荐和收益上会有更明显的倾斜。以下是关于西瓜视频原创与非原创的区别介绍。

  • 小程序与APP相互搏杀,内容创业者究竟需要怎样的平台?

    截止 2019 年年底,国内市场上监测到的APP数量达 367 万款,小程序则超过 450 万。在艾瑞咨询日前发布的这份《 2020 年中国移动互联网内容生态洞察报告》中,小程序正展现出巨大的活力,成为用户触达内容和服务的关键途径。

  • 西瓜视频怎么快速通过原创

    此前西瓜视频平台上出现了一些原创声明滥用,原创视频质量较低的现象。为了更好的维护优质原创作者的权益,西瓜视频特对视频原创声明标准进行了更新。相较于非原创作者,平台对视频原创作者在推荐和收益上会有更明显的倾斜。那么西瓜视频怎么快速通过原创呢?以下是关于西瓜视频怎么快速通过原创的详细介绍。

  • 抖音小程序:零门槛入局短视频变现的最佳创业模式

    大概在一个月前,我介绍了高中生利用抖音小程序来变现, 3 天赚到了 60 万的案例。在这篇文章发出的一个月内,我看到越来越多的抖音账号使用小程序进行变现,也有越来越多的新人开始进入这个领域。

  • Intel 10nm全线引入新指令集:缓存效率大涨

    Intel今天公布了指令集扩展参考指南的第39个版本,透露未来的10nm家族将全线引入一个名为“CLDEMOTE”的新指令集,重点提升缓存效率与性能。新指令集的全称为“Cache Line Dem

  • 阿里在百世集团的持股比例增至33%

    6月4日消息,据36氪消息,百世集团向SEC递交的文件显示,阿里持有百世集团1.42亿股,占百世A类股的比例为37.2%,占百世总股本的比例为33%。5月28日,百世集团发布公告称,向公司主要股东之一阿里巴巴的附属公司Alibaba.com Hong Kong Limited发行并出售1.5亿美元2025年到期的可转换优先票据,阿里巴巴预计将于6月4日左右完成该交易。此前,百世集团发布的年报显示,截至2020年2月29日,阿里持有百世集团24,184,400股A?

  • 重磅!「晓程序观察」独家:支付宝小程序最全运营宝典!

    ​随着 618 战火愈演愈烈, 2020 年即将正式驶过一半航程了。年初疫情足不出户时,你们闭门在家做的目标计划书,不知道已经实现得如何了?

  • 苹果小程序在哪里

    北京时间今天凌晨,在 WWDC 2020 全球开发者大会上,苹果发布了 iOS 14 系统,正式介绍了其最新版的 iPhone 软件。ios14当中的一个亮眼便是被称为「苹果小程序」的新功能。苹果在App Store新加入的「App Clip」功能,就类似于小程序。苹果表示App Clips包含应用的一小部分功能,而无需完整下载安装,使用起来十分地方便。同时苹果也在研发全新的QR二维码格式,该格式同时使用视觉二维码和NFC来快速访问App Clip。以下是关于ios版小

  • 微信端午出游大数据:小程序支付笔数同比增长123%,90后为出游主力

    DoNews 6月28日消息(记者 程梦玲)6月28日,微信支付联合同程旅行发布了2020年端午出游大数据。数据显示,小长假对旅游消费的拉动效应显著,微信支付旅游行业支付笔数同比增长43%,支付金额同比增27%。端午期间,各大景区通过微信公众号和小程序为游客提供行程预订、行中消费等服务。据数据显示,小程序支付笔数同比增长123.52%,公众号支付笔数同比增长38.54%。广州长隆、北京欢乐谷和上海迪士尼成为全国微信支付消费笔数前三甲?

  • 集需购首届直播节即将启动,开启扶贫帮弱新模式

    今年是脱贫攻坚决战决胜之年,突如其来的新冠肺炎疫情让各行各业都受到了不同程度的影响。为积极应对疫情影响,利用直播电商助力全国经济复苏,促进消费升级,集需购全力以赴,打造了集需购首届直播节。据悉,本次直播节一直从 6 月 10 日持续至 6 月 12 日。每天下午 16 点到晚上 22 点不间断直播。三天的主题也是各有特色,分别是:“直播嗨翻购全场”、“白云山养生专场”、“大牌好货特卖日”。消费者只需下载集需购APP,即可?

  • 专注原创的我乐全屋定制,这两方面做得也不错

    一直深耕于原创设计领域的我乐全屋定制,是许多年轻消费者心中的宝藏品牌,今天我们就来全面了解下这个宝藏品牌,了解一下我乐全屋定制怎么样。一、拒绝重复,我要不一样“坚持原创设计,打造不一样的家居设计”是我乐全屋定制的初心,也是我乐一直以来的坚持。仔细分析会发现,家装市场是一个需要不断注入新时尚和新潮流的地方,一种家装风格往往只占领大众眼球一段时间。如何在抄袭、模仿层出不穷的市场现状里,打造出永不过时的

  • 思科加强网络可视性,实现更智能的自动化

    思科基于意图的网络产品组合增加多项新功能,实现更强大的控制性、安全性和可视性 新闻摘要: ● 通过直观、自动化的策略轻松进行网络分段,并确保网络安全。 ● 思科DNA中心和思科DNA Spaces为物联网终端提供更完整的可视性。 ● 思科SD-WAN通过与思科Umbrella集成,帮助客户向SASE(安全访问服务边缘)体系架构演进。 2020 年 6 月 18 日,北京—Cisco Live Digital—今日,思科宣布推出新的基于意图的网络解决方案,旨在帮助客?

  • 享学课堂书写程序人生

    30 岁以后何去何从,是程序员职业生涯的分水岭。有的程序员会继续深造晋升,有的程序员会转投其他行业,也有一部分程序员选择创业,开启从 0 到 1 的新生涯。2018 年 3 月,三位踌躇满志的程序员走在一起,因为改变和梦想他们成立了享学课堂。Lison(李勋) 复旦大学工程硕士,曾就职于金蝶中间件、国防科大等知名企业,负责主持公司的日常各项经营管理工作,组建公司人才团队,制定公司发展战略,负责公司运营和销售管理工作;Jam

  • 支付宝小程序发战报:小程序规模化V字反弹成行业现象

    支付宝最新数据显示,疫情影响下的各行各业正在加速恢复,支付宝小程序商家已批量化出现V字反弹现象,其中「扶优计划」首批参与商家GMV平均增长超过300%。

  • 又一彩蛋!微信语音转文字可自动匹配表情

    近日,有网友发现了微信APP的又一彩蛋。当用户使用语音转文字的功能的时候,系统会自动匹配出相应的表情。据悉,该彩蛋4月就已在微信上线。

  • 教你挑选香烟陈列优化神器——自动补货推进器

    自动补货器、香烟推烟器、卷烟推进器,一款陈列神器——推进器已被应用在各大商超。众所周知,为提升店铺档次,降低人工成本,减少损耗,提升满陈列效率,会想到借助自动理货器对商品进行整理,也就是——货架自动推进器,我们以香烟推进器作优势分析:1、使用了香烟推进器,丰富了香烟陈列场景,完善香烟陈列场景化,使不同的香烟陈列美观,丰富香烟陈列效果。2、一体成型工艺降低了人工组装成本,提高生产效率。和陈列柜,货架,?

  • 网页排序哪5个特征,百度颇为喜欢?

    常常用于表达一个人对于另外一个人的情有独钟,而在搜索引擎的领域里,很多SEO人员,常常试图去找寻一个“唯一的真理”那就是搜索排序中,到底哪个排序特征对于网页来讲,是最为重要的一个因素,而“我只喜欢你”,对于SEO而言,能不能真的把SEO做好。

  • 滴滴自动驾驶公司成立安全工作管理委员会

    今日,滴滴自动驾驶公司成立安全工作管理委员会,系统化、标准化进行自动驾驶研发、测试、运营各阶段安全管理。自动驾驶公司CEO张博任滴滴自动驾驶安委会主任。

  • Time Bank Token 网络集百家硅谷投资机构青睐于一身,即将上线!

    Time Bank Token -人工智能+区块链,双风口,未来无限可能... Time Bank Token 将人工智能有效地融合区块链技术,这将是区块链技术发展的一次革新,更是为“互联网+区块链+人工智能”时代的到来做好最充足的准备,这将会是未来几十年最重要的技术推动力量! 工业革命使得人们从繁重的手工劳动中解放出来,通过机器让社会生产力的水平得以提高,而人工智能将从更高的层次提升人类的能力边界。发展人工智能的重要性不言而喻,2017 年

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议