Mars's Blog

[Scrapy]如何使用RabbitMQ控制Scrapy爬虫

如何使用RabbitMQ控制Scrapy爬虫 本文将介绍如何使用RabbitMQ整合Scrapy来控制Scrapy爬虫进行目标网页内容爬取。我们假设你已经使用过Scrapy和RabbitMQ或者对其有一定了解。 为什么要使用RabbitMQ来控制爬虫? Scrapy爬虫其实有自己的一套生产环境部署控制系统Scrapyd,这是一个开源的项目,他给Scrapy提供了服务器端的HTT...

淘秀网架构与使用技术总览

基于Elasticsearch/SpringBoot/Redis/RabbitMQ/Mybatis/Dubbo/Vue/MySql,结合Scrapy爬虫数据挖掘的网站建设

淘秀网架构与使用技术总览 基于Elasticsearch/SpringBoot/Redis/RabbitMQ/Mybatis/Dubbo/Vue/MySql,结合Scrapy爬虫数据挖掘的网站建设。 最近在工作之余的时间,学习了一些新的技术,于是想做一个项目,用来巩固这些新技术。淘秀网就在这样的一个背景下诞生了,网站集成数据挖掘, 数据处理与展现于一身,其本身更像个搜索引擎。所有...

Ubuntu下RabbitMQ的安装与配置

Ubuntu下RabbitMQ的安装与配置 最近在研究RabbitMQ,本文简单记录了如何搭建与配置一个RabbitMQ服务器。 安装RabbitMQ rabbitmq-server是可以在Ubuntu系统与Debian系统中使用的RabbitMQ服务器。在Ubuntu标准的repositories中,其实包含了rabbitmq-server,但是标准仓库中的版本往往非常的老旧,直接安装...

Ubuntu下Elasticsearch安装与问题记录

Ubuntu下Elasticsearch安装与问题记录 Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。 它能从项目一开始就赋予你的数据以搜索、分析和探索的能力。 –«Elasticsearch: 权威指南» 就像Elasticsearch: 权威指南里说的,开源的 Elasticsearch是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数...

记一次Http劫持分析

记一次Http劫持分析 最近在家用手机访问我自己的博客的时候,无论我用什么手机浏览器总是会在第一次加载页面的时候,在页面上加载了各种奇怪的广告,我顿时觉得很疑惑,我什么时候在网站上放广告了?我是失忆了,还是我喝醉了? 看着这满屏的广告瞬间觉得很厌恶,本身很干净的网页像被贴了膏药一样的恶心,而且这些广告就像老鼠一般,一会有一会没有,神出鬼没。一看就是那些见不得光的人做出来的见不得光的事。愤...

自动化抢小米加密兔辅助工具

自动化抢小米加密兔辅助工具 小米区块链宠物小米加密兔领养活动目前第一阶段已经结束,请等待官方第二阶段消息. 该工具脚本用于实现自动化抢小米加密兔, 目前为可用状态(2018/4/2), 但并不能保证此脚本长期可用, 若有问题或者建议请在下面留言. 使用方法 使用前请先在Chrome下载Tampermonkey插件. 下载脚本文件XiaoMi-JiaMiTu-Tools.zi...

使用MetaMask钱包完成EOS钱包映射

前提条件: 科学上网 Chrome浏览器 是否需要钱包映射? 关于是否需要映射的问题, 网上已经有很多讨论了, 个人在这里给出的建议是, 如果你嫌麻烦可以直接把EOS放在交易所, 据我所知现在主流的交易所都会帮你完成映射过程, 但如果你想把交易所的EOS提出来保存到自己的钱包, 那还是需要做钱包映射的, 因为EOS项目目前还没有完成, 目前市场上的EOS为项目开发组预...

Spring Boot/Mybatis/Dubbo/Druid整合

使用Spring Boot与Mybatis/Dubbo/Druid整合,并且记录过程中出现的问题

记录自己项目中使用Spring Boot与Mybatis/Dubbo/Druid整合过程中出现的问题,以及相应的解决方法. Spring Boot部分 生成一个简单的Spring Boot项目 首先去Spring Boot的官网项目生成器生成一个简单项目:start.spring.io 点Generate Project下载并且导入到本地IDE, 这里用的是Intellij. ...

如何在IOS中实现可折叠/展开的Table Section

使用swift2.2在IOS中实现可折叠/展开的Table Section

原文链接以及源代码:原文地址原文作者:Yong Su @ Box Inc. 如何在IOS中实现可折叠/展开的Table Section? 第一步:准备数据 假设我们有下面这些分好组的数据,每一组是一个 Section 对象 struct Section { var name: String! var items: [String]! var collapsed: Bool...