Mars's Blog

[Scrapy]如何使用RabbitMQ控制Scrapy爬虫

如何使用RabbitMQ控制Scrapy爬虫本文将介绍如何使用RabbitMQ整合Scrapy来控制Scrapy爬虫进行目标网页内容爬取。我们假设你已经使用过Scrapy和RabbitMQ或者对其有一定了解。为什么要使用RabbitMQ来控制爬虫？ Scrapy爬虫其实有自己的一套生产环境部署控制系统Scrapyd，这是一个开源的项目，他给Scrapy提供了服务器端的HTT...

Posted by Mars Shen on July 27, 2018

淘秀网架构与使用技术总览

基于Elasticsearch/SpringBoot/Redis/RabbitMQ/Mybatis/Dubbo/Vue/MySql，结合Scrapy爬虫数据挖掘的网站建设

淘秀网架构与使用技术总览基于Elasticsearch/SpringBoot/Redis/RabbitMQ/Mybatis/Dubbo/Vue/MySql，结合Scrapy爬虫数据挖掘的网站建设。最近在工作之余的时间，学习了一些新的技术，于是想做一个项目，用来巩固这些新技术。淘秀网就在这样的一个背景下诞生了，网站集成数据挖掘，数据处理与展现于一身，其本身更像个搜索引擎。所有...

Posted by Mars Shen on May 23, 2018

Ubuntu下RabbitMQ的安装与配置

Ubuntu下RabbitMQ的安装与配置最近在研究RabbitMQ，本文简单记录了如何搭建与配置一个RabbitMQ服务器。安装RabbitMQ rabbitmq-server是可以在Ubuntu系统与Debian系统中使用的RabbitMQ服务器。在Ubuntu标准的repositories中，其实包含了rabbitmq-server，但是标准仓库中的版本往往非常的老旧，直接安装...

Posted by Mars Shen on May 5, 2018

Ubuntu下Elasticsearch安装与问题记录

Ubuntu下Elasticsearch安装与问题记录 Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。它能从项目一开始就赋予你的数据以搜索、分析和探索的能力。 –«Elasticsearch: 权威指南» 就像Elasticsearch: 权威指南里说的，开源的 Elasticsearch是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数...

Posted by Mars Shen on April 23, 2018

记一次Http劫持分析

记一次Http劫持分析最近在家用手机访问我自己的博客的时候，无论我用什么手机浏览器总是会在第一次加载页面的时候，在页面上加载了各种奇怪的广告，我顿时觉得很疑惑，我什么时候在网站上放广告了？我是失忆了，还是我喝醉了？看着这满屏的广告瞬间觉得很厌恶，本身很干净的网页像被贴了膏药一样的恶心，而且这些广告就像老鼠一般，一会有一会没有，神出鬼没。一看就是那些见不得光的人做出来的见不得光的事。愤...

Posted by Mars Shen on March 29, 2018

自动化抢小米加密兔辅助工具

自动化抢小米加密兔辅助工具小米区块链宠物小米加密兔领养活动目前第一阶段已经结束,请等待官方第二阶段消息. 该工具脚本用于实现自动化抢小米加密兔, 目前为可用状态(2018/4/2), 但并不能保证此脚本长期可用, 若有问题或者建议请在下面留言. 使用方法使用前请先在Chrome下载Tampermonkey插件. 下载脚本文件XiaoMi-JiaMiTu-Tools.zi...

Posted by Mars Shen on March 23, 2018

使用MetaMask钱包完成EOS钱包映射

前提条件: 科学上网 Chrome浏览器是否需要钱包映射? 关于是否需要映射的问题, 网上已经有很多讨论了, 个人在这里给出的建议是, 如果你嫌麻烦可以直接把EOS放在交易所, 据我所知现在主流的交易所都会帮你完成映射过程, 但如果你想把交易所的EOS提出来保存到自己的钱包, 那还是需要做钱包映射的, 因为EOS项目目前还没有完成, 目前市场上的EOS为项目开发组预...

Posted by Mars Shen on March 16, 2018

Spring Boot/Mybatis/Dubbo/Druid整合

使用Spring Boot与Mybatis/Dubbo/Druid整合,并且记录过程中出现的问题

记录自己项目中使用Spring Boot与Mybatis/Dubbo/Druid整合过程中出现的问题,以及相应的解决方法. Spring Boot部分生成一个简单的Spring Boot项目首先去Spring Boot的官网项目生成器生成一个简单项目:start.spring.io 点Generate Project下载并且导入到本地IDE, 这里用的是Intellij. ...

Posted by Mars Shen on March 10, 2018

如何在IOS中实现可折叠/展开的Table Section

使用swift2.2在IOS中实现可折叠/展开的Table Section

原文链接以及源代码:原文地址原文作者:Yong Su @ Box Inc. 如何在IOS中实现可折叠/展开的Table Section? 第一步:准备数据假设我们有下面这些分好组的数据,每一组是一个 Section 对象 struct Section { var name: String! var items: [String]! var collapsed: Bool...

Posted by Mars Shen on June 6, 2016