All Questions
Questions Per Page:
  • 使用github来管理你的代码 – Mahout数据挖掘-炼数成金-Dataguru专业数据分析社区// <!–window.bd && bd._qdc && bd._qdc.init({app_id: ‘ab402754d9550bc37bdf7cd1’});–>// 今天试着使用了 github ,稍稍总结一下,不全面的地方也请指正。 ———————————————————– 1.申请账号 如果想要使用github 进行代码的维护和管理的话, 首先要申请一个 github的账号。 github 的网站为: …

    hanvonwcd Asked on 2016年5月20日 in 云计算.
    • 1316 views
    • 1 answers
    • 0 votes
  • 本次主题讲解结合 Mesos 插件的解决方案。 学习要点 使用 Jenkins 时,如遇项目很多,又需同时进行处理,在超过单机计算能力的硬件资源时,单机版本 Jenkins 就无法胜任工作了。在这个情况下,Jenkins 提供了添加独立的 Slave 节点的方式给 Jenkins 任务更多的计算资源来解决这个问题。 比如 ebay 之前的模式是使用每个开发各有一个虚拟机跑自己的 Jenkins 来解决持续集成问题,但最后导致资源利用率极低。 但现在动态资源调度分布式计算盛行的今天,再使用纯静态资源分配的分布式,未免太过时了。还好 …

    山东大叔 Asked on 2016年6月21日 in 云计算.
    • 1548 views
    • 0 answers
    • 0 votes
  • 区块链在纯金融交易之外还有无数的功能应用已经成为一种共识。这一点在物联网领域尤为相关,物联网正在颠覆一系列传统行业。 货运轮船就是一个例子,这是一个依赖于纸质文件的传统行业 —— 通常一式三份 —— 包括交易凭证的纸质文档。这个过程除了极度浪费资源之外,还存在文件认证、支付、时滞、文件遗失等问题和风险。 一个小组通过区块链找到了解决这些低效和认证的新方法。今年一月,Dominik Schiener和他的团队凭借他们的货船链(Cargochain)项目赢得了上海区块链黑客松冠军。他们的工作最近又在柏林的GTEC区块链创新大赛上获得银奖,笔者对Dominik做了一次采访。 记者:你对区块链和物联网的兴趣源自何处? Dominik Schiener(DS):与大多数人一样,大概从2012年开始的,当时我第一次听说和了解比特币。比特币背后的概念吸引了我,因此我想参与进来。我先从挖矿开始,然后逐渐在瑞士和英国创办了自己的公司。在过去一年里,我主要关注智慧城市,以及如何将区块链和物联网结合来创造新的、分散的平台,在上面搭建强大的应用。对我而言,智慧城市包括两个核心要素:参与式创新和物联网。它们都可以通过区块链实现,这也是我们的工作内容。 记者:你能描述一下IOTA,及对它主应用的看法吗? DS: IOTA是一个分布式账册,既能用于交易记录,也能用于数据传输。由于IOTA的性质 —— 即可扩展性、轻便性和免交易费 —— 它是物联网的最完美解决方案。我们认为IOTA是“机器经济”的推动者和支柱,因为它实现了所有这些新的机器交易,这在过去是不可能的。机器之间不仅第一次实现了相互支付,它们还能相互通信,通过分布式账册安全地传输数据。 记者:人们往往指责区块链缓慢且昂贵,特别是像比特币区块链这样的例子,与典型的分布式数据库技术相违背。IOTA是否区别于这些问题,或者如何应对? DS: …

    山东大叔 Asked on 2016年6月21日 in 云计算.
    • 1101 views
    • 0 answers
    • 0 votes
  • 现如今,很多项目都使用 Gerrit 做为代码 Review 工具。同理,OpenStack 所有的项目就是放在 Gerrit 上的。Gerrit 提供了一个 Web 页面来做 Code Review。 今天介绍一个更加高效的工具来处理 Gerrit Review,它的名字叫 gertty。Gertty官方的介绍是:Gertty is a console-based …

    山东大叔 Asked on 2016年6月21日 in 云计算.
    • 1282 views
    • 0 answers
    • 0 votes
  • 尽管有各种深度学习加速器,神经网络的大小依然受限于计算平台的能力。百度硅谷人工智能实验室高级研究员Greg Diamos在最近的ICML 2016上发表了一篇PRNN(Persistent RNNs)的论文(相关英文访谈),介绍了他在深度学习平台GPU可扩展性方面的最新工作。但在此之前,Greg Diamos已经在Github上发布一篇博客文章简要解释了PRNN的工作和效果,本文为这篇文章的译文。PRNN已经在Github上开源,感兴趣的读者可以自行下载。 1. 简介 在SVAIL(百度硅谷人工智能实验室),我们的使命是创造能够对数以亿计的人们产生深远影响的AI技术。我们相信,达到这个目标的一种良好方式是提高语音识别的准确性,这将通过在更大数据集上使用深度学习算法实现。这些算法需要大量的运算,所以系统的内存大小和计算吞吐量会限制数据量以及我们可以训练的神经网络大小。所以搞清楚如何更有效地运行深度学习是一大挑战。这么做可以让我们在更大数据集上训练更大的模型,目前已经提高了语音识别的准确性。在这里,我们将要讨论一项新技术,它能加快深度递归神经网络(Recurrent Neural Networks)的训练。 2. 将递归层映射到硬件上 我们两个语音识别模型的密集计算集中于递归层(上图中蓝色部分),所以这种优化直接针对这部分网络。 2.1 用矩阵乘法实现RNN 通常实现递归神经网络的方式是进行一系列的矩阵乘法操作,参见前一篇博文以及上图。这包括从片外存储器中为每一个时间步长加载递归权重矩阵U和活化向量H。 在高性能存储器上,比如GPU,片外存储器要比片上存储器(如寄存器文件和高速缓存)慢的多,效率更低。所以当小批量数据相对较大(每GPU大约64或更高)时,矩阵乘法最高效,因为递归权重可以从片外存储器上一次性加载,并在小批量的每个样例上重复使用。 然而,使用较大的小批量有几个缺点: 在训练网络的时候会增加内存占用量。 在单GPU中会并行地耗尽可用的数据。 …

    山东大叔 Asked on 2016年6月28日 in 云计算.
    • 1074 views
    • 0 answers
    • 0 votes
  • [置顶] 12年写的一份渗透测试报告 标签: 渗透测试web安全代码审计内网安全安全评估 2016-07-01 09:48 82人阅读 评论(1) 收藏 举报 本文章已收录于: 分类: 渗透测试(5) 作者同类文章X 版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+]  2012写的一份渗透报告排版比较乱 WebSite1应用程序中的服务器错误   在将 nvarchar 值 dbo 转换成数据类型 int 时失败  …

    山东大叔 Asked on 2016年7月1日 in 云计算.
    • 1306 views
    • 0 answers
    • 0 votes
  • 对于很多人而言,家庭中Wi-Fi网速缓慢是一个常见问题。然而连接设备却在不断增加,家庭Wi-Fi网络不堪重负。面对这样的实际痛点,我们其实有更好的技术方案来解决它。 全球各地的住宅似乎都出现了一点小问题。起初显得无伤大雅,但它很快就蔓延到每一个角落。我们现在讨论的就是家庭网络性能落差。换一种说法您可能更熟悉,即“为什么我的 WiFi 这么烂”综合征。此场景是不是看起来很熟悉: (点击观看视频) 没错——今天,对于很多人而言,他们的 Wi-Fi 已经变成一个真实的问题,而且此问题只会越来越糟。一些人可能把缓冲问题归咎于他们的流媒体提供商,或者他们的笔记本电脑,抱怨每几分钟网络就会减弱一点。 但是,为什么会出现这种问题呢?请考虑这三个事实: 许多消费者每 3-5 年才买一个新的 Wi-Fi 路由器 美国家庭平均每年增加 3 个连接设备,到 2022 年总计会平均拥有 50 …

    湖北小子 Asked on 2016年7月21日 in 云计算.
    • 1364 views
    • 0 answers
    • 0 votes
  •   JAVA相关   1-1)List 与set 的区别? 老掉牙的问题了,还在这里老生常谈:List特点:元素有放入顺序,元素可重复 ,Set特点:元素无放入顺序,元素不可重复。   1-2)数据库的三大范式? 原子性、一致性、唯一性   1-3)java 的io类的图解   1-4)对象与引用对象的区别 对象就是好没有初始化的对象,引用对象即使对这个对象进行了初始化,这个初始化可以使自己的直接new的也可以是直接其他的赋值的,那么背new或者背其他赋值的我们叫做是引用对象,最大的区别于   1-5)谈谈你对反射机制的理解及其用途? 反射有三种获取的方式,分别是:forName  / …

    wangyf2 Asked on 2016年9月13日 in 云计算.
    • 2015 views
    • 0 answers
    • 0 votes
  • 作者:李庆丰,微博研发中心研发总监,负责微博消息箱及开放平台的技术研发工作。微博Motan RPC框架项目负责人。十年互联网架构研发及技术管理经验,专注高性能高可用架构。 本文为《程序员》原创文章,未经允许不得转载,更多精彩文章请订阅2016年《程序员》 Motan(https://github.com/weibocom/motan)是微博技术团队研发的基于Java的轻量级RPC框架,已在内部大规模应用多年,每天稳定支撑微博上亿次的内部调用。 RPC调用优势 随着公司业务发展,微博内部调用和依赖越来越多,传统方式逐渐显现出弊端。 jar包依赖调用使得服务间耦合太紧,相互影响,同时也存在跨语言调用问题; HTTP依赖调用在协议上比较重,常在性能和效率上出现瓶颈。 越是大型复杂的系统,越需要轻量的依赖调用方式,RPC依赖调用很好地解决了上述问题。 典型RPC框架对比 目前,业界RPC框架大致分为两类,一种偏重服务治理,另一种侧重跨语言调用。服务治理型的RPC框架代表是Dubbo和DubboX。前者是阿里开源的分布式服务框架,实现高性能的RPC调用同时提供了丰富的管理功能,是一款应用广泛的优秀RPC框架,但现在维护更新较少。后者则是当当基于Dubbo扩展,支持REST风格的远程调用、Kryo/FST序列化,增加了一些新功能。 这类RPC框架的特点是功能丰富,提供高性能远程调用、服务发现及服务治理能力,适用于大型服务的解耦及治理,对于特定语言(如Java)项目可以实现透明化接入。缺点是语言耦合度较高,跨语言支持难度较大。 跨语言调用型RPC框架有Thrift、gRPC、Hessian、Hprose等。这类框架侧重于服务的跨语言调用,能支持大部分语言,从而进行语言无关调用,非常适合多语言调用场景。但这类框架没有服务发现相关机制,实际使用时需要代理层进行请求转发和负载均衡策略控制。 Motan倾向于服务治理型,跨语言方面正在尝试与PHP调用集成。与Dubbo系列相比,功能或许不那么全,扩展实现也没那么多,但更注重简单、易用以及高并发高可用场景。 功能特点 Motan是一套轻量级的RPC框架,具有服务治理能力,简单、易用、高可用。其主要特色如下: 无侵入集成、简单易用,通过Spring配置方式,无需额外代码即可集成分布式调用能力; 集成服务发现和服务治理能力,灵活支持多种配置管理组件,如Consul、ZooKeeper等; 支持自定义动态负载均衡、跨机房流量调整等高级服务调度能力; 基于高并发、高负载场景优化,具备Failover、Failfast能力,保障RPC服务高可用。 …

    cn12 Asked on 2016年10月20日 in 云计算.
    • 1080 views
    • 0 answers
    • 0 votes
  • 我在百度工作了十五年,下面我就说一说我如何以一项技能混了十五年的 一个了不起的创意会产生一个很棒的产品,如果它一炮走红,你发现手中的是下一个facebook 或者twitter,而且随着用户越来越多,会变得越来越慢,该怎么办呢?对全栈而言,解决这类问题的一个重要技能就是——负载均衡。 什么是负载均衡 负载(load)一词起源于典型系统,指连接在电路中消耗电能的装置,负载(用电器)的功能是把电能转变为其他形式能。引申出来,一个是实体,一个转化。 于是,对于实体,有了通信帧或者报文中数据字段的内容被称为信息负载(payload),网络负载指的就是网络中继承载的流量以及网络设备承载的用户量。 转化被进一步阐释为资源的使用情况,系统平均负载是CPU的Load 即workload,它所包含的信息不是CPU的使用率状况,而是在一段时间内CPU正在处理以及等待CPU处理的进程数之和的统计信息。 了解了负载,那么负载均衡就容易理解了。wiki百科给出的定义是这样的: 负载均衡(Load balancing)是一种计算机网络技术,用来在多个计算机(计算机集群)、网络连接、CPU、磁盘驱动器或其他资源中分配负载,以达到最佳化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。使用带有负载平衡的多个服务器组件,取代单一的组件,可以通过冗余提高可靠性。负载平衡服务通常是由专用软件和硬件来完成。 并且,wiki百科自身的系统就使用了负载均衡。 每一种技术都有它应用的场景和领域,负载均衡主要解决的是系统性能问题。但是,了解了根源,就可以知道不能够一提到性能问题就非负载均衡莫属,如果负载减少了,可能少一点均衡也可以解决问题,这样的技术例如缓存。 基于DNS的负载均衡 基于DNS的负载均衡是负载均衡的最简方法,可以说是穷人的负载均衡。 DNS会将域名映射为IP地址,反之亦然。所有核心DNS服务器都是集群,用的最多的DNS服务器大概就是BIND了。查询DNS服务器时,推荐使用dig;查询DNS解析时,推荐使用nslookup。 使用DNS缓存可以提高DNS解析的性能。Dig 在mac上的使用示例如下: 对于DNS实现的负载均衡非常简单,采用轮转的方式,只要为所要服务的域名增加多个A记录即可。 例如: …

    cn12 Asked on 2016年10月20日 in 云计算.
    • 1312 views
    • 0 answers
    • 0 votes