鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

前端

2.7w内容

关注

分享前端领域的前沿热点、技术实战、框架应用和使用案例，为开发者学习前端技术提供参考。

文章博文帖子课程

共 2.7w 条

Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。

2014-01-07 16:34:36

Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。

2014-01-07 15:23:15

Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:17:08

Hadoop YARN配置参数剖析(1)—RM与NM相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:05:25

Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。

2014-01-07 14:29:14

Hadoop 2.0中作业日志收集原理以及配置方法

Hadoop 2.0提供了跟1.0类似的作业日志收集组件，从一定程度上可认为直接重用了1.0的代码模块，考虑到YARN已经变为通用资源管理平台，因此，提供一个通用的日志收集模块势在必行，由于目前通用日志收集模块正在开发中（可参考“YARN-321”），本文仅介绍MRv2（MapReduce On YARN）自带的日志收集模块，包括工作原理以及配置方法。

2014-01-07 14:16:22

Hadoop2.0 日志

Hadoop MapReduce两种常见的容错场景分析

本文将分析Hadoop MapReduce（包括MRv1和MRv2）的两种常见的容错场景，第一种是，作业的某个任务阻塞了，长时间占用资源不释放，如何处理？另外一种是，作业的Map Task全部运行完成后，在Reduce Task运行过程中，某个Map Task所在节点挂了，或者某个Map Task结果存放磁盘损坏了，该如何处理？

2014-01-07 14:04:13

Hadoop MapReduce

Hadoop日志到底存在哪里？

初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。

2014-01-07 13:54:40

Hadoop YARN常见问题以及解决方案

本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。

2014-01-07 13:54:02

运行在YARN上的计算框架

随着YARN的成熟和稳定（2013年8月25日已经发布beta版），必将形成一个以YARN为核心的生态系统，在该生态系统中，所有计算相关的框架可运行在一个YARN集群中（由于YARN本身设计上的一些问题，目前还难以运行通用的服务，比如Web Server、HBase等，未来趋势肯定是各类系统或者服务可运行在一个集群中，进行统一资源管理和调度）。

2014-01-07 13:07:44

YARN 计算框架

将Spark部署到Hadoop 2.2.0上

本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上，如果你们的Hadoop是其他版本，比如CDH4，可直接参考官方说明操作。

2014-01-07 11:24:45

Spark：利用Eclipse构建Spark集成开发环境

前一篇文章“Apache Spark学习：将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包，而本文则在此基础上，介绍如何利用Eclipse构建Spark集成开发环境。

2014-01-07 10:36:32

利用Scala语言开发Spark应用程序

park内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。

2014-01-07 10:12:15

Apache Mesos的任务状态更新过程分析

Apache Mesos的任务状态更新过程分析。

2014-01-06 17:41:44

Apache Mesos总体架构

同其他大部分分布式系统一样，Apache Mesos为了简化设计，也是采用了master/slave结构，为了解决master单点故障，将master做得尽可能地轻量级，其上面所有的元数据可以通过各个slave重新注册而进行重构，故很容易通过zookeeper解决该单点故障问题。

2014-01-06 17:30:50

Apache Mesos 架构

Apache Mesos底层基础库

Protocal Buffer是google开源的用于数据交换的库，常用于跨语言的数据访问，担任的角色一般为对象的序列化/反序列化。另一个与之类似的开源软件是facebook开源的thrift，它们两个最大区别是thrift提供了自动生成RPC的功能而Protocal Buffer需要自己实现，但Protocal Buffer的一个优势是其序列化/反序列化非常高效。

2014-01-06 17:24:44

Apache Mesos模块间通信架构

Mesos主要由四种组件组成，分别是mesos-master，mesos-save，scheduler和Executor，各个组件之间采用了基于protocal buffer的actor model进行通信（采用开源库libprocess）。也就是说，各个模块分别是一个server(实际上是socket server)，分别监听来自其他模块的消息，一旦收到某个消息后，便会调用相应的消息处理函数进行处理。

2014-01-06 17:13:59

Apache Mesos调度机制

调度器是Mesos的核心部件，主要负责将各个slave上资源分配给各个framework，常见的调度机制有FIFO，Fair Scheduler，Capacity Scheduler，Quincy，Condor等。

2014-01-06 17:09:10

Mesos的Framework与Executor注册过程

本文以Hadoop框架为例，介绍了framework与executor向mesos注册过程。

2014-01-06 16:51:06

Apache Mesos的任务状态更新过程分析

Apache Mesos的任务状态更新过程分析，见下图。

2014-01-06 11:26:38

AngularJS数据建模

我们知道，AngularJS并没有自带立等可用的数据建模方案。而是以相当抽象的方式，让我们在controller中使用JSON数据作为模型。但是随着时间的推移和项目的成长，我意识到这种建模的方式不再能满足我们项目的需求。在这篇文章中我会介绍在我的AngularJS应用中处理数据建模的方式。

2014-01-06 10:44:17

PostgreSQL表达式

表达式是一个或多个值，运算符和PostgreSQL函数计算结果值的组合。

2014-01-05 17:41:09

PostgreSQL 表达式

PostgreSQL数据类型

本章讨论PostgreSQL数据类型。在创建表的同时，要求每列都要指定数据类型，即什么样的数据要存储在表中的字段。

2014-01-05 17:08:09

PostgreSQL 数据类型

PostgreSQL sum()函数

PostgreSQL的SUM函数用来找出各种记录中的一个字段的总和。

2014-01-03 13:27:33

解密 JavaScript 中的 this

我想在本文解释JavaScript中的this，希望有助你理解this的工作机制。作为JavaScript程序员，学习this对于你的发展有很大帮助，可以说利大于弊。

2014-01-03 09:13:39

JavaScript this

PostgreSQL字符串函数

PostgreSQL的字符串函数主要用于字符串操作。

2014-01-02 16:14:10

PostgreSQL 字符串

PostgreSQL实用函数

用于PostgreSQL的内置函数也称为聚合函数，字符串或数字数据进行处理。

2014-01-02 16:06:03

PostgreSQL 实用函数

PostgreSQL连接JAVA接口

在我们开始之前，我们需要在Java程序中使用PostgreSQL，确保PostgreSQL的JDBC和Java已经在机器上安装。可以检查机器上是否安装了Java。现在，让我们检查如何设置JDBC驱动。

2014-01-02 15:30:56

PostgreSQL Java

PostgreSQL连接Perl

PostgreSQL可以用Perl使用Perl DBI模块，这是一个Perl编程语言的数据库访问模块集成。它定义了一套方法，变数和约定，提供一个标准的数据库接口。

2014-01-02 14:04:39

PostgreSQL Perl

PostgreSQL连接C/C++接口实例

本教程讲解C/C++连接PostgreSQL，使用libpqxx库，这是官方的C++客户端API用于连接PostgreSQL。libpqxx源代码在BSD许可下，可以免费下载，传递给他人，改变它或出售，它包括在你自己的代码，并分享你的代码更改。

2014-01-02 10:46:35

PostgreSQL安装详细步骤

windows下安装过程。安装介质：postgresql-9.1.3-1-windows.exe（46M），安装过程非常简单，过程如下。

2014-01-02 10:19:54

PostgreSQL 安装

Instagram 说明用 PostgreSQL 的五个优点

先不管 Instagram 最近的负成长以及反驳，刚刚在 Instagram Engineering 上看到对 PostgreSQL 的称赞：「Handling Growth with Postgres: 5 Tips From Instagram」

2014-01-02 10:08:35

PostgreSQL 优点

postgreSQL常用命令

PostgreSQL的七个常用命令，和MySQL数据库相比，常用命令的关键词大体一致，不过在细节上还是有很多的不同。

2014-01-02 09:57:56

PostgreSQL 命令

回顾2013软件开发：JavaScript领风骚

2013年马上就要过去，回顾这一年各行各业发展风起云涌。下面，我们与大家一起回顾下2013年在软件开发领域表现出的几大行业趋势。

2013-12-31 14:28:22

javaScript 回顾

PHP开发者应了解的24个库

作为一个PHP开发者，现在是一个令人激动的时刻。每天有许许多多有用的库分发出来，在Github上很容易发现和使用这些库。下面是我曾经遇到过最酷的24个库。你最喜欢的库没有在这个列表里面？那就在评论中分享吧！

2013-12-31 10:29:51

45个实用的JavaScript技巧、窍门和最佳实践

如你所知，JavaScript是世界上第一的编程语言，它是Web的语言，是移动混合应用（mobile hybrid apps）的语言（比如PhoneGap或者Appcelerator），是服务器端的语言（比如NodeJS或者Wakanda），并且拥有很多其他的实现。

2013-12-31 09:26:31

JavaScript 技巧

Go 1.3+ 编译器变革

“gc"Go工具链来自Plan 9编译器的工具链。组装器、C编译器和链接器基本没变。Go的编译器(cmd/gc,cmd/5g,cmd/6g,cmd/8g)是配合工具链写的新的C程序。

2013-12-30 11:21:31

从编程语言排行看程序员信仰原创

2013年12月9日，TIOBE社区公布了2013年最后一个月的编程语言排行榜。和往年一样，每个月的编程语言排行榜都获得了程序员群体的火热围观。第一年从事编辑工作的小编，着实被大家的“壮举”震撼到了。

2013-12-30 10:08:13

程序员信仰

为什么我要用 Node.js? 案例逐一介绍

正如维基百科所说：“Node.js 是谷歌 V8 引擎、libuv平台抽象层以及主体使用 Javscript 编写的核心库三者集合的一个包装外壳。” 除此之外，值得注意的是，Node.js 的作者瑞恩·达尔 (Ryan Dahl) 的目标是创建具有实时推送能力的网站。在 Node.js 中，他给了开发者一个使用事件驱动来实现异步开发的优秀解决方案。

2013-12-30 09:31:34

原生JavaScript技巧大收集100（上）

原生JavaScript技巧大收集，JavaScipt初学的各位收集了！！

2013-12-26 13:36:27

JavaScript 技巧

PostgreSQL配置优化

在fsync打开的情况下，优化后性能能够提升30%左右。因为有部分优化选项在默认的SQL测试语句中没有体现出它的优势，如果到实际测试中，提升应该不止30%。测试的过程中，主要的瓶颈就在系统的IO，如果需要减少IO的负荷，最直接的方法就是把fsync关闭，但是这样就会在掉电的情况下，可能会丢失部分数据。

2013-12-26 13:19:26

PostgreSQL 优化

服务器端生成的 JavaScript 响应

Basecamp中的大多数Ajax操作都是在处理服务器生成的JavaScript响应（SJR）。它的工作原理是这样的。

2013-12-25 11:01:16

MySQL加密的性能测试

这是对MySQL进行加密性能测试的两篇文章系列之二。在第一篇中，我专门使用MySQL的内置的对SSL的支持来做压力测试，产生了一些令人惊讶的结果。

2013-12-25 10:32:41

MySQL 性能测试

在 Ember 中处理异步

许多 Ember 的概念，比如绑定和计算属性，其设计是为了完成异步行为的处理。

2013-12-25 10:08:42

ember.js 异步处理

Ember应用结构

在高层，你通过设计一系列符合嵌套的应用状态的嵌套的路由来组织 Ember 应用。本指导会首先涵盖高层概念，然后用一个例子贯穿整个讲解。

2013-12-25 09:53:22

Ember.js 应用

神奇的自产生程序，兼谈人工生命

最近读到冯·诺依曼的《Theory of Self-Reproducing Automata》的中译本，被自复制自动机理论深深吸引了！生命是什么？这本书让我对生命有了新的认识。

2013-12-25 09:39:36

程序员代码

怎样测试程序的平均性能

标准库中的sort函数，是快速排序算法的典型实现。算法将含有n个元素的序列排序，平均需要 O(n log n) 时间。

2013-12-25 09:32:52

测试平均性能

Ember.js 的视图层

本指导会详尽阐述 Ember.js 视图层的细节。为想成为熟练 Ember 开发者准备，且包含了对于入门 Ember 不必要的细节。

2013-12-24 16:03:26

Ember.js 视图

Ember.js 框架使用模型-视图-控制器（MVC）模式的应用架构。许多其它框架和平台也使用这个模式，所以你可能会听说过。虽然这些概念一直是跨平台的，但实现可能会有相当大的差异。因此，理解 Ember.js 的 MVC 实现与你熟悉的 MVC 实现有何不同是很重要的。

2013-12-24 15:56:20

Ember.js的一些学习总结

一长串的jQuery回调语句或者通过应用程序在各个状态执行不同的函数调用，这些做法都会变得无法再让人接受，这导致了JavaScript开发人员开始寻找一种组织和效率更优秀的开发方式。

2013-12-24 14:50:39

Ember.js 框架

上一页 1 ··· 442 443 444 445 446 ··· 545 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营