伪共享

近期对并发编程进行了研究,看到已经从jsr166y添加到java 7里的LinkedTransferQueue及Disruptor框架均有对伪共享(False Sharing)问题进行了单独的处理,于是,对此类问题进行了梳理:

目前典型的CPU架构有三级缓存,从读取速度由快而慢分别为L1 -> L2 ->L3。对于多核架构,L1,L2为单核独享,而L3为多核共享。CPU指令执行即从L1 cache开始读取,如果cache miss,便从下一级cache读取,直到内存。

为了高效利用cache,CPU不是简单地将单条数据(指令)写入cache,而是将一批数据指令(连续地)写入cache行中。即cache行是对cache进行读写操作的最小单位。对于目前典型的core,ivy,sandy等cpu,cache行大小为64bytes。

同时,对于多核系统,每个核有私有的L1,L2,多线程并发时,如果某个核需要修改的变量同时在另外一个核的cache中,为了保证数据的一致性,需要使当前核cache中变量失效(invalidate),然后同步一致数据。这种操作是有硬件层级的缓存一致性协议来保证的,通常是M-E-S-I协议。其中M,E,S和I代表使用cache行所处的四个状态,协议通过四种状态的(复杂)迁移(类似状态机模型)来保证一致性。当发生上述不一致时,当前核会发出RFO(Request For Owner)请求来保证一致性,但是这个保证过程需要低层级cache或者内存的同步,会对性能造成很大的影响。
对于Java对象,相邻的成员变量被加载到同一个cache行中,当不同线程对成员变量分别操作时,就会导致RF0请求的发生,这种现象即伪共享。

Disruptor设计示意图

上图为disruptor作者设计的示意图,x,y变量分别被load到c1,c2的cache行中,c1更新x,c2更新y,而x,y位于同一条cache行中,此时两个线程轮番发送RFO消息,占有cache行拥有权,获得拥有权线程对变量的更新会导致其他核中的cache行中的变量失效,进而通过L3进行变量同步,而此时如果L3 miss,还需要通过内存同步,对性能造成很大的影响。因此,虽然x,y被独立线程操作,彼此无任何关系,因为伪共享,性能有很大的问题。
比较悲催的是,上面的x,y变量的伪共享在生产者-消费者模式中比较常见。生产者-消费者模式中,生产者和消费者作为不同的线程不停地操作队列的首尾两端(通过head,tail指针),而这两个指针对象定义在一起,加载head时,会将tail同时加载到同一个cache line中。

例如:Java j.u.c LinkedBlockingQueue的

1
2
3
4
5
 /** Head of linked list */
private transient Node<E> head;

/** Tail of linked list */
private transient Node<E> last;

head,last共占8bytes。两者被加载到同一个cache line。大量的生产者、消费者对queue进行读写时,会发生较大的性能问题

为了防止伪共享的发生,通常进行缓存行补齐(cache line padding),即对对象进行填充,使其占用一个cache行。这样可以保证对象不处于同一缓存行。

对于Hotspot Java对象,Java程序的对象头固定占8字节(32位系统),此时只需要填48bytes即可保证对象处于,不同的缓存行, 从而避免伪共享。(对于64位系统,对象头占用空间更大,多出也无所。)

例如:

在 LinkedTransferQueue中(早期的jsr166y版本,收录在早期的netty项目中),队列的head,tail如下定义:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
/** head of the queue */
private final PaddedAtomicReference<QNode> head;
/** tail of the queue */
private final PaddedAtomicReference<QNode> tail;


/**
* Padded version of AtomicReference used for head, tail and
* cleanMe, to alleviate contention across threads CASing one vs
* the other.
*/
private static final class PaddedAtomicReference<T> extends AtomicReference<T> {
private static final long serialVersionUID = 4684288940772921317L;

// enough padding for 64bytes with 4byte refs
Object p0, p1, p2, p3, p4, p5, p6, p7, p8, p9, pa, pb, pc, pd, pe;
PaddedAtomicReference(T r) { super(r); }
}

PaddedAtomicReference通过15个4byte对象,对AtomicReference进行了填充,从避免了伪共享,LinkedTransferQueue后期版本对其设计进行了更新,但核心类似,只是方法更加优雅(还没有完全看懂)。

在Disruptor框架中,其核心数据结构RingBuffer的序号由Sequence对象来维护,Sequence对象,定义了

1
private final long[] paddedValue = new long[15];

通过15个long来填充。序号设置/获取时分别调用

1
2
3
4
5
6
7
public long get(){
return unsafe.getLongVolatile(paddedValue, valueOffset);
}

public void set(final long value){
unsafe.putOrderedLong(paddedValue, valueOffset, value);
}

这样通过sun unsafe的CAS操作,对序号进行填充,从而避免了伪共享。

JAVA 7 G1收集器调研

最近在看虚拟机垃圾收集,看到了JAVA 7 G1收集器的相关内容,特深入调研了下。

G1收集器全称Garbage-First Garbage Collector。是在Java 6 Update 14中引入,旨在取代CMS收集器的一种新型收集器。在Java 6中只是试验性的引入,因各种原因没有正式引入。Java 7开始,其被正式引入。

作为一个server-style回收器,其具有如下属性:

1. 并行和并发

众所周知,目前所有的GC(无论是serial,parallel及近年来广泛使用的CMS)均存在暂停时间问题,所谓的暂停时间是由于GC的“stop-the-world” 机制(这个机制简称STW,即,在执行垃圾收集算法时,Java应用程序的其他所有除了垃圾收集帮助器线程之外的线程都被挂起)。而G1 可以从最新的硬件中获得并行的能力。它能够使用所有可用的CPU(CPU多核,硬件多线程,等)来加速它的STW暂停时间。虽然其并行机制在CMS中已有了一定的实现(即周期性的进行并发标记[concurrent marking phase]),但G1采用了新的实现方式。

该机制与G1新的堆内存管理机制相关。与其他GC收集器不同,在G1中,对象的新生代和老一代上并没有在物理上分隔开,而是把一个连续的堆内存拆分成了几个相同大小的区域。新生对象和老对象都会被放在一系列可能不连续的区域中。之所以这样做,就是为了让G1可以更灵活地移动老对象所占用的资源给新的对象。G1中的内存收集会发生 “疏散暂停”,当内存从一系列区域开始回收时,这些区域所引用的对象会被疏散到另一些区域中,这样,会有一整块的内存来重新被申请(其思想跟垃圾收集算法中的复制算法很类似)。疏散会发生整个程序的暂停,但“疏散”这些内存可以被并行运行,这正是G1的并发阶段做的事情。

2. 分代处理

与其它的HotSpot 垃圾回收器一样,G1 也是分代的。即它在处理新分配的对象(年轻代)和已经生存了一段时间的对象(年老代)时会不同,它会更多地考虑一些新创建的对象实例,因为越新创建的就越有最大的可能性被回收,老对象只是偶尔访问一下。对于大多数的Java应用来说,这个机制可以极大地提高回收效率。

3. 紧凑内存(碎片整理

与CMS收集器不同,G1 会对堆进行内存整理。压缩可以消除潜在的内存碎片的问题,这样程序就可以更长时间的平滑运行。

4. 预见性

G1 比起 CMS 来有更多的预见性。这个主要还是用来消除内存碎片的问题。内存的碎片少了,STW的暂停时间也会被减少。

目前G1仍然还在试验阶段,使用下面两个参数可以打开G1机制:

-XX:+UnlockExperimentalVMOptions -XX:+UseG1GC

目前G1收集器还存在如下问题:

  1. G1不支持 JVM TI JMX等工具,由于相当数量的JVM管理及监控工具都是基于这两个服务的,因此基于G1很多工具无法正确使用。
  2. G1不支持增量永生代收集。因此,在应用卸载类时,无法进行收集。
  3. STW的暂停时间不太稳定,与CMS相比,时好时坏。

It is running out

I think i’m drowning
asphyxiated
i wanna break this spell
that you’ve created

you’re something evil
a contradiction
i wanna finish the game
and kill the friction

But you will be the death of me
you are just the death of me

bury it
i wanna bury it
i wanna smother it
i wanna murder it

I hope it is running out
and I hope the time is running out

But I can’t push it underground
I can’t stop it screaming out

I wanted freedom
but I’m restricted
I tried to give it up
but I’m addicted

Maybe you know i’m trapped
sense of elation
I know you’ll never dream of
breaking this fixation

you will squeeze the life out of me
til it run out.

Find a home

Find A Home (New Forest Shaker)
              Delays

One more year of digging here
And we’re alight in heaven; we’re alight in heaven
If we bare the stones and stares
Then we’re alight in heaven, we’re alight in heaven,

Mother says to hold our tongues; we are the chosen ones,
And we answer to no one,

Same dream I’m always having,
Like shivering, shivering, shivering…

Find a home amongst the trees,
Bend your branches over me,
Find a home, defy the freeze,
Dance around the rosaries…

Faith alone must clear this snow
Or we’ll have doubted heaven; we’ll have doubted heaven
It’s finisterre for dancing bears
If we have doubted heaven; we have doubted heaven

Everyone I left behind, they think I left my mind under Mesmer, sola fide
Same dream I’m always having,
Like shivering, shivering, shivering…

Find a home amongst the trees,
Bend your branches over me,
Find a home; defy the freeze, and glow,

Find a home…

Oh I can row, I can row, I can row back home,
Or we can lay, we can lay, we can lay in Sway,

Exogenesis Symphony, Pt. 2 Cross-Pollination

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
package  music.album.the.resistance;

import foobar;
import last.fm;

/**
* 编程需要交流
* @author Muse
* @author Sukani
**/
public class Exogenesis Symphony, Pt. 2 Cross-Pollination {

public void sing() {
/*我们不受周围人的影响*/
Rise above the crowds;
/*我们的充满辐射的环境下工作*/
Wade through toxic clouds;
/*我们要打破欧美软件列强的垄断*/
Breach the outer sphere;
/*我们虽然没有把握, 但是相互交流或许能提高*/
The edge of all our fears rest with you;
/*我们需要交流!*/
We are counting on you;
/*我们需要交流!*/
It's up to you;
/*赶紧把代码共享出来!*/
Spread our codes to the stars;
/*交流才是王道*/
You must rescue us all;
/*赶紧把代码共享出来!*/
Spread our codes to the stars;
/*交流才是王道*/
You must rescue us all;
/*告诉大家*/
Tell us;
/*你这段代码倒是是干什么用的!*/
Tell us your final wish;
/*说不明白就别想回去!*/
Now we know you can never return;
/*告诉大家*/
Tell us;
/*你这段代码倒是是干什么用的!*/
Tell us your final wish;
/*我们要Open-Source, 与全球的同行分享!*/
We will tell it to the world;
}

public void afterSing() {
if (action.equals("闲的!")) {
System.out.println("也是被论文逼得.");
}
}

}

论文敲到了无力, 可是还是感觉没有尽头.

回头一望, 尽是些问题在遗留.


周围是辐射中的空气在走.

心也跟着在走.

只是走的漫无目的, 一愣神, 却发现那word文档已淹没在网页的最里头.

于是翻开文档任凭思绪游走.

大大小小的毕业经历了非奇即偶.

感觉随着时间的流走, 心也会变的坦然, 也会变的不那么手慌脚抖.

毕竟工作有了, 毕业时也不会有太多的离愁.


可时间在走, 心也在走.

而且心仿似走在了时间的前头.

可虽然心已走远, 情却还是留在时间的后头.

于是心在时间的尽头停留.

静静的看着它走.

静静地看着它走.

可它却不住的回头, 看的自己眉间布满了忧愁.

于是, 跟着它往回走.

走到了记忆的尽头.

看得抽搐的发抖.


终于, 心再也不能疾走.

只好看着时间默默泪流.


而情, 偷偷地藏在心头.

反方向的望着记忆幽幽.

望得泪流.

好的故事

好的故事》 Revised


天变得朦朦,在预告着夜已渐渐地深;身体越发的不行,早被连绵不绝的夜熏得很憔悴。公路的繁响在四近,过往的画面仿佛在眼前:是昏沉的夜。

我闭了眼睛,向后一仰,靠在椅背上;放开鼠标的手搁在膝髁上。

我在蒙胧中,看见一个好的故事。

这故事很美丽,幽雅,别致。许多美的人和美的事,错综起来像一天云锦,而且万颗奔星似的飞动着,同时又展开去,以至于无穷。

我仿佛记得跟她乘坐小船经过山阴小道,两岸边的青山, 乌桕,新禾,野花,茅屋,塔,伽蓝,人群,小鸟……都倒影在澄碧的小河中,随着船的前进,清水中夹带着闪烁的日光,并着水里的萍藻游鱼,一同荡漾。诸影诸物,无不解散,而且摇动,扩大,互相融和;刚一融和,却又退缩,复近于原形。边缘都参差如夏云头,镶着日光,发出水银色焰。凡是我所经过的河,都是如此。

现在我所见的故事也如此。水中的青天的底子,一切事物统在上面交错,织成一篇,永是生动,永是展开,我看不见这一篇的结束。

河边枯柳树下的几株瘦削的一丈红,是她做的。无边无际的红,都在水里面浮动,忽而碎散,拉长了,如缕缕的胭脂水,然而没有晕。周围的一切随之晃动。大红花一朵朵全被拉长了,这时是泼剌奔迸的红锦带。

霎那间, 水渐辉黄, 伴着微微的风荡漾, 我跟她看着天边的夕阳, 夕阳消失在辉煌。

现在我所见的故事清楚起来了,美丽,幽雅,别致,而且分明。青天上面,虽有有无数美的人和美的事,我一一看见,一一知道,到那时独此事,让我神往。

我要凝视他,凝视到天亮……。

我正要凝视他时,骤然一惊,睁开眼,云锦也已皱蹙,凌乱,仿佛有谁掷一块大石下河水中,水波陡然起立,将整篇的影子撕成片片了。我无意识地赶忙捏住几乎坠地的鼠标,眼前还剩着几点虹霓色的碎影。

我真爱这一篇好的故事,趁碎影还在,我要追回他,完成他,留下他。拿起了鼠标,整理好的键盘安安静静——何尝有一丝碎影,只见昏暗的灯光,我不在小船里了。

但我总记得见过这一篇好的故事,在昏沉的夜……。

二零一零年一月三十日

忆我朝,奠我朝

六月七,宛若剑一般,插入与抽出并重,世界皆血泪横流。

时光飞转十一载,斯年,懵懂半载,球性愚钝,仅记得仰角四十五度之红黄相见,及左胸口瞬间之悸动。懵懂间入五月,望中亚之荒凉,观南亚之靡费,不禁兴奋,以为仅一时兴起,不料它若一精灵般纠缠不清,赶不走,甩不掉,铭刻眉间,驻留永生。

悲或喜?纠结不清。

犹记得那天,九月之十三,渤海之巅。我朝天子誓言镇守金州绝不给波斯蛮贼留一寸生机。于是满朝亢奋,毕竟某臣在抽签之际大放豪言”斯战必八战七捷!”,豪言壮语冲天,不留半片余地。大战开始,气势汹涌,西贼不禁胆寒。我朝大将李明尤其凶猛,不但助战友范兄一臂之力,还自告奋勇,独步前场,立下奇功。天子臣子看在眼里,乐在心中,心想”老臣鞠躬尽瘁,卖官行贿,只为此日之光宗耀祖,观此战之状,不虚此生矣!”。于是,臣子小乐,将大乐。可西贼不乐,尤以马达维基亚大将为最。他虽身若侏儒,却动如脱兔,一拳两脚,竟把我将搞的昏头转向。”我朝危矣!”,乐抽了筋儿时,他不禁大呼。正所谓兵败如山倒,将糗糗一窝。没悬念,我朝溃败。

今后之岁月,每追忆过往,品味球道,此战总于我脑海怅惘,不因它曲折跌宕,只因它使我初次认识这片土地之战争之求生之道,而我朝兵将却未能悟道。

可道终究是道,轻而易举就能大彻大悟显然无所谓道,岁月辗转,战场反复,我朝自然悟道。我一直都这般以为。

转眼辗转至十月末,西西域有一弹丸之国来我朝进犯,之前我朝在西贼侵攘之际,国力尽衰,稍有不甚就有崩盘之险。一定程度上,此战乃命悬之战,一旦不胜,数年之辛劳不复。

此弹丸名曰卡塔尔,乃波斯湾西南小国,夏季四十又六度的气候,造就了其黝黑弱小的身躯,唯有遍野的黑油昭显其贵族本色。此时我朝媒体空前团结,打气之势遍野,我将,我卒亦摆开架势,尽显玩命之势,臣民望此盛状及其悲壮,不禁欣慰溢胸。开战之初,我朝气势如虹,早早确立了优势,众将喜上眉梢,尽显骄溢之势。于是,战局斗转,几番攻势之后,我朝优势竟无!于是躁上眉梢,我朝尽显疲态,战局不堪,气势一泻千里,卡贼趁势追击,竟完成致命一击。我朝玩儿完……

此战之溃败,彻底埋葬了我朝数年之辛劳,也粉碎了我数载之向往,从此我记住了卡塔尔,了解了我朝之现状。道乃身内之物,悟性需要高人之指引,戚教主虽饱读群书,可对西方之道资历尚浅。一旦偶遇高人必有人悟道。

于是我朝天子云游天下,寻求高人,在不列颠,他遇到了霍先生,据说此人俱毕生之力研读蹴鞠之道,常年云游四方,廉价传道,备受好评。于是双方一拍即合,霍先生是个实在人,深知受人钱财,替人消灾之真理,工作之始即卖命苦干,倍受好评。可高人多了就定有低人,我朝不幸,霍先生竟实为低人,斯人确有纶巾之才,却无沙场点兵之力。几番纠葛,我朝不堪。霍先生豁达,得知自己失势,爽快闪人。于是我朝又糜顿了数载。

天子愤,继续云游,竟偶遇另一云游之高人,此人江湖人称米半仙,尤通八卦博弈之术,实乃人尽皆知的高人。天子大喜,半仙亦大喜,双方互送秋波,并引出惊天之佳话。米半仙果然高人矣,他常置点兵于不顾,以快乐之道相授,众将快乐了,却不会作战了,我朝之战斗力随着时间之漂移不升反降。

天子不悦,推倒重来。于是米半仙没蜕变成全仙,继续云游,寻找云端。我朝天子则在阿姆斯特丹继续云游,这一游不要紧,竟遇到了江湖混子,汗先生。汗先生人如起名,作战时让敌方汗,指挥时让己方汗。于是,我方大汗,汗先生竟然让我朝在科威特小卒面前颜面扫地,奇耻大辱,天子不堪。

于是,汗先生被切掉汗腺,卷汗走人。天子郁闷,班师回朝。闲暇之余竟突生一想法,邀请朝内著名的猪老师沙场点兵。这位猪老师实乃不世之才,在职其间,开创耸人听闻”疯狗疗法”,并以其人脉之网络,广结党羽,甚至有一时间,风靡江湖的李毅大侠也甘愿为其甘当护卫。俗话说,人无完人,猪无完猪,猪老师即非完人亦非完猪,我朝在马来群岛混战中竟不力冲出东南亚,令人发指。

于是,人神公愤,猪老师被打会了动物界。天子郁闷之极,观九洲之贤士,无望。云游四方,天子圣明,此时塞族双贤进入视野。所谓双贤,意即双闲,至少福先生乃一大闲。双闲登基一载后,竟遇一流芳百世之机遇,一旦紧握,必成圣贤。此即六月七卡塔尔之难。

十一载之后,卡塔尔脱胎换骨,花重金令南美三侠为其卖命,体现着金钱皆粪土之真谛,显露着贵族奴隶主之本色。

可我朝不屑其贵族贱族与否。但凡生死之战,我朝必先在士气上压到对手,然后再而衰,衰而竭,令国民欲罢不能。于是此战必败。只是冥冥中有些不甘,想我朝之盛状,问心中之向往,无数臣民亦投注心血。于是心血变成鲜血,我朝遭遇空前绝后之惨状。

斯战惨烈,以致我不愿回忆。仅记得,我军被卡贼打的体无完肤,仅记的战前之豪言壮语皆扯淡。

于是,我看清真相,斩断臆想,尽生理之极致抛之云霄。悲与喜,区分一清。但若来年有此番,我心向何方?


回首当年,绮楼画阁生光彩。朝弹瑶瑟夜银筝,歌舞人潇洒。一自市朝更改。
暗销魂,繁华难再。金钗十二,珍履三千,凄凉千载!

《烛影摇红》,借着烛影,看清困厄之海市蜃楼;品着摇红,慢慢摇碎曾经之向往。
虽夏完淳之感时伤怀与此番相比略显不合时宜,可此时之心情与数百年前,古今一般同。


PS:郭林别餐归来,想我朝之失势,伤痛悼惜之中,觉心有不甘,独起凭栏对过往,唏嘘不已,凭跑步而卸闷,不料体力不堪,半死不活,痛不欲生,身心俱乏,以致心力憔悴,遂购花生以调节,嚼咬饕餮之余,顿感空荡,是为文。

心目中的编程高手(ZT)



Joy.Colloquium.png Bill Joy, 前任Sun的首席科学家,当年在Berkeley时主持开发了最早版本的BSD。他还是vi和csh的作者。当然,Csh Programming Considered Harmful 是另一个话题乐。据说他想看看自己能不能写个操作系统,就在三天里写了个自己的Unix, 也就是BSD的前身。当然是传说了,但足见他的功力。另一个传说是,1980年初的时候,DARPA让BBN在Berkley Unix里加上BBN开发的TCP/IP代码。但当时还是研究生的B伯伯怒了,拒绝把BBN TCP/IP加入BSD,因为他觉得BBN的TCP/IP写得不好。于是B伯伯出手了,端的是一箭封喉,很快就写出了高性能的伯克利版TCP/IP。当时BBN和DARPA签了巨额合同开发TCP/IP Stack,谁知他们的代码还不如一个研究生的好。于是他们开会。只见当时B伯伯穿个T-shirt出现在会议室(当时穿T-shirt不象现在,还是相当散漫的哈)。只见BBN问:你怎么写出来的?而B伯伯答:简单,你读协议,然后编程就行了。最令偶晕倒的是,B伯伯硕士毕业后决定到工业界发展,于是就到了当时只有一间办公室的Sun, 然后他就把Sparc设计出来乐象这种软硬通吃的牛人,想不佩服都不行的说。据Bill Joy的同事说,一般开会的时候B伯伯总是拿一堆杂志漫不经心地读。但往往在关键之处,B伯伯发言,直切要害,提出漂亮的构想,让同事们彻底崩溃。对了,他还是Java Spec和JINI的主要作者之一。

John.Carmack.png John Carmack,ID Software的founder和Lead Programmer。上个月和一个搞图形的师兄聊天,他竟然不知道John Carmack, 也让偶大大地晕了一把。不过也许搞研究的和搞实战的多少有些隔吧。想必喜欢第一人称射击游戏的都知道J哥哥。90年代初只要能在PC上搞个小动画都能让人惊叹一番的时候,J哥哥就推出了石破天惊的Castle Wolfstein, 然后再接再励,doom, doomII, Quake…每次都把3-D技术推到极致。J哥哥的简历上说自己的专长是"Exhaust 3-D technology",真是牛人之言不我欺的说。做J哥哥这样的人是很幸福的,因为各大图形卡厂家一有了新产品就要向他“进贡”,不然如果他的游戏不支持哪种卡,哪种卡基本就会夭折乐。当初MS的Direct3D也得听取他的意见,修改了不少API。当然,J哥哥在结婚前十数年如一日地每天编程14小时以上,也是偶们凡人望尘莫及的。对了,J哥哥高中肆业(?!),可以说是自学成才。不过呢,谁要用这个例子来为自己学习不好辩护,就大错特错了。那Leonardo Da Vinci还是自学成才呢(人是私生子,不能上学)。普通人和天才还是有区别的。对了,其实偶们叫“达分奇”是相当不对的,因为Vinci是地名,而Da Vinci就是从Vinci来的人的意思。换句话说,Leonardo Da Vinci就是“从Vinci来的Leonardo”的意思。叫别人“Da Vinci”就不知所谓乐。嗯,扯远了,打住。

David.Cutler.png David Cutler,VMS和Windows NT的首席设计师,去微软前号称硅谷最牛的kernel开发员。当初他和他的手下在微软一周内把一个具备基本功能的bootable kernel写出来,然后说:"who can’t write an OS in a week?",也是牛气冲天的说。顺便说一句,D爷爷到NT3.5时,管理1500名开发员,自己还兼做设计和编程,不改coder本色啊。D爷爷天生脾气火爆,和人争论时喜欢双手猛击桌子以壮声势。:-) 日常交谈F-word不离口。他面试秘书时必问:"what do you think of the word ‘FUCK’?",让无数美女刹羽而归。终于有一天,一个同样火爆的女面对这个问题脱口而出:"That’s my favorite word"。于是她被录取乐,为D爷爷工作到NT3.5发布。

Donald.E.Knuth.png Donald E. Knuth。高爷爷其实用不着偶多说。学编程的不知道他就好像学物理的不知道牛顿,学数学的不知道欧拉,学音乐的不知道莫扎特,学Delphi的不知到Anders Hejlsberg,或者学Linux不知道Linus Torvalds一样,不可原谅啊。:-) 为了让文章完整,就再罗唆几句吧。高爷爷本科时就开始给行行色色的公司写各种稀奇古怪的编译器挣外快了。他卖给别人时收一两千美元,那些公司拿了code,加工一下卖出去就是上万上十万。不过也没见高爷爷不爽过,学者本色的说。想想那可是60年代初啊,高爷爷写编译器写多了,顺带就搞出了个Attribute Grammar和LR(k),大大地造福后人啊。至于高爷爷在CalTech的编程比赛(有Alan Kay得众多高高手参加)总是第一,写的Tex到86年就code freeze,还附带2^n美分奖励等等都是耳熟能详,偶就不饶舌乐。顺便说一下,高老大爷是无可争议的写作高手。他给Concrete Mathematics写的前言可谓字字铿锵,堪为前言的典范。他的技术文章也是一绝,文风细致,解释精当,而且没有学究气,不失轻快跳脱。记得几年前读Concrete Mathematics,时不时开怀大笑,让老妈极其郁闷,觉得我nerdy到家,不可救药。其实呢,子非鱼,安知鱼之乐,更不知那完全是高爷爷的功劳。说到写作高手,不能不提Stephen A. Cook。他的文章当年就被我们的写作老师极力推荐,号称典雅文风的样本。库爷爷一头银发,身材颀长,总是面带谦和的微笑,颇有仙风道骨,正好和他的仙文相配的说。高爷爷其实还是开源运动的先驱。虽然他没有象Richard Stallman那样八方奔走,但他捐献了好多作品,都可以在网上看到,比如著名的Mathematical Writing,MMIXWare,The Tex Book等,更不用说足以让他流芳百世的Tex乐。

Ken.Thompson.png Ken Thompson,C语言前身B语言的作者,Unix的发明人之一(另一个是Dennis M. Riche老大,被尊为DMR),Belle(一个厉害的国际象棋程序)的作者之一,操作系统Plan 9的主要作者(另一个是大牛人Rob Pike, 前不久被google挖走了)。Ken爷爷也算是计算机历史上开天辟地的人物了。1969年还是计算机史前时代,普通人都认为只有大型机才能运行通用的操作系统,小型机只有高山仰止的份儿。至于用高级语言来写操作系统,更是笑谈。Ken爷爷自然不是池中物,于是他和DMR怒了,在1969年到1970间用汇编在PDP-7上写出了UNIX的第一个版本。他们并不知道,一场轰轰烈烈的UNIX传奇由此拉开了序幕。Ken爷爷在1971年又把Unix用C重写,于是C在随后20年成就了不知多少豪杰的梦想和光荣。Ken爷爷还有段佳话:装了UNIX的PDP-11最早被安装在Bell Lab里供大家日常使用。很快大家就发现Ken爷爷总能进入他们的帐户,获得最高权限。Bell Lab里的科学家都心比天高,当然被搞得郁闷无比。于是有高手怒了,跳出来分析了UNIX代码,找到后门,修改代码,然后重新编译了整个UNIX。就在大家都以为“这个世界清净了”的时候,他们发现Ken爷爷还是轻而易举地拿到他们的帐户权限,百思不解后,只好继续郁闷。谁知道这一郁闷,就郁闷了14年,直到Ken爷爷道出个中缘由。原来,代码里的确有后门,但后门不在Unix代码里,而在编译Unix代码的C编译器里。每次C编译器编译UNIX的代码,就自动生成后门代码。而整个Bell Lab的人,都是用Ken爷爷的C编译器。

Rob.Pike.png Rob Pike, AT&T Bell Lab前Member of Technical Staff,现在google研究操作系统。罗伯伯是Unix的先驱,是贝尔实验室最早和Ken Thompson以及Dennis M. Ritche开发Unix的猛人,UTF-8的设计人。他还在美国名嘴David Letterman的晚间节目上露了一小脸,一脸憨厚地帮一胖子吹牛搞怪。让偶佩服不已的是,罗伯伯还是1980年奥运会射箭的银牌得主。他也是个颇为厉害的业余天文学家,设计的珈玛射线望远镜差点被NASA用在航天飞机上。他还是两本经典,The Unix Programming Environment 和 The Practice of Programming 的作者之一。如果初学者想在编程方面精益求精,实在该好好读读这两本书。它们都有中文版的说。罗伯伯还写出了Unix下第一个基于位图的窗口系统,并且是著名的blit终端的作者。当然了,罗伯伯还是号称锐意革新的操作系统,Plan9,的主要作者。可惜的是,Plan9并没有引起多少人的注意。罗伯伯一怒之下,写出了振聋发聩的雄文 Systems Software Research is Irrelevant,痛斥当下系统开发不思进取,固步自封的弊病。虽然这篇文章是罗伯伯含忿出手,颇有偏激之词,但确实道出了系统开发的无奈:开发周期越来越长,代价越来越大,用户被统一到少数几个系统上,结果越来越多的活动是测量和修补,而真正的革新越来越少。就在罗伯伯郁闷之极的时候,google登门求贤来乐。如果说现在还有一家大众公司在不遗余力地把系统开发推向极致的话,也就是google乐。随便看看google的成果就知道了。具有超强容错和负载平衡能力的分布式文件系统GFS(现在能够用100,000台廉价PC搭起一个巨型分布系统,并且高效便宜地进行管理的系统也不多哈),大规模机器学习系统(拼写检查,广告匹配,拼音搜寻。。。哪个都很牛的说),更不用说处理海量并行计算的各式google服务了。Rob在System Software Research is Irrelevant里萧瑟地说现在没有人再关心系统研究的前沿成果了。想不到他错了,因为google关心。google网络了大批功成名就的牛人,还有大量初生牛犊般博士做开发,显然不是没事耍酷,而是因为它们的开发总是试图吸取系统研究的最新成果。想必Rob Pike在google很幸福。愿他做出更棒的系统。

Dennis.M.Ritchie.png Dennis M. Ritchie 既然Ken Thompson是我的偶像,新闻组上人称DMR的Dennis M. Ritchie自然也是,毕竟两人共同缔造了UNIX,而Dennis几乎独力把C搞大(当然,C的前身是B,而B是Ken Thompson一手做出来的)。J D两人1983年分享图灵奖,是有史以来少数几个因工程项目得奖的工程师(本来是唯一的一对儿,但Alan Kay才因为SmallTalk得奖,所以就成了唯二的乐)。一个人一生能做出一个卓越的系统已经不易,DMR的C和UNIX长盛不衰近30年,至今生机勃勃,DMR此生可以无憾的说。D爷爷也算有家学渊源:他老爸在AT&T贝尔实验室工作了一辈子,并在电路设计方面卓有成就,还出了本颇有影响的书The Design of Switching Circuits,据说在交换理论和逻辑设计方面有独到的论述。当然,D爷爷和他老爸是不同时代的人:他老爸的研究成形于晶体管发明之前,而D爷爷的工作离了晶体管就玩儿不转乐。:-D不要看D爷爷搞出了C,其实他最爱的编程语言是Alef,在Plan9上运行,支持并行编程。Alef的语法和C相似,但数据类型和执行方式都和C大大不同。说到语言,D爷爷对后来人有非常中肯的建议:抱着学习的目的来开发你自己的语言,不要冀望于它被众人接受。这个建议不光对语言开发有用,也适用于其它大型系统的开发。别的不说,DMR后来领导自己的团队在1995年和1996分别推出了Plan9和Inferno操作系统,又用多少人知道呢?其实,D爷爷当初也没想过C会风行世界。他开发C的初衷和Eric S. Raymond在Cathedral and Bazaar里阐述的一样,就是要消除自己对现有工具的不爽之处。谁知D爷爷无心插柳,C竟然受到众多程序员的狂热拥戴,连D爷爷自己都大惑不解。在一次采访中D爷爷说大概那是因为C的抽象程度碰巧既满足了程序员的要求,又容易实现。当然C一度是Unix上的通用语言也是原因。但不管怎么说,D爷爷对编程语言出色的审美意识奠定了C广为流传的基础。最后八卦一下。D爷爷的业余爱好和NBA大牛Karl Malone一样:开卡车。不过D爷爷更喜欢开NASCAR,而KM独爱巨无霸。J D爷爷自称心中不供偶像,如果一定要说一个,那就是Ken Thompson了。现在Ken爷爷退休当飞机教练去了,而D爷爷当了贝尔实验室系统开发部的头,整日忙于开支票。他俩合作20年,屡屡创造历史。这段令人神往的佳话,也就长留你我心中乐。P.S.,很多人都以为Brian W. Kernighan是C的作者。其实BWK只是写了那本经典K&R C。据D爷爷说,他,Ken和Kernighan三人中,Kernighan最能写文章,他次之,而Ken写得最少;但说到编程,Ken爷爷才是当之无愧的老大。

Edsger.Wybe.Dijkstra.png Edsger Wybe Dijkstra 对,就是E.W. Dijkstra. 一提到EWD,很多人就会想起找最短路径的Dijkstra Algorithm,就好像一提到Sir. Tony Hoare,就想起Quick Sort一样。其实这些个算法不过是两个牛人在他们职业生涯中最琐碎的贡献。比如Dijkstra算法,无非是戴爷爷在1956年为了展示新计算机ARMAC的计算能力,初试身手的成果,属于他的算法处女作。据戴爷爷自述,他搞出最短路径算法的时候连纸笔都没用。当时他和他老婆在阿姆斯特丹一家咖啡厅的阳台上晒太阳喝咖啡,突然就把这个算法想出来乐。而且当时的算法研究还比较原始,牛人们忙着用计算机搞数值计算,对离散算法不屑一顾。那时连一个象样的专注于离散算法的专业期刊都没有。戴爷爷于是推迟发表这个算法。直到1959年,他才把这个算法发表在Numerische Mathematik的创刊号上,权为捧场。:-) EWD在多个领域牛气冲天,端的是理论和编程两手硬的高手。只不过他的很多工作比较深刻,学校的老先生们觉得本科生接受不了,不给本科生讲而已。戴爷爷大概因为最短路径算法一战成名,于是有人请他参加另一台计算机X1的设计工作,并且把设计实时中断系统的任务派给了他。现在看来实时中断也许不算什么,但要知到,X1前根本就没有实时中断的概念。实现它简直就是一场豪赌。戴爷爷起初还不情愿,但经不住项目负责人Bram和Carel的轮番“吹捧”:我们知道实时中断让您工作变得非常困难,但象您这样的牛人肯定能做出来的说。结果戴爷爷被糖衣炮弹彻底击穿,接下了这个烫手山芋。两三年后,他不仅搞出了实时中断,还围绕这个写出了自己的博士论文,顺利戴上博士帽。让戴爷爷真正成名立万的还是在X1上开发的Algo60,最早的高级语言之一。戴爷爷没日没夜地工作了8个月,就搞出了Algo60,也因此获得了1972年的图灵奖。因为Algo60,戴爷爷发表了一篇石破天惊的文章:Recursive Programming,于是人们才知道,原来高级语言也可以高效地实现递归,原来从此以后,所有程序员都不可避免地和戴爷爷发明的一个词(应该说是概念)打交道:堆栈。而且Algo60还让戴爷爷深入地思考多道程序设计的问题,最终发明了每个系统程序员都绕不开的概念:semaphore。当然,戴爷爷总是把他发明的概念严格形式化,极具科学家本色的说。和这些成就想比,他提出的吃饭的哲学家问题,也就没什么好说的了。说来好笑,当时的大学(忘了哪所了)还是觉得戴爷爷没有受过正统的数学训练,也不是专门搞数值分析的,所以最后不太情愿地给了他一个教职。这种小挫折并不能妨碍象戴爷爷这样的牛人创造历史。他一边教数值分析(:-D),一边开始开发一个新的操作系统,并培养计算机科学家。几年后,THE Multiprogramming System横空出世。THE是第一个支持松散耦合,显式同步的进程并由此使得严格证明系统没有死锁变得容易的操作系统。可惜戴爷爷任职的系不识货,还强行解散了他的研究小组(1972年戴爷爷给他的系主任说他得了图灵奖,系主任的第一反应是你们搞计算机就喜欢乱发奖)。这让戴爷爷相当郁闷,得了抑郁症。在极度郁闷之中,戴爷爷决定用写作来治疗自己的抑郁症。于是经典就诞生乐:Notes on Structured Programming。戴爷爷从此被尊为结构化编程的奠基人,而且他的抑郁症也被治好乐。EWD太牛,结果他的故事也太多。先到这里吧。1973起,他的故事就在美国发生了。

Anders.Hejlsberg.png Anders Hejlsberg,微软.NET的首席架构师,编程语言设计和实现的顶尖高手。他一手做出了Turbo Pascal,也是Delphi, J (尤其是WFC),C#和.NET的主要作者。这些作品的名字足以为他立传。作为一个程序员,我在这样的大师面前实在无语。生子当如Anders的说。李维的《Borland传奇》里已详细讲述了Anders的传奇故事,我就不用费舌了:http://java.mblogger.cn/iexploiter/posts/1505.aspx。Artima上有Anders谈C#的系列访谈。MSDN上有一段Anders导游的录像。有兴趣可以去看看牛人的丰采。


Dear 2007, Bear 2008

2008-1-1

2007好像逝去了很多,比如四年的大学生活,惬意的济南城还有那无拘无束的青春。

得到了些什么?一台笔记本,一硬盘的音乐,一个欧冠奖杯,一张北京的门票和一张更加迷惑于未来的脸。

2007。平凡的数字,不是素数,更不是偶数。

2008。吉祥的数字,代表奥运,更代表未来。

2008-1984=2007-1984 1=2*12=72/3=30-6=24.

2008起,就要面对那可怕的数字人生。

数字是时间的传教士,你可以讨厌他,但你却不能忽视他。