2007 年文章归档
共 25 篇文章
一个MySQL死锁问题的分析及解决
最近在 做YMU (website monitoring) 项目开发过程,碰到了数据库的死锁问题,在解决问题的过程中,加深了对MySQL InnoDB引擎锁机制的理解。 我们使用Show innodb status检查引擎状态时,发现了死锁问题: ** (1) TRANSACTION:* TRANSACTION 0 677833455, ACTIVE 0 sec, process no 11393, OS thread id 278546 starting index read mysql tables in use 1, locked 1 LOCK WAIT 3 lock struct(s…
2007-11-29 23:22 · YMU开发
MySQL下优化SQL语句的一些经验
自从今年10月1日正式版上线以来,YMU websiste monitoring 系统的客户数量增加很快,最近系统速度有点慢了,赶紧做一下系统优化吧。主要从前端和后台这两方面做了优化,现在速度快多了,哈哈! 后台方面主要对SQL语句和数据存储进行了优化,感觉自己成了小半个DBA了,记录一下MySQL下SQL语句优化的一些技巧和经验。 一些小技巧 1. 如何查出效率低的语句? 在MySQL下,在启动参数中设置 --log-slow-queries=[文件名],就可以在指定的日志文件中记录执行时间超过long_query_time(缺省为10秒)的SQL语句。你也可以在启动配置文件中修改long…
2007-11-25 00:13 · YMU开发
网站架构学习笔记--Tailrank架构
来源: Todd Hoff 的文章http://www.highscalability.com/tailrank-architecture-learn-how-track-memes-across-entire-blogosphere Tailrank 网站提供blog文章热点新闻跟踪服务,同时从8个月前开始许可其爬虫程序 Spinn3r 。 Tailrank 要解决的是如何高效处理海量数据,及如何分析并精确索引其抓取的内容。 其要技术难点在于建立伸缩性好并高容错的分布式系统,目前实现了一个类似于Google的MapReduce的工具Task/Queue, 它是一个集中的队列服务器,用于分发…
2007-11-21 22:29 · 网站架构
lbpool:一个支持负载均衡的JDBC连接缓冲池
lbpool 是根据MySQL的复制机制设计的支持负 载均衡的JDBC连接缓冲池。一般来说,MySQL复制机制涉及一台主服务器(master server)和多台复制服务器(slave server),数据库写操作只发生在主服务器上,而读操作则可以分布到主服务器及其他复制服务器。 虽然lbpool是为MySQL设计的,但也可以方便地扩展到其他支持复制功能的数据库系统,如PostgreSQL等。 负载均衡策略 负载均衡算法主要基于并发连接数,负载和slave的状态等参数来选择合适的服务器: 是否可访问; 复制是否依然在进行; 复制是否已经落后主服务器; 负载是否太高; 数据库连接数是否太多。 …
2007-11-18 01:27 · YMU开发
一些有用的网页优化工具
最近在做 YouMonitor.Us 的优化,在此过程中使用了一些小工具。现汇总如下,以后会不定期补充。 通用工具 JS压缩工具 JSMin :删除JS文件中的注释及不必要的空格 YUI Compressor :压缩效率比JSMin高,从2.0开始,还可以压缩CSS文件 JS混淆工具 Dojo Compressor ( ShrinkSafe ):除删除注释及不必要的空格外,函数名和变量名被替换成短的字符串,这使得压缩效率更高,同时也更难读及被反向工程。 Web速度模拟器 WebSpeed Simulator :用于模拟各种HTTP连接速度,方便internet环境下性能调优。 IE工具 HT…
2007-11-10 21:59 · YMU开发
网页加速的14条优化法则
译自:http://developer.yahoo.com/performance/rules.html <o:p> </o:p> 最近, YouMonitor.Us 在做Web应用性能优化,在网上发现了文章 High Performance Web Sites: The Importance of Front-End Performance ,感觉其14条优化法则很实用,操作性很强。因此翻译出来,供大家参考。 <o:p> </o:p> Web应用性能优化黄金法则:先优化前端程序(front-end)的性能,因为这是80%或以上的最终用户响应时间的花费所在。<o:p></o:p> 法则1. …
2007-11-07 02:04 · YMU开发
推荐一个可保存网页的social bookmarking工具Furl
最近在网上找到一个很不错的social bookmarking工具 Furl 。 它跟其他工具(如 del.icio.us )相比,最大的好处是可以保存网页,这样你就不用担心网页被删除了。 Furl 基于以下开源项目开发,再次验证了开源的力量: Servers powered by Debian Linux Web site powered by Apache Servlets powered by Tomcat Search powered by Lucene Search highlighting powered by Mark Harwood Database powered by M…
2007-11-03 22:16
Web性能优化10大技巧
由于在 YMU 开发过程中需要做web网站的性能优化工作,在网上发现 这篇文章 ,其中有些还是挺使用的,顺便翻译出来,供大家参考。 1. 使用 Weblint 或其他HTML检查工具检查标准兼容性 如果内容符合HTML 4.0标准,则网页将被更快装载和显示。注Microsoft的很多内容创建工具甚至不使用标准的ASCII字符集,而使用了很多特有的Microsoft字符,这将导致在Netscape中显示为?,并降低显示速度。 2. 最小限度地使用JavaScript和Style sheets JavaScript是不兼容、浏览器挂起等的主要来源;而样式表需要另外下载,在其全部下载完成前网页是不…
2007-11-02 00:37 · YMU开发
Web Analytics工具domodomain的B/S交互实现机制分析
最近在 YMU网络 的开发过程中试用了 domodomain 提供的Web Analytics服务,发现其分析功能很强,能很精确地定位访问来源,而且能展现一个用户的页面访问顺序,界面也挺好用(见截图)。但是其服务不是免费的,价格还挺贵的,不过你可以免费试用一个月哦! 在使用domodomain及Google Analytics这两种Web Analytics工具过程中,顺便分析了一下,发现两者在Browser和Server间交互的实现机制是基本一致的。 <o:p> </o:p> 下面以domodomain为例说明实现机制,其中目标监测网页:http://youmonitor.us/index…
2007-10-20 23:27 · 网站监测
YMU网络的数据库系统架构介绍
YMU(YouMonitor.Us) 网络是遍布全球的网站监测网络,它面临的是海量数据及高并发访问的环境,我们采用LAMJ(类LAMP)架构来进行YMU的开发。LAMP指Linux, Apache , MySQL , Php/Perl的缩写,是目前很多web应用的基础架构。而我们使用JAVA来代替其中的Php/Perl,并增加Tomcat用作动态内容。<o:p></o:p> 本篇介绍一下YMU网络的数据库系统架构,其结构图如下所示: <o:p> </o:p> 下面从伸缩性、ID方案和可靠性方案三方面来具体介绍。 <o:p> </o:p> 伸缩性方案<o:p></o:p> 伸缩性是互联网系统的…
2007-10-20 14:08 · YMU开发
巨人回来了
近期史玉柱在媒体上频频曝光;9月21日公司又高调改名,征途网络改为巨人网络,为征途及巨人两款网游到美国上市造势。巨人回来了! 我对史玉柱还是相当佩服的,10年前由于巨人大厦投资失误变成“首负”。不再浮躁,沉下心来,专注于脑白金、金融投资和网游开发,不仅还清了欠下的巨债,而且现在坐拥上百亿资产。虽然很多人诟病脑白金的营销广告,及征途游戏的商业模式,但哪个人又能向史玉柱一样在10年间做到彻底翻身呢? 不服不行啊!我觉得他还是很有自己的一套的,很多地方值得我们学习借鉴。 **首先,他很专注。**10年间史玉柱活得十分简单,每天大部分时间呆在公司,除了睡觉吃饭,就是工作和打游戏,基本没有其他娱乐活动…
2007-10-03 17:12 · IT管理
YMU2.0开发总结
YMU2.0 上线了 经过9月紧张的战斗,Mars版本终于在10.1假期前上线。 YMU2.0 ,即Mars版本从6月下旬开始,原定8.31上线,整整被推迟了30天。由于进度延迟问题,9月份公司强制加班,工作日每天晚上加到9点以后,同时周六再加班一天。 <o:p> </o:p> 本篇文章简要介绍Mars版本开发情况及一些经验教训。 开发目标 Mars版本主要有以下三大类目标: <o:p> </o:p> UI改版 增强功能操作界面的易用性; Official website 也需要全面重新规划风格,并充实内容。 <o:p> </o:p> 一般功能改进 Report管理:进一步精化报表;采用ve…
2007-10-03 01:06 · YMU开发
如何在Apache中方便地切换http和https?
在 YMU系统 中,我们使用Apache 2.x作为前端Web Server,用于静态内容的保存和获取,及动态内容向后端Web Server(Tomcat)的转发;同时Apache 2.x也承担Tomcat服务器之间的负载均衡器。 <o:p> </o:p> 从性能方面考虑, YMU系统 的大部分页面采用http协议传输。而某些页面,如注册、登录和修改密码等安全性要求高的页面,则需要采用https协议进行传输。 <o:p> </o:p> 如何在http及https协议之间转换?最直接的办法是采用绝对路径,此方法优点是间接明了,缺点是移植性差。一个比较好的方法是使用Apache的rewrite模…
2007-09-20 21:09
YMU技术架构及数据库系统设计原则
YMU技术架构 YMU(YouMonitor.Us) 网络是遍布全球的网站监测网络,它利用P2P技术提供新型的网站监测服务,网络参与者通过贡献YMU-Node来得到全球分布的、免费的24x7网站监测服务。YMU-Node指监测节点,是YMU网络中的一个节点,是成千上万的监测客户端之一。YMU网络体现了互联网时代“我为人人,人人为我”的共享精神。 <o:p> </o:p> YMU是互联网上的应用,它面临的是海量数据及高并发访问的环境,我们需要采用大规模分布式技术和工具来进行YMU的开发和运营。基于对现有技术、工具和网站等的考察,我们决定采用LAMJ(类LAMP)架构来进行YMU的开发。LAMP…
2007-09-18 18:16
介绍两个网站监测的新工具
站长常用的像ALEXA 排名、搜索引擎收录情况和反向链接、GooglePR和Sogou Rank等等,除此之外,一些表现优秀的新工具值得给大家推荐下。 1.流量监控:Google Analytics 网址: https://www.google.com/analytics/home/ 在Google Analytics出现之前,很多访问监控工具已经做的很好,像站长联盟( http://www.cnzz.com/ )提供的服务毫不逊色。 根据Google 黑板报的介绍,Analytics的主要功能有: 1) 获得关于 Google 抓取及收录您网站的详细资料。<o:p></o:p> 2) 诊断…
2007-09-03 00:17
网站监测服务比较(ZT)
网站监测服务在欧美已经不是什么新鲜事物了,而在中国市场,确是小荷才露尖尖角。Internet的普及让人们的生活和消费习惯都产生了革命性的转变:通过Internet进行商品买卖使电子商务大行其道;在线阅读使人们不必奔波书店而可以在方寸之前收罗万象获得源源不断的信息和知识;网络游戏使众多游戏迷乐此不彼、狂热迷恋;网络论坛和网络社区更是形成了一个虚拟社区,让人们的情感、幻想在这里得到满足;随着web 2.0大军蜂拥而至的blog,更是形成了独特的知识和个性的传播载体。在人们越来越离不开Internet海洋时,组成这个海洋的分子细胞-互联网网站,无疑是举足轻重。 <o:p> </o:p> 越来越多的…
2007-09-03 00:13
网站监测技术发展简介(ZT)
1. 初级网站监测 在网站监测需求初现端倪的时候,网站监测服务提供者和众多网络应用一样,将其监测程序部署在某一台或者几台服务器上,这种简易的监测满足了初级用户需要监测的基本需求。但是这种单个监测模式有天然的缺陷: (1) 没有从实际客户的角度出发。 实际客户不会是像部署在机房的服务器一样稳定,而是有千差万别的软硬件环境、来自不同的地域、使用不同运营商提供的网络服务。因此,不能从根本上保证真实的监测背景。 (2) 只考虑到单个服务器对目标网站之间的监测,难以保证准确的报告。 例如监测服务器自身网络出现问题的时候,通知网管人员说网站无法访问就不对了。同时,如果监测服务器本身已经Down掉,那就更…
2007-09-03 00:12
YouMonitor.Us功能FAQ
新兴的网站监控服务 YouMonitorUs 非常好用,不过一些优异的服务需要注册之后才能使用。这里列一些找到的注册服务后的常见使用问题。<o:p></o:p> <o:p> </o:p> 如何监控网站服务停止了?<o:p></o:p> 我们系统提供的监控服务将监控你的网站服务和服务器,一旦发生错误就及时通知。只要没有收到我们的提醒,您就可以放心享受休闲去。当注册服务时,您会发现有非常灵活的配置选项。 <o:p></o:p> 支持哪些服务类型的监控呢?<o:p></o:p> 现在系统可以监控的服务类型有HTTP, HTTPS和HTTP Transaction. 一旦有报警出现,我将如何收到报警…
2007-08-26 15:46
于细微处见品质-YouMonitor.Us报表
YouMonitor.Us 的漂亮报表完全可以满足中小型网站监测的基本要求。它提供四种基本报表图形: 1. 网站可用性报表(Availability) <o:p> </o:p> 如图所示,通过该报表,你可以方便的查看网站在不同的时间段的可用性;支持日报、周报、月报;支持折线图、柱状图、表格等形式展现。 <o:p> </o:p> 2. 网站性能报表 (Response Time) <o:p></o:p> 如图所示,性能报表主要反映了一个网站的访问响应时间,通过该表你同样可以查看在不同的时间段网站访问速度的快慢,让你能很清晰了解网站访问者访问时间的喜好;支持日报、周报、月报;支持折线图、柱状图、…
2007-08-26 15:43
站长必备工具(ZT)
内容与结构工具<o:p></o:p> <o:p> </o:p> 搜索引擎抓取内容模拟器 <o:p> </o:p> <o:p> </o:p> 可以模拟蜘蛛抓取指定网页Text,Link,Keywords及Description信息 http://www.webconfs.com/search-engine-spider-simulator.php <o:p> </o:p> 相似页面检测工具 <o:p> </o:p> 检验两个页面的相似度. http://www.webconfs.com/similar-page-checker.php <o:p> </o:p> Google Sitemaps …
2007-08-19 10:02