MySQL 的配置
123456789101112131415161718-- 查看自动提交SELECT @@autocommit-- 查看全局隔离级别和会话隔离级别SELECT @@global.tx_isolation, @@tx_isolation;-- 查看引擎的事务状态,这里可以看出死锁日志,但需要 PROCESS privilege(s)show engine innodb status# 查看表详情show table status like 'dept_emp'# 查看当前存储引擎默认的行格式SHOW VARIABLES LIKE '%innodb_default_row_format%'# 查看全部 binlog 文件show binary logs;# 查看最新的binlog,带有 positionshow master status; # 查看某个 binlog 的内容show binlog events in 'binlog.000156';
异地多活与单元化
背景介绍名词解释ldc logical data centeridc internet data center ldc 是 idc 的进化版,是一种单元化部署方案。 扩展模式 vs 镜像模式扩展模式是把服务/数据库分拆,然后部署到不同的机房里面,相当于放大了一个物理机房。 镜像模式是每个机房里部署的服务都是一样的,每个机房承担一定流量。 镜像模式的容灾效果更好,难度在如何切分流量上。容灾还要考虑机房级容灾、部署地容灾的问题。多地部署带来距离,距离带来延时,延时带来 replica 的风险。 单元化部署所谓 cell,是一个能完成所有业务操作的自包含集合(每个单元,都是其他单元的镜像)。一般的 soa 架构,服务是分层的,而且每一层的任一节点都可以被其他机房调用。而单元化部署的结果是,本单元的上层节点,只会调用本单元的下层节点。它具有一个站点全部的功能,但不具有一个站点全部的流量。 这种单元化部署实际上就要求底层的数据也要做 sharding。单元化的结果是,数据库连接可以更好地被复用-多个单元互相跨 db...
压力测试需要关注的注意事项
真正的高可用高并发架构,只有在压测中才能显示合理性和不合理性。有时候我们怀疑积压来自于服务,其实可能来自于数据,或者缓存或者消息队列。 确认核心链路的范围:纵向看,深度到哪里(哪里已经不是本架构域需要关注和改造的范围,哪里需要 mock);横向看,一个请求会涉及多宽的 scope(服务的宽幅)。产出是:需要关注的服务和拓扑结构。 寻找压测指标:容量应该在什么条件下摸到多高。高度由现在的日常业务高峰和大促的流量增长综合评估得出,首先确定业务系统应该支持的 qps/tps 数量。然后考虑容灾等级,即允许在几个机房、几台机器挂掉以后,服务还能正常运行。如果一个服务应该支持的日常峰值(考虑大促),乘以冗余数量(如果是两地三中心,应该考虑将单机房的压测峰值乘以 3)。 确定压测过程中压测指标: VM 性能指标项: fullgc 次数 gc time(总数和平均值) gc count(注意和同环比看是不是显著增加,是不是有可疑的波动) block 状态线程数(看看系统是不是已经达到吞吐瓶颈了) 服务性能指标项: 接口 TP999 的响应耗时(没有办法统计这项指标的可以看 MAX 和...
常见的服务器调用堆栈
自顶向下调用$ 是内部类的意思 $$ 是由 Lambda 生成的内部类的意思:https://stackoverflow.com/questions/36057007/what-does-in-javac-generated-name-mean。当然 Spring 的 CGLIB 可以自己控制 naming pattern。 内部类生成的类名后往往带有一个数字,这个数字表示编译器生成这个内部类的顺序 Thread.run() ThreadPoolExecutor$Worker.run() ThreadPoolExecutor.runWorker() Netty.DefaultServerHandler.run() Netty.DefaultServerHandler.handleRequest() ThriftServerPublisher$MTProccessor.process() Thrift 接口$Processor.方法名() com.sun.proxy$Proxy...
CSP
何谓 CSPCSP (内容安全策略)的实质就是白名单制度,开发者明确告诉客户端,哪些外部资源可以加载和执行,等同于提供白名单。它的实现和执行全部由浏览器完成,开发者只需提供白名单的配置也就是CSP规则,下图为Github使用的CSP规则。 Content-Security-Policy: default-src ‘none’; base-uri ‘self’; block-all-mixed-content; connect-src ‘self’ uploads.github.com www.githubstatus.com collector.githubapp.com api.github.com www.google-analytics.com github-cloud.s3.amazonaws.com github-production-repository-file-5c1aeb.s3.amazonaws.com github-production-upload-manifest-file-7fdce7.s3.amazonaws.com...
高性能 MySQL
译者序MySQL 最初是放在 LAMP 里一起讨论。 淘宝网最初使用 LAMP 架构,使用 MySQL 4.0。03 年底改用 IOE,从 08 年开始又筹划去 IOE。09 年的时候 MySQL 的架构也从垂直拆分改成水平拆分。2012 年 MySQL 的单库已经有了 6.5 万的 QPS。 本书是 mysqlperformanceblog.com 的几个专家(同样也是 percona 的创始人)的作品,对于 InnoDB/XtraDB 等存储引擎的性能优化和诊断方法有很深入和详细的介绍。 推荐序作者在性能优化领域工作多年,这本书诞生于 MySQL 还没有什么可扩展性和可测量性的时代,直到现在这些方面已经有了长足的进步。说到合理的方法,他们简直把这件事当成了科学,首先定义需要解决的问题,然后通过合理的猜测和精确的测量来解决问题。 性能优化 = 定义问题 + 猜测 + 测量 要关注: 吞吐量 响应时间 吞吐量 = 线程数/响应时间 追求新技能,如排队理论对性能的影响。 MySQL 的架构和历史MySQL...
Spring IOC
总体的类图spring-Ioc Bean 工厂提供 IOC 基本功能,Context 是全功能的 BeanFactory,是应用程序的全部上下文。 扩展点和生命周期钩子Spring的扩展点.xmind 加载顺序: 获取工厂 准备工厂 后处理工厂 InstantiationAwareBeanPostProcessor.postProcessBeforeInstantiation,返回 object。 构造器 InstantiationAwareBeanPostProcessor.postProcessAfterInstantiation,返回布尔值。 populateBean(注入 @Autowired,类内第一个方法),实际上调用的是 InstantiationAwareBeanPostProcessor.postProcessProperties InitializingBean: 各类 aware 方法注入 BeanPostProcessor.postProcessBeforeInitialization...
Spring 与数据库
Java 执行事务的过程 1.获取连接 Connection con = DriverManager.getConnection()2.开启事务con.setAutoCommit(true/false); 在 Spring 事务里(如 DataSourceTransactionManager 的 doBegin 方法)里,总是会显式地 con.setAutoCommit(false);(不然哪有事务可言)。3.执行CRUD4.提交事务/回滚事务 con.commit() / con.rollback();5.关闭连接 conn.close(); 本文涉及到的类型的类图 Spring 的事务管理核心类型和流程DataSource不同的数据源诞生不同的 DataSource。默认的 TransactionManager 本身是期待一个名叫“datasource”的数据源的。 FactoryBean不同的 DataSource 装入不同的 FactoryBean,比如 JPA 的...
软件方法
建模带来竞争优势。 前言 “唱曲的名家,唱到极快处,吐字依然干净利落”。 不能站在别人的肩膀上看得更远,只是摘抄别人的观点,无意义。要有足够的积累,和深度的思考。 涉众(stakeholder)往往会做而不会定义,把不同类型的涉众放在一起访谈时,只会剩下在场军衔最高那个人的意见。 需求变更的时候,要注意涉众利益角度分析。 项目的流程步骤: 寻找老大 揣摩愿景 业务建模 系统用例 需求规约 分析模型 设计开发 只有一个领域(核心域)的知识是系统能在市场上生存的理由。 拿来主义要摒除门户之见,不关注流派和风格,着力于细节和应用。 建模与 uml利润 = 需求 -...
FatJar 问题
什么是 FatJarFatJar 又叫 uber-jar。uber 不是打车的 uber,而是德语里面的 uber,意思是英语里面的 over-勉强可以翻译为超越。 FatJar 是一个 all-in-one 的 jar,它可以让部署和运行更加便利,它让最终部署和运行的环境不依赖于任何 maven 或者 lib 的 classpath。 FarJar 的三种具体类型非遮蔽的(Unshaded)依赖于maven-assembly-plugin。 12345678910111213141516171819<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>CHOOSE LATEST VERSION HERE</version> <configuration> ...