记一次由PCI BAR配置不正确引发的硬盘IO调度io_schedule阻塞的经历

五一前,接到一个bug,大意是说设备接固态硬盘时跑新内核会出现卡死导致WDT复位,使用旧内核没问题。新内核是去年年底别人编译的,旧内核是3年前现在已离职2年的人编译的,现在安排我解决这个问题。但其时正在进行其他部门的紧急测试任务,于是请求节后解决。我最近的计划是学习以太网驱动,而五一没什么计划就去看了,本来想研究SCSI的,但先等查问题后再说吧。

一、问题定位

从信息分析,内核启动后在打印下面语句卡住了。

1
2
SCSI device sda: drive cache: write back
sda:

我一直以为sda: sda1 sda2这种信息连着在一个函数里打印的,结果不是。跟踪代码后,发现SCSI太庞大了,一步一步跟踪。这个过程有点了解硬盘的驱动流程的东西。之后定位到check_partition函数有sda,然后卡死,缩小范围。该函数调用ldm_validate_privheads和msdos_partition,一开始以为是不支持ldm,直接使用msdos_partition,不过还是卡死。之后定位到read_cache_page,再定位到lock_page函数,该函数顾名思义,就是锁页,我将page的flags打印出现对比宏定义,发现是PG_locked。我甚至以为在此之前已经锁住了,所以一直在等待释放。但却不是。最终确认在io_schedule函数阻塞了。由此判断,内核读硬盘分区出现了问题。

二、问题解决

经本人掐指一算,并请教西池侠客,最终将bug成功指向PCI bar寄存器配置。不要问为什么,我能从VLC播放设备RTSP视频卡顿算到以太网暂停帧,也能从SCSI的IO调度阻塞算到PCI配置问题。

三、额外学习

1、sd初始化

1
2
3
4
5
6
7
8
9
10
11
12
sd_probe
--> sd_revalidate_disk
--> sd_read_capacity // 读硬盘大小
--> sd_read_cache_type // 打印SCSI device sda: drive cache: write back
--> add_disk
--> register_disk
--> blk_register_queue
--> 打印Attached scsi disk sda at scsi0, channel 0, id 0, lun 0
printk(KERN_NOTICE "Attached scsi %sdisk %s at scsi%d, channel %d, "
"id %d, lun %d\n", sdp->removable ? "removable " : "",
gd->disk_name, sdp->host->host_no, sdp->channel,
sdp->id, sdp->lun);

2、打印磁盘

1
2
3
4
5
6
7
register_disk
--> blkdev_get
-> do_open
-> rescan_partitions
->调用fops->revalidate_disk
-> check_partition
-> 打印硬盘(sda) printk(KERN_INFO " %s:", state->name);

进入分区调用,msdos_partition,该函数调用put_partition打印sda1、sda2等。

3、打印磁盘设备型号

1
2
3
4
5
6
7
scsi_probe_and_add_lun
--\scsi_probe_lun
-->scsi_add_lun
--\print_inquiry
// print_inquiry 打印:
Vendor: ATA Model: XXXXXX Rev: XXXX
Type: Direct-Access ANSI SCSI revision: 05

4、io_schedule跟踪

1
2
3
4
5
6
7
8
9
10
11
12
13
read_cache_page
- __read_cache_page // ok
- mark_page_accessed // ok
- lock_page // time out
--> __lock_page
--> __wait_on_bit_lock && sync_page

sync_page
->io_schedule
-> atomic_inc
-> schedule
--> schedule(调用__schedule) 此处阻塞
-> atomic_dec

套用最近发生的事件的话:我在内核方面还需要多加改进。
PS: 在解决过程中,一如既往地花很多时间找设备、串口接口(同时还要进行其它事务),向公司层面请求概要设计等资料,最终还是没得到,因为年隔多年,已然不在。

李迟,2015.5.8 周五 中午