9.1 简介
三类连接：
• 合并连接：向数据框中加入新变量，新变量的值是另一个数据框中的匹配观测。
• 筛选连接：根据是否匹配另一个数据框中的观测，筛选数据框中的观测。
• 集合操作：将观测作为集合元素来处理。
library(tidyverse)
library(nycflights13) #包括的数据：
#airlines：可以根据航空公司的缩写码查到公司全名。
#airports：给出了每个机场的信息，通过 faa 机场编码进行标识。
#planes：给出了每架飞机的信息，通过 tailnum 进行标识。
#weather：给出了纽约机场每小时的天气状况。
9.3 键
用于连接每对数据表的变量称为键。键是能唯一标识观测的变量（或变量集合）。
• 主键：唯一标识其所在数据表中的观测。例如， planestailnum 是一个外键，因为其
出现在 flights 表中，并可以将每次航班与唯一一架飞机匹配。
# 对主键进行 count() 操作，然后查看是否有 n 大于 1 的记录，即查看是否唯一值
planes %>%
count(tailnum) %>%
filter(n > 1)
weather %>%
count(year, month, day, hour, origin) %>%
filter(n > 1)
#flights 表中的主键是什么？
flights %>%
count(year, month, day, flight) %>%
filter(n > 1)
flights %>%
count(year, month, day, tailnum) %>%
filter(n > 1)
如果一张表没有主键，有时就需要使用 mutate() 函数和 row_number() 函数为表加上一个主键。这样一来，
如果你完成了一些筛选工作，并想要使用原始数据检查的话，就可以更容易地匹配观测。
这种主键称为代理键。
练习
(1) 向 flights 添加一个代理键
flights %>%
arrange(year, month, day, sched_dep_time, carrier, flight) %>%
mutate(flight_id = row_number()) %>%
glimpse()
9.4 合并连接
# 建立简化数据集
flights2 <- flights %>%
select(year:day, hour, origin, dest, tailnum, carrier)
flights2
head(airlines)
flights2 %>%
select(-origin, -dest) %>%
left_join(airlines,by='carrier')
9.4.2 内连接
x %>%
inner_join(y, by = "key")
9.4.3 外连接
内连接保留同时存在于两个表中的观测， 外连接则保留至少存在于一个表中的观测。外连
接有 3 种类型。
• 左连接：保留 x 中的所有观测。
• 右连接：保留 y 中的所有观测
• 全连接：保留 x 和 y 中的所有观测。
最常用的连接是左连接：只要想从另一张表中添加数据，就可以使用左连接，因为它会保
留原表中的所有观测，即使它没有匹配。左连接应该是你的默认选择，除非有足够充分的
理由选择其他的连接方式。
9.4.4 重复键
# 当连接这样的重复键时，你会得到所有可能的组合
x <- tribble(
~key, ~val_x,
1, "x1",
2, "x2",
2, "x3",
1, "x4"
)
y <- tribble(
~key, ~val_y,
1, "y1",
2, "y2"
)
left_join(x, y, by = "key")
9.4.5 定义键列
默认值 by = NULL。这会使用存在于两个表中的所有变量，即共同的变量，这种方式称为自然连接。
head(flights2)
head(weather)
flights2 %>%
left_join(weather)
字符向量 by = "x"。这种方式与自然连接很相似，但只使用某些公共变量。
flights2 %>%
left_join(planes, by = "tailnum")
命名字符向量 by = c("a" = "b")。这种方式会匹配 x 表中的 a 变量和 y 表中的 b 变量。输出结果中使用的是 x 表中的变量。
head(flights2)
head(airports)
flights2 %>%
left_join(airports, c("dest" = "faa")) %>% glimpse()
flights2 %>%
left_join(airports, c("origin" = "faa")) %>% glimpse()
9.4.6 练习
(1) 计算出每个目的地的平均延误时间，然后与 airports 数据框连接，从而展示出延误的
空间分布。以下是画出美国地图的一种简单方法。
airports %>%
semi_join(flights, c("faa" = "dest")) %>%
ggplot(aes(lon, lat)) +
borders("state") +
geom_point() +
coord_quickmap()
avg_dest_delays <-
flights %>%
group_by(dest) %>%
# arrival delay NA's are cancelled flights
summarise(delay = mean(arr_delay, na.rm = TRUE)) %>%
inner_join(airports, by = c(dest = "faa"))
avg_dest_delays %>%
ggplot(aes(lon, lat, colour = delay)) +
borders("state") +
geom_point() +
coord_quickmap()
(2)将起点机场和终点机场的位置信息（即 lat 和 lon）添加到 flights 中。
airport_locations <- airports %>% select(faa,lat,lon)
str(flights)
flights %>% select(year:day, hour, origin, dest) %>% left_join(airport_location,by=c("origin" = "faa")) %>% left_join(
airport_locations,
by = c("dest" = "faa")
)
(3)飞机的机龄和延误时间有关系吗？
str(planes)
plane_ages <-
planes %>%
mutate(age = 2018 - year) %>%
select(tailnum, age)
flights %>%
inner_join(plane_ages, by = "tailnum") %>%
group_by(age) %>%
filter(!is.na(dep_delay)) %>%
summarise(delay = mean(dep_delay)) %>%
ggplot(aes(x = age, y = delay)) +
geom_point() +
geom_line()
(4)什么样的天气状况更容易出现延误？
str(weather)
flight_weather <-
flights %>%
inner_join(weather, by = c("origin" = "origin",
"year" = "year",
"month" = "month",
"day" = "day",
"hour" = "hour"))
flight_weather %>%
group_by(precip) %>%
summarise(delay = mean(dep_delay, na.rm = TRUE)) %>%
ggplot(aes(x = precip, y = delay)) +
geom_line() + geom_point()
(5) 2013 年 6 月 13 日发生了什么情况？展示出这天延误时间的空间模式，并使用 Google 说
明一下这天的天气状况。
library(viridis)
flights %>%
filter(year == 2013, month == 6, day == 13) %>%
group_by(dest) %>%
summarise(delay = mean(arr_delay, na.rm = TRUE)) %>%
inner_join(airports, by = c("dest" = "faa")) %>%
ggplot(aes(y = lat, x = lon, size = delay, colour = delay)) +
borders("state") +
geom_point() +
coord_quickmap() +
scale_colour_viridis()
base::merge() 函数可以实现所有 4 种合并连接操作。
inner_join(x, y) merge(x, y)
left_join(x, y) merge(x, y, all.x = TRUE)
right_join(x, y) merge(x, y, all.y = TRUE)
full_join(x, y) merge(x, y, all.x = TRUE, all.y = TRUE)
9.5 筛选连接
• semi_join(x, y)： 保留 x 表中与 y 表中的观测相匹配的所有观测。
• anti_join(x, y)： 丢弃 x 表中与 y 表中的观测相匹配的所有观测。
top_dest <- flights %>%
count(dest, sort = TRUE) %>%
head(10)
top_dest
# 筛选出前10个
flights %>%
filter(dest %in% top_dest$dest)
# 半连接，只保留两个数据框都有的行的数据
flights %>%
semi_join(top_dest)
# 反连接保留 x 表中那些没有匹配 y 表的行。
# 反连接可以用于诊断连接中的不匹配。例如，在连接 flights 和 planes 时，你可能想知道flights 中是否有很多行在 planes 中没有匹配记录：
flights %>%
anti_join(planes, by = "tailnum") %>%
count(tailnum, sort = TRUE)
练习
(1) 如果一条航班信息的 tailnum 是缺失值，这说明什么？如果机尾编号在 planes 中没有
匹配的记录，一般是什么情况？（提示：有一个变量可以解释约 90% 的这种情况。）
flights %>%
anti_join(planes, by = "tailnum") %>%
count(carrier, sort = TRUE)
(2) 对航班信息进行筛选，只保留至少有 100 次飞行记录的飞机的航班信息。
planes_gt100 <-
filter(flights) %>%
group_by(tailnum) %>%
count() %>%
filter(n > 100)
flights %>%
semi_join(planes_gt100, by = "tailnum")
(3) 使用 fueleconomy::vehicles 和 fueleconomy::common 找出那些用于最常用模型的记录。
glimpse(fueleconomy::vehicles)
glimpse(fueleconomy::common)
fueleconomy::vehicles %>%
semi_join(fueleconomy::common, by = c("make", "model"))
(4) 找出这一整年中航班延误最严重的 48 小时。与 weather 数据互相参照，你能找出某种
模式吗？
flights %>%
group_by(year, month, day) %>%
summarise(total_24 = sum(dep_delay, na.rm = TRUE) + sum(arr_delay, na.rm = TRUE)) %>%
mutate(total_48 = total_24 + lag(total_24)) %>%
arrange(desc(total_48))
(5) 你能说出 anti_join(flights, airports, by = c("dest" = "faa")) 这条语句的意义吗？
anti_join(airports, flights, by = c("faa" = "dest")) 这条语句的意义呢？
(6) 或许你认为飞机和航空公司之间存在着某种隐含关系，因为每架飞机都属于一个航空公
司。使用你在前面章节中学到的工具来确认或否定这个假设。
str(flights)
multi_carrier_planes <-
flights %>%
filter(!is.na(tailnum)) %>%
count(tailnum, carrier) %>%
count(tailnum) %>%
filter(nn > 1)
multi_carrier_planes
multi_carrier_planes <-
flights %>%
semi_join(multi_carrier_planes, by = "tailnum") %>%
select(tailnum, carrier) %>%
distinct() %>%
arrange(tailnum)
multi_carrier_planes
carrier_transfer_tbl <-
multi_carrier_planes %>%
group_by(tailnum) %>%
mutate(
carrier_num = seq_along(tailnum),
carrier_num = paste0("carrier_", carrier_num)
) %>%
left_join(airlines, by = "carrier") %>%
select(-carrier) %>%
spread(carrier_num, name)
carrier_transfer_tbl
9.7 集合操作
所有集合操作都是作用于整行的，比较的是每个变量的值。集合操作需要 x 和 y 具有相同的变量，并将观测按照集合来处理。
intersect(x, y)
返回既在 x 表，又在 y 表中的观测。
union(x, y)
返回 x 表或 y 表中的唯一观测。
setdiff(x, y)
返回在 x 表，但不在 y 表中的观测。
df1 <- tribble(
~x, ~y,
1, 1,
2, 1
)
df2 <- tribble(
~x, ~y,
1, 1,
1, 2
)
df1
df2
intersect(df1,df2)
union(df1,df2)
setdiff(df1,df2)
