image.png
上篇文章 人脸框检测 已经介绍了我们如果从视频流中检测出人脸位置的信息，基于这些内容，我们继续向下扩展，获取人脸68个关键点的信息，之所以要获得人脸位置的信息正是为了获取关键点做的准备，因为获取关键点的时候会用到人脸的位置
继续看那张图
image.png
- 这就是我们需要拿到的东西，今天我们要做的就是通过Dlib 检测出68个 人脸关键点，然后将这68个关键点绘制到视频流中
废话不多说 还是首先看下效果如何
IMB_OYsUxV.GIF
蜗壳还是很帅的哦！
Dlib 介绍
Dlib是一个包含机器学习算法的C++开源工具包。Dlib可以帮助您创建很多复杂的机器学习方面的软件来帮助解决实际问题。目前Dlib已经被广泛的用在行业和学术领域,包括机器人,嵌入式设备,移动电话和大型高性能计算环境 (这个是copy 的)
Dlib 的集成
Dlib包含一个.a 和一个头文件的文件夹，我们可以在google 里搜索下载一个，或者通过cmake 来自己交叉编译一个,再或者用我的Dlib及模型 ( 密码: i9cm)
(一)将Dlib放入你的工程
将我整理好的库及模型下载后你会看到是这样的
image.png
那么你直接拖到你工程中
需要注意的
image.png
我们拖进来以后那个dlib 的文件夹不能在工程里，一定要remove 掉，否则build 不起来，这里坑了很久，但记住不是 move to trash
image.png
就是这样
(二)配置工程
(1).build setting
搜索 preprocessor macros
添加宏
- DLIB_JPEG_SUPPORT
- DLIB_NO_GUI_SUPPORT
- NDEBUG
- DDLIB_USE_BLAS
- DLIB_USE_LAPACK
image.png
(2). header search path
拖一下你的目录进去就行了
image.png
(3).依赖库
Acceletrate.framework
AssetsLibrary.framework
image.png
其他几个是opencv 用到的，不知道的同学看下上篇 人脸框检测
(三)写代码了
这里需要注意的是，不要同时导入dlib 的头文件 和 opencv 的头文件，因为里面又一些宏定义 还是方法来着 会冲突，这里我们用单独的类来检测人脸的关键点
(1).新建一个FaceDlibWrapper类 将.m改成.mm 重写init 方法
#import <dlib/image_processing.h>
#import <dlib/image_io.h>
- (instancetype)init
{
self = [super init];
if (self) {
//初始化 检测器
NSString *modelFileName = [[NSBundle mainBundle] pathForResource:@"shape_predictor_68_face_landmarks" ofType:@"dat"];
std::string modelFileNameCString = [modelFileName UTF8String];
dlib::deserialize(modelFileNameCString) >> sp;
}
return self;
}
(2).检测方法
//之所以 return 的数组 看起来比较啰嗦 但是是为了让你们看清，也可以不这么写
- (NSArray <NSArray <NSValue *> *>*)detecitonOnSampleBuffer:(CMSampleBufferRef)sampleBuffer inRects:(NSArray<NSValue *> *)rects {
dlib::array2d<dlib::bgr_pixel> img;
dlib::array2d<dlib::bgr_pixel> img_gray;
// MARK: magic
CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
CVPixelBufferLockBaseAddress(imageBuffer, kCVPixelBufferLock_ReadOnly);
size_t width = CVPixelBufferGetWidth(imageBuffer);
size_t height = CVPixelBufferGetHeight(imageBuffer);
char *baseBuffer = (char *)CVPixelBufferGetBaseAddress(imageBuffer);
// set_size expects rows, cols format
img.set_size(height, width);
// copy samplebuffer image data into dlib image format
img.reset();
long position = 0;
while (img.move_next()) {
dlib::bgr_pixel& pixel = img.element();
// assuming bgra format here
long bufferLocation = position * 4; //(row * width + column) * 4;
char b = baseBuffer[bufferLocation];
char g = baseBuffer[bufferLocation + 1];
char r = baseBuffer[bufferLocation + 2];
// we do not need this
// char a = baseBuffer[bufferLocation + 3];
dlib::bgr_pixel newpixel(b, g, r);
pixel = newpixel;
position++;
}
// unlock buffer again until we need it again
CVPixelBufferUnlockBaseAddress(imageBuffer, kCVPixelBufferLock_ReadOnly);
// convert the face bounds list to dlib format
std::vector<dlib::rectangle> convertedRectangles = [self convertCGRectValueArray:rects];
dlib::assign_image(img_gray, img);
NSMutableArray *facesLandmarks = [NSMutableArray arrayWithCapacity:0];
for (unsigned long j = 0; j < convertedRectangles.size(); ++j)
{
dlib::rectangle oneFaceRect = convertedRectangles[j];
// detect all landmarks
dlib::full_object_detection shape = sp(img, oneFaceRect);
//shape 里面就是我们所需要的68 个点 因为dilb 跟 opencv 冲突 所以我们转换成Foundation 的 Array
NSMutableArray *landmarks = [NSMutableArray arrayWithCapacity:0];
for (int i = 0; i < shape.num_parts(); i++) {
dlib::point p = shape.part(i);
[landmarks addObject:[NSValue valueWithCGPoint:CGPointMake(p.x(), p.y())]];
}
[facesLandmarks addObject:landmarks];
}
return facesLandmarks;
}
- (std::vector<dlib::rectangle>)convertCGRectValueArray:(NSArray<NSValue *> *)rects {
std::vector<dlib::rectangle> myConvertedRects;
for (NSValue *rectValue in rects) {
CGRect rect = [rectValue CGRectValue];
long left = rect.origin.x;
long top = rect.origin.y;
long right = left + rect.size.width;
long bottom = top + rect.size.height;
dlib::rectangle dlibRect(left, top, right, bottom);
myConvertedRects.push_back(dlibRect);
}
return myConvertedRects;
}
(3).获取关键点，并绘制在流中
继续上篇文章，在绘制人脸框的位置，我们一起将68个关键点绘制出来
#pragma mark - AVCaptureSession Delegate -
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
NSMutableArray *bounds = [NSMutableArray arrayWithCapacity:0];
for (AVMetadataFaceObject *faceobject in self.currentMetadata) {
AVMetadataObject *face = [output transformedMetadataObjectForMetadataObject:faceobject connection:connection];
[bounds addObject:[NSValue valueWithCGRect:face.bounds]];
}
UIImage *image = [self imageFromPixelBuffer:sampleBuffer];
cv::Mat mat;
UIImageToMat(image, mat);
//获取关键点，将脸部信息的数组 和 相机流 传进去
NSArray *facesLandmarks = [_dr detecitonOnSampleBuffer:sampleBuffer inRects:bounds];
// 绘制68 个关键点
for (NSArray *landmarks in facesLandmarks) {
for (NSValue *point in landmarks) {
CGPoint p = [point CGPointValue];
cv::rectangle(mat, cv::Rect(p.x,p.y,4,4), cv::Scalar(255,0,0,255),-1);
}
}
for (NSValue *rect in bounds) {
CGRect r = [rect CGRectValue];
//画框
cv::rectangle(mat, cv::Rect(r.origin.x,r.origin.y,r.size.width,r.size.height), cv::Scalar(255,0,0,255));
}
//这里不考虑性能 直接怼Image
dispatch_async(dispatch_get_main_queue(), ^{
self.cameraView.image = MatToUIImage(mat);
});
}
好多人问sp 是啥
@implementation FaceDlibWrapper {
dlib::shape_predictor sp;
}
终于传上去了 觉得不错别忘记Star-demoGitHub
opencv2 3.0.0 https://pan.baidu.com/s/175Rv7Qhggtw3qo5J6Sd04w 提取码: fdyf
好多人集成都有问题, 我一般提倡试着去解决问题, 百度不行就Google喽 ,都挺好的, 给你们个完整的项目吧, 打开就能跑起来 没传Github 太大.
链接: https://pan.baidu.com/s/13PL_cmJ568DPz9jutCGkRg 提取码: tnmm
