教你使用JavaCV搭建一个属于自己的局域网直播系统

演示一下

由于是局域网直播系统，那么最简单的情况应该也有两部分构成：录制直播和播放直播。

• 录制直播
  录制直播使用的是本机的摄像头和麦克风，使用Java自带的JFrame窗口播放，支持音视频的录制。效果如下图：
  
• 播放直播
  播放器这边选择的是由htm+js+css编写的，支持输入播放网址，点击播放按钮播放。大家都知道html页面只要浏览器就可以打开，所以只要在局域网内打开这个播放器输入网址就可以看主机的直播了。效果如下图：
  

原理说明

这里我会给大家简单介绍一下我在局域网直播系统中使用到的关键技术，让大家对该系统有一个初步的认识。
使用的技术或协议

Java、JavaCV、maven、Nginx、rtmp、hls、html等

一、JavaCV简介

javacv开发包是用于支持java多媒体开发的一套开发包，可以适用于本地多媒体（音视频）调用以及音视频，图片等文件后期操作（图片修改，音视频解码剪辑等等功能）。核心组件有四个帧抓取器(FrameGrabber)、帧录制器/推流器(FrameRecorder)、过滤器(FrameFilter)、帧(Frame)。我这里主要是应用，想看原理请参考：JavaCV原理

二、RTMP协议

RTMP(Real Time Messaging Protocol)实时消息传送协议是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输 开发的开放协议，也是一种流媒体协议，默认使用端口1935。简单来说，就是可以将抓取的音频流按照这个协议推送出去，是直播系统很常见的一个协议

下面常用流协议对应的文件类型以及这写文件类型可封装的音视频编码。

三、Nginx推流服务器

Nginx服务器大家应该也不陌生，它有一个名为nginx-rtmp-module的开源模块。nginx-rtmp-module不仅可以使 Nginx 可以支持 RTMP，用于音视频的点播、直播，而且还可以将RTMP协议变为HLS协议，也就是常见的m3u8文件流。这里我使用Nginx 加上 nginx-rtmp-module 模块作为 RTMP 服务端，FrameGrabber抓取的音视频数据将会推送到Nginx推流服务器中进行转发。

四、Maven项目构建工具

这个不必多说，主要用于构建开发环境，因为JavaCV的包比较大，单独下载jar包很容易漏。

五、前端播放器

这个播放器是我从github上down下来的，既简洁又好看，下载地址在下文中会有。

准备阶段

前面简单介绍了一下核心技术，这里我会介绍整个局域网直播系统的环境如何搭建。

一、JDK版本以及操作系统

二、搭建Nginx服务器

1、下载Nginx包

下载地址（选择后缀为Gryphon）：官网地址

2、下载nginx-rtmp-module

下载地址：代码地址

3、解压文件

解压nginx压缩包，将nginx-rtmp-module放到Nginx文件夹中。

三、修改nginx.conf

将nginx-win.conf文件拷贝出来，改名为nginx.conf，将下面的配置覆盖

#user  nobody;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}



http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    server {
        listen       8080;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }

        # 由于使用hls播放，需要在http中添加支持
        location /live {
                types {
                   application/vnd.apple.mpegusr m3u8;
                   video/mp2t ts;
                }
                # 这里的地址要和下面rtmp中配置的一致，否则访问地址时会出现404
                alias D://javacv/flie/hls;
                add_header Cache-Control no-cache;
                # 跨域处理，否则下发播放器时会打不开
                add_header Access-Control-Allow-Origin *;
                add_header Access-Control-Allow-Headers "Origin, X-Requested-With,  Content-Type, Accept";
                add_header Access-Control-Methods "GET, POST, OPTIONS";

        }        

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ .php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ .php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /.ht {
        #    deny  all;
        #}
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}
    include servers/*;
}

#在http节点下面(也就是文件的尾部)加上rtmp配置：
rtmp{
   server {
     listen 1935;
     application myapp{
        live on;
        record off;
        allow play all;
     }
     application live{
        live on;
        hls on;
        # 这里的地址是存放ts文件的，不会默认创建，需要预先创建好
        hls_path D://javacv/flie/hls;
        hls_fragment 5s;
        hls_playlist_length 15s;
        record off;
     }
   }
}

项目代码

后端代码

pom.xml

    4.0.0

    com.wzhi.java_live_broadcast
    java-live-broadcast
    1.0-SNAPSHOT
    自建局域网直播系统
    
        
            
                org.apache.maven.plugins
                maven-compiler-plugin
                
                    1.6
                    1.6
                
            
        
    

    
        
            org.bytedeco
            javacv-platform
            1.4.4
        
    

启动类

package com.wzhi.live;

import org.bytedeco.javacpp.avcodec;
import org.bytedeco.javacv.*;

import javax.sound.sampled.*;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.ShortBuffer;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

public class Application {
    public static void main(String[] args) throws FrameGrabber.Exception {
        //准备推流
        recordWebcamAndMicrophone(0,4,"rtmp://xxx.xxx.xxx.xxx:1935/live/test",1000,500,35);
    }
    /**
     * 推送/录制本机的音/视频(Webcam/Microphone)到流媒体服务器(Stream media server)
     *
     * @param WEBCAM_DEVICE_INDEX
     *            - 视频设备，本机默认是0
     * @param AUDIO_DEVICE_INDEX
     *            - 音频设备，本机默认是4
     * @param outputFile
     *            - 输出文件/地址(可以是本地文件，也可以是流媒体服务器地址)
     * @param captureWidth
     *            - 摄像头宽
     * @param captureHeight
     *            - 摄像头高
     * @param FRAME_RATE
     *            - 视频帧率:最低 25(即每秒25张图片,低于25就会出现闪屏)
     * @throws org.bytedeco.javacv.FrameGrabber.Exception
     */
    public static void recordWebcamAndMicrophone(int WEBCAM_DEVICE_INDEX, final int AUDIO_DEVICE_INDEX, String outputFile,
                                                 int captureWidth, int captureHeight, final int FRAME_RATE) throws org.bytedeco.javacv.FrameGrabber.Exception {
        long startTime = 0;
        long videoTS = 0;
        /**
         * FrameGrabber 类包含：OpenCVFrameGrabber
         * (opencv_videoio),C1394FrameGrabber, FlyCaptureFrameGrabber,
         * OpenKinectFrameGrabber,PS3EyeFrameGrabber,VideoInputFrameGrabber, 和
         * FFmpegFrameGrabber.
         */
        OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(WEBCAM_DEVICE_INDEX);
        grabber.setImageWidth(captureWidth);
        grabber.setImageHeight(captureHeight);
        System.out.println("开始抓取摄像头...");
        int isTrue = 0;// 摄像头开启状态
        try {
            grabber.start();
            isTrue += 1;
        } catch (org.bytedeco.javacv.FrameGrabber.Exception e2) {
            if (grabber != null) {
                try {
                    grabber.restart();
                    isTrue += 1;
                } catch (org.bytedeco.javacv.FrameGrabber.Exception e) {
                    isTrue -= 1;
                    try {
                        grabber.stop();
                    } catch (org.bytedeco.javacv.FrameGrabber.Exception e1) {
                        isTrue -= 1;
                    }
                }
            }
        }
        if (isTrue < 0) {
            System.err.println("摄像头首次开启失败，尝试重启也失败！");
            return;
        } else if (isTrue  recorder.getTimestamp()) {
                //告诉录制器写入这个timestamp
                recorder.setTimestamp(videoTS);
            }
            // 发送帧
            try {
                recorder.record(capturedFrame);
            } catch (org.bytedeco.javacv.FrameRecorder.Exception e) {
                System.out.println("录制帧发生异常，什么都不做");
            }
        }

        cFrame.dispose();
        try {
            if (recorder != null) {
                recorder.stop();
            }
        } catch (org.bytedeco.javacv.FrameRecorder.Exception e) {
            System.out.println("关闭录制器失败");
            try {
                if (recorder != null) {
                    grabber.stop();
                }
            } catch (org.bytedeco.javacv.FrameGrabber.Exception e1) {
                System.out.println("关闭摄像头失败");
                return;
            }
        }
        try {
            if (recorder != null) {
                grabber.stop();
            }
        } catch (org.bytedeco.javacv.FrameGrabber.Exception e) {
            System.out.println("关闭摄像头失败");
        }
    }
}

下载地址和播流地址

前端代码

下载地址：GitHub项目地址

播流地址1：rtmp协议

rtmp://xxx.xxx.xxx.xxx:1935/live/test

播流地址2：hls协议

xxx.xxx.xxx.xxx:8080/live/test.m…

常见问题

1、录制的只有视频没有声音

有些机器的采样率、采样率位数、通道都不太一样，如果设置的不对，就可能没有声音，这里我教大家如何找到系统麦克风的参数。
Win10：控制面板—>声音—>录制—>麦克风—>属性—>高级

Mac：关于本机—>系统报告—>音频—>麦克风

2、Java启动出现Exception in thread "main" java.lang.UnsatisfiedLinkError: no jniopenblas_nolapack in java.library.path

检查一下javacv的版本，我使用的是javacv-platform：1.4.4。开始以为是系统或者jdk版本的问题，后来发现不是这样的，大概率是因为导入的版本依赖问题。

3、访问播放地址出现404

首先看一下ts文件有没有产生

如果没有ts文件的话，一般是推流问题，说明Java代码中推流的地址不对，或者nginx没有正常启动；
如果有ts文件的话，一般是配置问题，看一下nginx.conf配置文件，两个alias对应的目录位置是不是同一个。

我在代码中都有详细的注释，出现问题可以先仔细看看代码，看看是不是没注意到。 最后，希望尝试的同学可以一次成功！