一、模塊劃分

   i) （主體模塊）視頻采集播放

   ii) 顯示模式切換

   iii) 拍照

   iv) 錄像

   v) fps顯示

   vi) 錄像的瀏覽和刪除

回到頂部(go to top)

二、各模塊的實(shí)現(xiàn)

2.1（主體模塊）視頻采集播放

2.1.1 參考資料：

1）主體框架（解碼、讀幀）參考雷霄驊的：100行代碼實(shí)現(xiàn)最簡(jiǎn)單的基于FFMPEG+SDL的視頻播放器（SDL1.x）

      主體框架的流程，可參考雷霄驊的上述博文，這里不再贅述

2）幀的顯示，參考：Android 使用 FFmpeg （二）——視屏流播放簡(jiǎn)單實(shí)現(xiàn)

     幀顯示的流程，大致如下：

2.2 顯示模式切換

實(shí)現(xiàn)思路：利用av_filter的scale和pad功能，對(duì)獲取到的每一個(gè)原始幀進(jìn)行縮放和必要的四邊填充。

主框架體代碼參考FFMPEG filter使用實(shí)例（實(shí)現(xiàn)視頻縮放，裁剪，水印等），這里不再贅述。

至于怎樣實(shí)現(xiàn)兩種顯示模式下的scale參數(shù)（以及pad參數(shù)）的切換， 尚未找到最優(yōu)方法（經(jīng)測(cè)，av_opt_set()只對(duì)draw_text有效（詳見(jiàn)下文：2.5 fps顯示），而對(duì)scale和pad無(wú)效），

目前暫時(shí)采用較笨的辦法：

1）定義兩個(gè)filter_descr模板，以及對(duì)應(yīng)的AVFilterGraph、AVFilterContext

/* 用于保持長(zhǎng)寬比顯示模式 */

const char *m_filter_descr_template = 'scale=%d:%d,pad=%d:%d:%d:%d:blue,drawtext=fontfile=/sdcard/data/FreeSerif.ttf:fontsize=20:text=fps:x=(w-tw-%d):y=%d';

char  m_filter_descr[200];

/* 用于全屏顯示模式 */

const char *m_filter_descr2_template = 'scale=%d:%d,pad=%d:%d:%d:%d:blue,drawtext=fontfile=/sdcard/data/FreeSerif.ttf:fontsize=20:text=fps:x=(w-tw-5):y=5';

char  m_filter_descr2[200];

/* 用于保持長(zhǎng)寬比顯示模式 */

AVFilterContext *m_buffersink_ctx1;

AVFilterContext *m_buffersrc_ctx1;

AVFilterGraph *m_filter_graph1;

/* 用于全屏顯示模式 */

AVFilterContext *m_buffersink_ctx2;

AVFilterContext *m_buffersrc_ctx2;

AVFilterGraph *m_filter_graph2;

2）初始化時(shí)，先調(diào)用keep_img_AR()來(lái)預(yù)先計(jì)算好兩種顯示模式對(duì)應(yīng)的filter_descr的值

int keep_img_AR(int nSrcW ,int nSrcH,int nDstW, int nDstH )

{

    /* 計(jì)算保持寬高比例后上下有黑邊,還是左右有黑邊,黑邊多少 */

    int imgW = 0,imgH = 0;

    int padW = 0,padH = 0;

    //必須規(guī)整為2的倍數(shù)，否則ffmpeg計(jì)算pad時(shí)會(huì)報(bào)錯(cuò)：Input area not within the padded area or zero-sized

    nDstW = nDstW/2*2;

    nDstH = nDstH/2*2;

    imgW = nSrcW*nDstH/nSrcH/2*2;

    imgH = nSrcH*nDstW/nSrcW/2*2;

    if(imgW        padW=(nDstW-imgW)/2;

        imgH = nDstH/2*2;

        //imgW = -1;

    }

    else if(imgH        padH=(nDstH-imgH)/2;

        imgW = nDstW/2*2;

        //imgH = -1;

    }

    sprintf(m_filter_descr, m_filter_descr_template, imgW, imgH, nDstW, nDstH, padW, padH, padW+5, padH+5);

    sprintf(m_filter_descr2, m_filter_descr2_template, nDstW, nDstH, nDstW, nDstH, 0, 0);

    return 1 ;

}

3）然后調(diào)用init_filters()來(lái)初始化m_filter_graph1、m_buffersink_ctx1、m_buffersrc_ctx1和m_filter_graph2、m_buffersink_ctx2、m_buffersrc_ctx2

     init_filters()的代碼參考FFMPEG filter使用實(shí)例（實(shí)現(xiàn)視頻縮放，裁剪，水印等），這里不再贅述

4）而切換播放模式，其實(shí)就是切換（m_filter_graph1、m_buffersink_ctx1、m_buffersrc_ctx1）和（m_filter_graph2、m_buffersink_ctx2、m_buffersrc_ctx2）三元組

/**

 * 播放視頻時(shí)保持長(zhǎng)寬比

 */

void playVideoKeepAspectRatio()

{

    m_play_video_mode = PLAY_VIDEO_KEEP_ASPECT_RATIO;

    m_filter_graph =   m_filter_graph1;

    m_buffersrc_ctx = m_buffersrc_ctx1;

    m_buffersink_ctx = m_buffersink_ctx1;

}

/**

 * 播放視頻時(shí)填滿顯示區(qū)域

 */

void playVideoFullScreen( )

{

    m_play_video_mode = PLAY_VIDEO_FULL_SCREEN;

    m_filter_graph =   m_filter_graph2;

    m_buffersrc_ctx = m_buffersrc_ctx2;

    m_buffersink_ctx = m_buffersink_ctx2;

}

注：關(guān)于顯示模式切換，另一種實(shí)現(xiàn)的辦法是利用sws_scale()和av_picture_pad()，參考：使用ffmpeg的lib庫(kù)實(shí)現(xiàn)視頻窗口 原始寬高比例/拉伸鋪滿

但代碼量較大，而且經(jīng)測(cè)試，發(fā)現(xiàn)有些問(wèn)題，比如：

- 加上av_filter的draw_text后，fps的顯示會(huì)出現(xiàn)小幅度的上下跳動(dòng)，原因待查

- fps的定位較難實(shí)現(xiàn)（因?yàn)橐紤]到pad的寬度）

所以最終沒(méi)有采用這個(gè)辦法（但keep_img_AR()里計(jì)算scale和pad的算法參考了這篇文章）。

2.3 拍照

實(shí)現(xiàn)思路：

1）定義m_pFrameCur代表當(dāng)前獲取到的幀

2）在視頻播放函數(shù)videoStreamStartPlay()的while循環(huán)里，用av_frame_ref(m_pFrameCur, pFrame)使m_pFrameCur指向當(dāng)前獲取到的幀

3）__save_frame_2_jpeg(file_path, m_pFrameCur, m_input_codec_ctx->pix_fmt)實(shí)現(xiàn)把當(dāng)前幀保存到指定的文件中

     代碼參考：ffmpeg實(shí)現(xiàn)mjpeg攝像頭的采集-預(yù)覽-拍照，這里不再贅述

2.4 錄像

參考：如何用FFmpeg API采集攝像頭視頻和麥克風(fēng)音頻，并實(shí)現(xiàn)錄制文件的功能

該文章的demo里，把錄像功能很好的封裝在了一個(gè)類CAVOutputStream里，我基本上原封不動(dòng)的拿來(lái)用于錄像功能的底層實(shí)現(xiàn)。

我所添加的工作，是在視頻播放函數(shù)videoStreamStartPlay()的while循環(huán)里，調(diào)用狀態(tài)機(jī)video_capture_state_machine()，代碼大致如下：

void video_capture_state_machine(AVFrame *pFrame)

{

    switch(m_video_capture_state)

    {

        case VIDEO_CAPTURE_START:

            LOGD('VIDEO_CAPTURE_START');

            m_start_time = av_gettime();

            m_OutputStream.SetVideoCodec(AV_CODEC_ID_H264); //設(shè)置視頻編碼器屬性

            if(true == m_OutputStream.OpenOutputStream(m_save_video_path.c_str()))

                m_video_capture_state = VIDEO_CAPTURE_IN_PROGRESS;

            else

                m_video_capture_state = VIDEO_CAPTURE_IDLE;

            break;

        case VIDEO_CAPTURE_IN_PROGRESS:

            LOGD('VIDEO_CAPTURE_IN_PROGRESS');

            m_OutputStream.write_video_frame(m_input_format_ctx->streams[m_video_stream_index], m_input_format_ctx->streams[m_video_stream_index]->codec->pix_fmt, pFrame, av_gettime() - m_start_time);

            break;

        case VIDEO_CAPTURE_STOP:

            LOGD('VIDEO_CAPTURE_STOP');

            m_OutputStream.CloseOutput();

            m_video_capture_state = VIDEO_CAPTURE_IDLE;

            break;

        default:

            if(m_video_capture_state == VIDEO_CAPTURE_IDLE){

                LOGD('VIDEO_CAPTURE_IDLE');

            }

            else{

                LOGD('m_video_capture_state： %d', m_video_capture_state);

            }

            break;

    }//eo switch(m_video_capture_state)

}

而native層和JAVA層的接口如下：

/* 開(kāi)始錄像 */

void videoStreamStartCapture(const char* file_path)

{

    m_save_video_path = file_path;

    m_video_capture_state = VIDEO_CAPTURE_START;

}

/* 停止錄像 */

void videoStreamStopCapture( )

{

    m_video_capture_state = VIDEO_CAPTURE_STOP;

}

2.5 fps顯示

實(shí)現(xiàn)思路同：2.2 顯示模式切換。

而fps值的動(dòng)態(tài)顯示，是利用av_opt_set(filter_ctx_draw_text->priv, 'text', str_fps, 0 )來(lái)實(shí)現(xiàn)的。

2.6 錄像的瀏覽和刪除

實(shí)現(xiàn)思路：基本上利用了app的原框架，只做了少量改動(dòng)。主要如下：

1） MainActivity.java

      當(dāng)用戶點(diǎn)擊“照片”按鈕后，彈出AlertDialog，提示選擇瀏覽類型，然后根據(jù)用戶的選擇，在startActivity(intent)前，調(diào)用

      intent.putExtra('picturePath', picturePath);

      intent.putExtra('scan_type', ScanPicActivity.SCAN_TYPE_VIDEO);

      或者

      intent.putExtra('picturePath', videoRecordPath);

      intent.putExtra('scan_type', ScanPicActivity.SCAN_TYPE_PIC);

2）ScanPicActivity.java

      - 在init()函數(shù)中，scan_type =  getIntent().getIntExtra('scan_type', SCAN_TYPE_PIC);保存當(dāng)前的瀏覽類型

      - 在每一處涉及“jpeg”字符串的地方，都加入scan_type判斷。代碼從略，詳見(jiàn)項(xiàng)目源代碼

3）Generic.java

      仿照getShrinkedPic()，添加函數(shù)getShrinkedPicFromVideo()，核心是ThumbnailUtils.createVideoThumbnail()。代碼從略，詳見(jiàn)項(xiàng)目源代碼

回到頂部(go to top)

參考資料：

1）韋東山嵌入式linux培訓(xùn)3期項(xiàng)目實(shí)戰(zhàn)之usb攝像頭監(jiān)控，手機(jī)App源代碼

2）Android 官方教程：https://developer.android.google.cn/guide/

3）AndroidStudio3.x開(kāi)發(fā)調(diào)試Android-NDK的C++代碼

4）NDK開(kāi)發(fā)筆記---CMake構(gòu)建JNI

5）雷霄驊的博客系列文章：[總結(jié)]FFMPEG視音頻編解碼零基礎(chǔ)學(xué)習(xí)方法

6）Android 使用 FFmpeg （二）——視屏流播放簡(jiǎn)單實(shí)現(xiàn)

7）如何用FFmpeg API采集攝像頭視頻和麥克風(fēng)音頻，并實(shí)現(xiàn)錄制文件的功能

8）ffmpeg實(shí)現(xiàn)mjpeg攝像頭的采集-預(yù)覽-拍照

9）FFMPEG filter使用實(shí)例（實(shí)現(xiàn)視頻縮放，裁剪，水印等）

10）使用ffmpeg的lib庫(kù)實(shí)現(xiàn)視頻窗口 原始寬高比例/拉伸鋪滿

11）ffmpeg實(shí)現(xiàn)動(dòng)態(tài)調(diào)整字幕內(nèi)容

12）Ffmpeg用法總結(jié)（下）

13）在Android logcat中打印FFmpeg調(diào)試信息