Revisiting H.264 Parser

Here is a visual studio project for the previous post.
This is not final version, but you can test it. The zip file contains source files and  a sample clip.
if you have a question, leave a comment.

Complier: Visual studio 2010 Lang.: C++(H.264) with CLR(GUI) Current status: Navigate, PES View, TS View, ES View(just NAL) Do not use for commercial purpose.

Review of "A General Service Oriented Approach for Managing Virtual Machines Allocation"

Title: A General Service Oriented Approach for Managing Virtual Machines Allocation
Published: ACM Symposium on Applied Computing

Coming soon!

Heading for Android

Now, I'm heading for the world of Android.

What is Android?

Android is a software stack for mobile devices that includes an operating system, middleware and key applications. The Android SDK provides the tools and APIs necessary to begin developing applications on the Android platform using the Java programming language.

Here is a brief overview of Android.

The above diagram shows the major components of the Android operating system.

Each section is described in more detail below.

Review of "Virtual Machine resource management for HPC applications"

Paper summary & critics

Title: Virtual machine resource management for high performance computing applications (IEEE Xplorer)
Published: IEEE international symposium on PDPA 2009

Motivation
지금까지 VM 시스템에서 HPC 프로그램을 수행할 때, 정적인 할당 방식으로 VM 을 실행하였다.  이런 방식은 응용 프로그램의 자원 요청에 큰 변화가 없을 경우, 시스템 자원을 잘 사용할 수 있지만 응용 프로그램의 자원 요청이 동적이고 가변 적일 경우 VM의 guest 시스템에서는 때로는 자원의 부족 현상이, 때로는 자원의 낭비가 일어 날 수 있다.

Previous works

• Cellular DISCO: VM은 VCPU로 추상화 하여 CPU 자원을 사용하고, VCPU와 CPU 사이에 부하에 따른 동적 할당 방식으로 효과적인 부하 분산 시스템을 보이는 시스템이다. 다중 프로세서 환경에서 뛰어난 부하 분산 능력을 보여주지만 guest 시스템의 자원 설정은 실행 초기에 결정되고 고정적이다.
• Friendly Virtual Machine: VM의 virtual clock time을 response time처럼 이용하여 FVM을 TCP의 congestion control 방식처럼 운영한다. VCT가 커지면 reource 요구량이 큰 것으로 보고 그렇지 않은 경우는 낮은 것으로 간주한다. 이 시스템은 요구사항이 낮은 것은 suspend 방식으로 자원 낭비를 막지만 요구량이 큰 것에 대해서는 대처 방법이 없기 때문에 HPC로는 적합하지 않다.
• Automatic Virtualized Environments: VM에서 수행되는 응용 프로그램들의 각각의 response time을 이용하여 VMM에서 VM들의 최적의 스케줄링 구성을 계산하고 이에 따라 VM들에 CPU 자원을 할당한다. 각각의 response time에 따라 모든 자원 할당 구성을 생성하고 이 중에 최적을 찾는 알고리즘을 모든 상황에서 계산 되기 때문에 이것 자체가 매우 자원 소모가 심하기에 실생활에 사용되기는 어렵다.

Solution
VM의 guest OS에 resource monitoring(/proc 시스템 디렉토리를 참조함)을 구축하고 이를 VMM에서 실시간으로 정보를 수집한다. 그리고 guest 시스템의 CPU자원을 virtual CPU로 추상화(Cellular DISCO 방식)  한다. VMM에서는 VM의 resource 모니터링 결과에 따라 VCPU를 추가 혹은 감소 시킨다. Host machine에서는 프로세스(VM) 스케줄링 때 VCPU들을 실제의 CPU에 연결 시켜서 실행을 시켜 주게 시스템(XEN)을 구축한다.  이렇게 한 후, VM을 시스템으로, resource monitoring 결과를 feedback으로 보고 feedback-control loop를 운영하게 한다.

Contribution
이렇게 함으로써 guest 시스템에서 수행하는 HPC 응용 프로그램이 보다 많은 자원을 요구하게 되면 guest 시스템에서 reource monitoring 시스템이 이를 감지하고 상태를 VMM에게 보고를 한다. VMM에서는 이 정보에 따라 해당 guest 시스템에 동적으로 VCPU를 추가하게 된다. 추가된 VCPU는 실제 CPU에 연결되어 수행되게 됨으로써 해당 guest 시스템은 실행중에서도 동적으로 보다 많은 자원을 확보하게 된다.
결과적으로 자원 요구가 적을 경우, VCPU를 줄여 자원 낭비를 막고, 클 경우 VCPU를 늘려 자원을 효율적으로 사용한다. 그리고 이러한 조정을 guest os가 실행 중에 동적으로 하게끔 구현한 것이 특징이다.

From QoS to QoE...

질문: 사용자가 A%만큼 패킷을 적절히 받았을 경우, 과연 사용자는 A%만큼 비디오를 봤다고 할 수 있는가?
현재까지는 서비스 공급자들은 이러한 가정으로 서비스를 제공하고 있으며 또한 이를 바탕으로 과금을 하고 있다.
즉, 사용자가 받은 만큼 데이터 요금을 부과하는 것이다.
하지만, 다음과 같은 경우를 생각해 보자.
하나의 프레임은 10개의 패킷으로 구성되었다고 할때, 하필 사용자는 첫번째 패킷을 못받고 나머지 9개를 받았다.
이런 경우 공급자는 9개 전송된 패킷에 대해서 과금을 한다. 그러나 사용자는 9개 패킷에 해당되는 비디오를 봤을까?
잘 알다 시피 비디오는 첫번째 패킷을 못 받으면 나머지는 무용지물이다. 즉, 사용자는 그림 한 조각도 못 본 것이다.
이렇기 때문에 우리는 멀티미디어 서비스에서 QoS 뿐만 아니라 QoE도 고려해야 한다.
그렇다면 어떻게?

Require: H.264 decoder, client/server streaming model, client feedback for packet loss.

International papers

1. Efficient Post-Video Processing for Thin Display Devices
   Jin-Hwan Jeong and Hag-Young Kim, "Efficient Post-Video Processing for Thin Display Devices," in International Conference on Consumer Electronics 2010, Jan. 2010
2. Cable-TV-Based Home Video Streaming System: Practice and Experience
   Jin-Hwan Jeong, Yong-Ju Lee, Song-Woo Sok, Hag-Young Kim and Yoo-Hyun Park, "Cable-TV-Based Home Video Streaming System: Practice and Experience," in IEEE Network, vol. 23, no. 6, November 2009
3. An Efficient Management and Automatic Failover on a Large-Scale Cluster Monitoring System
   Choon Seo Park, Song-Woo Sok, Jin-Hwan Jeong, Yong-Ju Lee, Chang Soo Kim, Ok-Gee Min, Hag-Young Kim, and Jae Soo Yoo, "An Efficient Management and Automatic Failover on a Large-Scale Cluster Monitoring System," in ICSSSE, Oct. 2009
4. Portable Device-Centric Streaming Service
   Jin-Hwan Jeong, Hag-Young Kim, and Eunah Kim, "Portable Device-Centric Streaming Service," in Future Multimedia Networking, pp. 224-229, June 2009
5. Hint File-Based Implementation of Contents Navigation Methods for Set-Top Box
   Jin-Hwan Jeong, Yong-Ju Lee, Hag-Young Kim, and Yu-Hyeon Park, "Hint file-based implementation of contents navigation methods for set-top box," in IEEE Transactions on Consumer Electronics, Vol. 54, Issue 2, pp. 896-901, May. 2009
6. Hint File-Based Implementation of Contents Navigation Methods for Set-Top Box
   Jin-Hwan Jeong, Yong-Ju Lee, Hag-Young Kim, and Myung-Joon Kim, "Hint file-based implementation of contents navigation methods for set-top box," in International Conference on Consumer Electronics, pp. 1-2, Jan. 2009
7. Trick Play Method for HD H.264 Set-Top Box
   Jin-Hwan Jeong, Yong-Ju Lee, Hag-Young Kim, and Myung-Joon Kim, "Trick Play Method for HD H.264 Set-Top Box," in IEEE Transactions on Consumer Electronics, Vol. 54, Issue 2, pp. 817-822, May. 2008
8. UMOST : Ubiquitous Multimedia Framework for Context-Aware Session Mobility
   Yong-Ju Lee, Choon-Seo Park, Jin-Whan Jeong, Hag-Young Kim, and Cheol-Hoon Lee, “UMOST : Ubiquitous Multimedia Framework for Context-Aware Session Mobility,” in International Conference on Multimedia and Ubiquitous Engineering, pp. 3-8, April 2008
9. Trick Play Method for HD H.264 Set-Top Box
   Jin-Hwan Jeong, Ok-Gee Min, Yong-Ju Lee, Choon-Seo Park, Hag-Young Kim, and Myung-Joon Kim, "Trick Play Method for HD H.264 Set-Top Box," in International Conference on Consumer Electronics, pp. 1-2, Jan. 2008
10. Cooperative Multimedia Playback Architecture for Pervasive Cellular Phones
    Jin-Hwan Jeong and Hag-Young Kim, "Cooperative Multimedia Playback Architecture for Pervasive Cellular Phones," in International Conference on Mobile Ubiquitous Computing, Systems, Services and Technologies, pp. 204-208, Nov. 2007.
11. On Multiple Description Streaming with Cluster-based Server
    Yuhyeon Bak, Jinhwan Jeong, Yongju Lee, Kapdong Kim, Changsoo Kim, Hagyoung Kim, and Kywonsok Kim, “On Multiple Description Streaming with Cluster-based Server,” in Asia-Pacific Communications Conference, pp. 1-5, Aug. 2006
12. The design of digital items server for processing multi DI clients on ubiquitous environments
    Choon Seo Park, Jung-Keun Kim, Jin-Hwan Jeong, YongJu Lee, Ok-Gee Min, and Hag-Young Kim, "The design of digital items server for processing multi DI clients on ubiquitous environments," in ICACT, pp. 4, Feb. 2006
13. A video streaming system for mobile phones: practice and experience
    Hojung Cha and Jongmin Lee, Jongho Nang and Sung-Yong Park, Jin-Hwan Jeong, Chuck Yoo and Jin-Young Choi, "A Video Streaming System for Mobile Phones: Practice and Experience," in Wireless Network, Vol. 11, No. 3, pp. 265-274, May 2005
14. Software-Based Video/Audio Processing for Cellular Phones
    Jin Hwan Jeong and Chuck Yoo, “Software-Based Video/Audio Processing for Cellular Phones,” in Telecommunication Systems, Vol. 28, Num. 2, pp 185-210, Feb. 2005
15. A Server-centric Streaming Model Jin Hwan
    Jeong and Chuck Yoo, “A Server-centric Streaming Model,” in NOSSDAV 2000, pp 25-34, North Carolina, USA, June 2000