سلام خدمت شما. بله دقیقا یه سایدبار برای فوتر تعریف می‌کنید و با استفاده از نمونه کدهای زیر اون رو در بخش فوتر نمایش میدید.

<?php if ( is_active_sidebar( 'footer-sidebar') ) { ?>
    <ul id="sidebar">
        <?php dynamic_sidebar( 'footer-sidebar' ); ?>
    </ul>
<?php } ?>

نکته مهم نمایش ویجت‌ها هست که در استایل دهی باید به صورت افقی کنار هم قرار گرفته باشن.